Para comprobar si tu Robots.txt tiene el formato correcto

Robots.txt checker se encarga de analizar el archivo de cualquier sitio web, comprobando si tiene la estructura correcta y avisando en caso de que se encuentre algún error que pueda perjudicar a la lectura de nuestra web por parte de los diferentes buscadores.

Muy recomendable para ampliar nuestros conocimientos sobre un tema que afecta a todos los que vivimos creando proyectos en la web.

Fuente: http://wwwhatsnew.com/