Antes que nada, quería darte una referencia a la información que hemos publicado en DesarrolloWeb.com sobre el
archivo robots.txt.
Después contestar tu pregunta, que es sencilla. No se si conoces las herramientas para websmasters de google:
https://www.google.com/webmasters/tools/
Entre esas herramientas hay una que te interesará, que sirve para comprobar la validez de nuestro robots.txt. Permite por ejemplo escribir URLs distintas y procesarlas con el robots.txt para saber si estrían permitidas por este o bloqueadas.
Es un poco laborioso, porque tendrías que ir página a página o URL a URL en la que tienes dudas, revisando si está o no bloqueada por el robots.txt, pero por lo menos te da una buena información.
Usuarios: 