Google tras la Web Invisible

15/04/2008 - En los últimos meses Google ha estado explorando algunos formularios HTML para descubrir nuevas páginas y URLs que de otra manera no se podrían rastrear ni indexar.

Cuando Google encuentra un elemento FORM (formulario) dentro de un sitio web de calidad desarrollará una serie de consultas de prueba, insertando de manera automatizada palabras con cierto sentido en las cajas de texto y realizando selecciones en los menus desplegables radio buttons o check boxes. En caso de que la información que devuelva el formulario sea interesante y que aporte contenido no indexado todavía , esta se incluirá en el index de Google tal y como si fuera otra pagina web.

Este experimento trata de mejorar la experiencia en las busquedas y es parte de un amplio esfuerzo por parte de Google en incrementar la cobertura en la web.

Solo una pequeña parte de los sitios reciben este tratamiento, ademas se tendrá en cuenta las directivas robots.txt, nofollow y noindex. De la misma manera solo se procesarán formularios GET y se evitarán aquellos que solicitan información de carácter personal (contraseña,user,contactos...)

Las paginas web que se descubran no supondrán un coste para el resto de páginas web ya indexadas, así que esto no implicará reducir PageRank de otras páginas

Los formularios HTML son la puerta de entrada a una enorme cantidad de datos situados más allá del alcance de los motores de búsqueda. Esta serie de datos o contenidos web fuera del alcance son conocidos como "Web Invisible" que Google tiene interés en rastrear e indexar