Разработчики Google научили бота работать с HTML-формами.
В блоге "Google Webmaster Central Blog" опубликовано сообщение, где разработчики Google информируют, что запускают в тестовую эксплуатацию поискового бота, который сможет индексировать ранее недоступные страницы. Они научили бота работать с HTML-формами.
Уже существует бот, способный сканировать JavaScript и Flash в поисках ссылок на неизвестные страницы. Теперь будут индексироваться страницы, содержащие большой объем информации, недоступной обычным поисковым ботам. Google продолжает проникновение в, как они его называют, Глубокий (Deep Web), а он же Скрытый (Hidden) или Невидимый (Invisible) Веб.
Термин Невидимый Веб (Invisible Web) появился еще в 1994 году. Он означает: страницы и документы, которые не видят поисковые боты. В невидимый Веб входят следующие категории: динамически создаваемые страницы, страницы, не имеющие ссылок на себя, страницы, защищенные паролем, контекстные страницы, меняющиеся в зависимости от условий, страницы, ограниченные для ботов техническими средствами (CAPTCHA, RES, запрет кеширования), динамические страницы, изменяемые в браузере клиентскими скриптами (JavaScript, AJAX, Flash) и нетекстовые страницы (медиа-данные).
Приятная новость для оптимизаторов сайтов: новые найденные ссылки не буду понижать PageRank страниц, на которых они обнаружены.
Источники:
http://googlewebmastercentral.blogspot.com/2008/04/crawling-through-html-forms.htmlhttp://en.wikipedia.org/wiki/Deep_web