В помощь сайту
В мире технологий
16-04-2008 18:01
Разработчики Google научили бота работать с HTML-формами.
23-01-2008 08:50
Консорциум W3C опубликовал первый черновик спецификаций HTML 5
22-01-2008 19:32
Создатели Java купят MySQL
22-01-2008 19:27
Питерская милиция осваивает сеть "В Контакте"
19-01-2008 21:02
Microsoft запатентовала систему слежки за сотрудниками
13-01-2008 21:09
обнаружено хакерское ПО, изменяющее загрузочный сектор компьютера
09-01-2008 13:05
Язык программирования Perl: юбилей и новая версия
29-12-2007 14:09
Microsoft выпустила блокиратор обновлений для ОС Windows
29-12-2007 09:05
Netscape Navigator - вечная память
28-12-2007 17:56
Windows Home Server может повреждать файлы пользователей
06-12-2007 08:07
PDF 1.7 станет стандартом ISO
08-11-2007 18:26
На смену буквенным паролям приходят графические
29-10-2007 21:43
Mac OS X Leopard вызывает сбой при установке
29-10-2007 21:18
Канадских любителей mp3 обложат "музыкальным" налогом.
29-10-2007 20:51
В недрах Microsoft создан экспериментальный Windows, занимающий 25 мегабайт
29-10-2007 20:23
Взломана система защиты сетей WiFi
26-10-2007 16:56
Вышла новая версия графического редактора GIMP
10-10-2007 18:43
Nec разработала технологию аппаратного обнаружения вирусов
31-01-2007 21:00
Россиянин получил патент на изобретение Windows Vista
28-08-2006 20:00
Фальшивый Windows XP SP3
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28
Реклама
-
Сообщение
16-04-2008 18:01
Автор: RXL
Разработчики Google научили бота работать с HTML-формами.
В блоге "Google Webmaster Central Blog" опубликовано сообщение, где разработчики Google информируют, что запускают в тестовую эксплуатацию поискового бота, который сможет индексировать ранее недоступные страницы. Они научили бота работать с HTML-формами.



Уже существует бот, способный сканировать JavaScript и Flash в поисках ссылок на неизвестные страницы. Теперь будут индексироваться страницы, содержащие большой объем информации, недоступной обычным поисковым ботам. Google продолжает проникновение в, как они его называют, Глубокий (Deep Web), а он же Скрытый (Hidden) или Невидимый (Invisible) Веб.

Термин Невидимый Веб (Invisible Web) появился еще в 1994 году. Он означает: страницы и документы, которые не видят поисковые боты. В невидимый Веб входят следующие категории: динамически создаваемые страницы, страницы, не имеющие ссылок на себя, страницы, защищенные паролем, контекстные страницы, меняющиеся в зависимости от условий, страницы, ограниченные для ботов техническими средствами (CAPTCHA, RES, запрет кеширования), динамические страницы, изменяемые в браузере клиентскими скриптами (JavaScript, AJAX, Flash) и нетекстовые страницы (медиа-данные).

Приятная новость для оптимизаторов сайтов: новые найденные ссылки не буду понижать PageRank страниц, на которых они обнаружены.

Источники:
http://googlewebmastercentral.blogspot.com/2008/04/crawling-through-html-forms.html
http://en.wikipedia.org/wiki/Deep_web
Партнеры