Поисковые роботы
За последние годы
Всемирная паутина стала настолько популярной, что сейчас Интернет
является одним из основных средств публикации информации. Когда размер
Сети вырос из нескольких серверов и небольшого числа документов до
огромных пределов, стало ясно, что ручная навигация по значительной
части структуры гипертекстовых ссылок больше не представляется
возможной, не говоря уже об эффективном методе исследования ресурсов.
Эта проблема побудила исследователей Интернет на проведение
экспериментов с автоматизированной навигацией по Сети, названной
"роботами". Веб-робот - это программа, которая перемещается по
гипертекстовой структуре Сети, запрашивает документ и рекурсивно
возвращает все документы, на которые данный документ ссылается. Эти
программы также иногда называют "пауками", " странниками", или "
червями" и эти названия, возможно, более привлекательны, однако, могут
ввести в заблуждение, поскольку термин "паук" и "странник" cоздает
ложное представление, что робот сам перемещается, а термин "червь" мог
бы подразумевать, что робот еще и размножается подобно интернетовскому
вирусу-червю. В действительности, роботы реализованы как простая
программная система, которая запрашивает информацию из удаленных
участков Интернет, используя стандартные cетевые протоколы.
|