Поисковик 2
Первая полноценная поисковая система WebCrawler появивалась в 1994 году. В 1995 появились такие поисковики как Lycos и AltaVista, через два года, в 1997 году был создан Google — самый популярный поисковик в настоящий момент. В том же году был официально анонсирован Yandex, самый популярный в русскоязычном интернете.
Поисковая система состоит из следующих основных компонентов:
Spider. Паук — это программа, которая скачивает веб-страницы точно так же, как и браузер. Разница состоит в том, что браузер интерпретирует информацию, которая содержится на странице и отображает ее пользователю, а паук вообще не имеет визуальной части и работает только с html-кодом страниц.
Crawler. Часть системы, задача которой выделять все ссылки, существующие на странице. Краулер, следует по найденным ссылкам, осуществляет поиск новых документов, которые еще неизвестны поисковику, таким образом программа определяет куда дальше должен следовать паук.