В далекий период развития всемирной сети Интернет, число пользователей было не велико и доступной информации не много. Основными пользователями информационной паутины были военные и ученные. Такое использование интернета напоминало скорее сеть между научными и военными учреждениями, чем хранилище разнообразной информации. Такое развитие событий не требовало создания сложных поисковых машин, которые упростили бы поиск информации.
Со временем интернет ставал доступным все более широкому кругу людей и информация в сети пополнялась, что в свою очередь затрудняло ее систематизацию и поиск. Первой попыткой решить данную проблему стало создание каталога сайтов, в котором все ресурсы были размещены по тематике в соответствующих рубриках. Таким сайтом в 1994 году стал Yahoo, который со временем пошел дальше и ввел поиск в свой каталог. Конечно это далеко не поисковая машина в нашем понимании, но на то время данное решение частично решило проблему поиска информации.
По сравнению с теми временами, в настоящем времени каталоги ссылок утратили свою актуальность и используются скорее как один из приёмов продвижения, являясь непригодными для поиска нужной информации. Главная причина этому – малый объём хранящейся информации, а также низкая степень актуальности информации. Данные каталоги не дают возможности проверять указанную в каталоге информации о сайте в ручную, а автоматическая проверка в них не реализована. Также недостатком стало то, что добавление новых сайтов в каталог не осуществляется автоматически.
Параллельно с каталогами в 1994 году была разработана полноценная поисковая система WebCrawler.
Используя опыт разработки поисковых машин, в 1995 году была разработана поисковая машина AltaVista, которая долгое время была лидирующей на рынке поиска информации.
Со временем в Стэнфорде в рамках исследовательского проекта разрабатывалась более совершенная поисковая система, работоспособная версия которой увидела свет в 1997 году. На сегодняшний день это самая популярная поисковая система в мире, которая способна удовлетворить современные потребности пользователей интернета.
В том же году на рынок вышла поисковая система Яндекс, которая твердо заняла лидирующее место в русскоязычной части интернета.
В настоящее время в международном интернете можно выделить три основные поисковые базы, это: Google, Yahoo и MSN Search. Остальное множество поисковых систем в той или иной степени используют эти базы для поиска. Так же есть отдельные поисковые сайты, в которых можно, например, осуществитьпоиск людей по фамилии или реализовать другие специфические поиски.
Как работает поисковая система
И так, рассмотрим анатомию поисковой машины:
- Spider (паук) – программный код, который подобно браузеру получает код страниц сайта с сервера и сохраняет в базу данных.
- Crawler (краулер, «путешествующий» паук) – программный код, который автоматически находит ссылки на веб-странице и следуя им, находит новые веб-ресурсы.
- Indexer (индексатор) – сложный алгоритм, который анализирует информацию на страницах, собранных ранее пауками.
- Database (база данных) – место, где хранятся скачанные пауками страницы и уже обработанная и упорядоченная информация.
- Search engine results engine (система выдачи результатов) – при необходимости обращается к базе данных и изымает запрашиваемую информацию для выдачи.
- Web server (веб-сервер) – собственно и есть сервер, который объединяет . все компоненты поисковой системы и дает возможность осуществлять взаимодействие с сетью и пользователями.
Также возможны тандемы из некоторых выше описанных компонентов, то есть несколько компонентов могут быть объединены в одну программу, которой присущи функции обоих.