Многие разработчики сайтов не уделяют должного внимания файлу robots.txt. Тем не менее это очень важный элемент вашего веб-сайта. Отсутствие его или тем более неправильная настройка может привести к серьезным проблемам и даже к полному отсутствию вашего сайта в индексе поисковых систем.
С помощью файла robots.txt можно запретить к индексации некоторые части сайта, которые желательно скрыть от публики.
Файл robots.txt – текстовый файл с расширением txt, который можно создать с помощью Блокнота. Файл размещают в корневой папке сайта.
Заметьте, что robots.txt пишется маленькими символами, файлы типа Robots.txt будет неверным.
Поисковая система Yandex учитывает специальную директиву HOST, которую можно разместить в robots.txt. Эта директива указывает поисковому боту что считать основным зеркалом сайта www.site.ru или site.ru (без www)
Пример оформления файла robots.txt:
User-agent: Yandex
Disallow:
Host: www.site.ru
Данный robots.txt ничего не запрещает и показывает поисковому пауку Яндекса, что сайт следует индексировать с www.