Host в robots.txt

Host в robots.txt

Многие разработчики сайтов не уделяют должного внимания файлу robots.txt. Тем не менее это очень важный элемент вашего веб-сайта. Отсутствие его или тем более неправильная настройка может привести к серьезным проблемам и даже к полному отсутствию вашего сайта в индексе поисковых систем.

С помощью файла robots.txt можно запретить к индексации некоторые части сайта, которые желательно скрыть от публики.

Файл robots.txt – текстовый файл с расширением txt, который можно создать с помощью Блокнота. Файл размещают в корневой папке сайта.

Заметьте, что robots.txt пишется маленькими символами, файлы типа Robots.txt будет неверным.

Поисковая система Yandex учитывает специальную директиву HOST, которую можно разместить в robots.txt. Эта директива указывает поисковому боту что считать основным зеркалом сайта www.site.ru или site.ru (без www)

Пример оформления файла robots.txt:

User-agent: Yandex
Disallow:
Host: www.site.ru

Данный robots.txt ничего не запрещает и показывает поисковому пауку Яндекса, что сайт следует индексировать с www.

Оставьте комментарий