Многие разработчики сайтов не уделяют должного внимания файлу robots.txt. Тем не менее это очень важный элемент вашего веб-сайта. Отсутствие его или тем более неправильная настройка может привести к серьезным проблемам и даже к полному отсутствию вашего сайта в индексе поисковых систем. С помощью файла robots.txt можно запретить к индексации некоторые […]
robots.txt
1 запись