30 08
2012

  

 

Что такое Robots.txt и для чего он нужен?

 

Robots.txtДоброго времени суток, уважаемые читатели Techresearh.ru! Сегодня в разделе, посвященном внешней поисковой оптимизации , размещаю очередную статью. Посвящена она будет маленькому, но очень важному для правильного продвижения вашего сайта, файлу robots.txt. Наверное, многие из вас уже знают, что это за файл и за что он отвечает. Для тех, кто не знает, скажу, что файл robots.txt обитает в корневых директориях сайтов и содержит в себе различные директивы, по которым поисковые роботы ориентируются в том, как правильно индексировать веб-ресурсы. Директивы могут запрещать роботам, например, индексировать тот или иной раздел сайта. Таким разделом может стать администраторская панель или материал, который вы по какой-то причине хотите скрыть от индексации поисковыми системами. Также в директивах можно принудительно указать каталог для индексации, запретить индексацию роботу определенной поисковой системы, задать основное зеркало сайта или указать расположение файла карты сайта. Более подробно я рассмотрю каждую директиву ниже.

 

Подробнее

Серия сообщений "Учимся создовать сайт - начинающему веб - мастеру!":
Часть 1 - Что такое Robots.txt. Директивы Robots.txt. Для чего используется роботс.тхт