Зачем нужен robots.txt


Что такое файл robots.txt

Это текстовый файл, в котором хранятся определенные указания для роботов поисковых систем. Он дает поисковым роботам рекомендации: какие страницы/файлы нужно сканировать. Если файл будет содержать символы не в UTF-8, а в другой кодировке, поисковые роботы могут неправильно их обработать. Правила, перечисленные в robots.txt, действительны только в отношении того хоста, протокола и номера порта, где размещен файл.

Где должен располагаться файл robots.txt

В корневом каталоге в виде обычного текстового документа и быть доступен по адресу site.ru/robots.txt

Функции файла robots.txt

При обработке правил в файле robots.txt поисковые роботы получают одну из трех инструкций:

  • частичный доступ — доступно сканирование отдельных элементов сайта;
  • полный доступ — сканировать можно все;
  • полный запрет — робот ничего не может сканировать.

При сканировании файла robots.txt роботы получают ответы:

  • 2xx — сканирование прошло удачно;
  • 3xx — поисковый робот следует по переадресации до тех пор, пока не получит другой ответ. Чаще всего есть пять попыток, чтобы робот получил отличный от 3xx ответ, затем регистрируется ошибка 404;
  • 4xx — поисковый робот считает, что можно сканировать все содержимое сайта;
  • 5xx — оцениваются как временные ошибки сервера, сканирование полностью запрещается. Робот будет обращаться к файлу до тех пор, пока не получит другой ответ. Поисковый робот Google определяет, насколько корректно или некорректно настроена отдача ответов отсутствующих страниц сайта. Страница будет обрабатываться с кодом ответа 404, если вместо 404 ошибки она отдает ответ 5xx.

Пока неизвестно, как обрабатывается файл robots.txt, который недоступен из-за проблем сервера с выходом в интернет.

Когда нужен файл robots.txt

Роботам не стоит посещать:

  • страницы с личной информацией пользователей на сайте;
  • страницы с формами отправки информации;
  • сайты-зеркала;
  • страницы с результатами поиска.

Как поисковые роботы видят сайт с robots.txt и без него:

Зачем нужен robots.txt



Расскажите, была ли полезна эта статья?

Полезно (2)Не полезно (0)

Нужна помощь маркетолога? Свяжитесь с нами по телефону: 8 (499) 648-04-19 или оставьте заявку, и мы перезвоним вам в течение 5 минут.

Подпишитесь
на наш
xблог