Директивы для поисковых роботов (Robots Directives)
Коротко
Директивы для поисковых роботов (Robots Directives) — правила, которые управляют обходом и индексированием через robots.txt, meta robots и HTTP-заголовки.
Основные механизмы
Механизм
Задача
robots.txt
Управлять доступом crawler к путям
meta robots
Управлять индексированием и поведением на странице
X-Robots-Tag
Передавать robots directives через HTTP header
Disallow и noindex — не одно и то же
Disallow ограничивает обход URL. Noindex управляет допуском страницы в индекс. Если робот не может получить страницу, он может не увидеть page-level directive.
Типичные ошибки
Случайно закрыть важный раздел.
Блокировать CSS/JS, нужные для понимания страницы.
Использовать robots.txt как инструмент удаления URL из индекса.