B2B Growth · Strategy · Revenue · AI Automation Маркетинг с 2008 года
Telegram WhatsApp +7 926 423-65-08
Обсудить задачу
Словарь маркетинга

Директивы для поисковых роботов (Robots Directives)

Коротко
Директивы для поисковых роботов (Robots Directives) — правила, которые управляют обходом и индексированием через robots.txt, meta robots и HTTP-заголовки.

Основные механизмы

МеханизмЗадача
robots.txtУправлять доступом crawler к путям
meta robotsУправлять индексированием и поведением на странице
X-Robots-TagПередавать robots directives через HTTP header

Disallow и noindex — не одно и то же

Disallow ограничивает обход URL. Noindex управляет допуском страницы в индекс. Если робот не может получить страницу, он может не увидеть page-level directive.

Типичные ошибки

  • Случайно закрыть важный раздел.
  • Блокировать CSS/JS, нужные для понимания страницы.
  • Использовать robots.txt как инструмент удаления URL из индекса.
  • Противоречивые directives.

Связанные понятия

Итог
Robots Directives требуют разделять две задачи: можно ли роботу обходить URL и можно ли странице участвовать в индексе.
2026-09-21 01:45 Контент, SEO и видимость в ИИ-поиске