Что влияет на crawlability
- Внутренние ссылки.
- Sitemap.
- Robots directives.
- HTTP-ответ сервера.
- JavaScript и способ рендеринга.
- Глубина страницы в структуре сайта.
- Стабильность URL.
Crawlability и Indexability — разные вещи
Как диагностировать
- Проверить HTTP status.
- Проверить robots.txt и meta robots.
- Проверить внутренние ссылки.
- Сопоставить sitemap и реальные URL.
- Проверить server logs / crawl reports.
- Найти orphan pages.