Аналізатор доступу AI-ботів
Перевірте, чи бачать важливі AI-краулери сторінку, що їм дозволяє robots.txt і які директиви індексації можуть обмежувати AI-видимість.
Результати аналізу
| AI-бот | Статус | HTTP | Robots.txt | Robots Meta | Час відповіді |
|---|
Як використовувати результати перевірки
Цей блок допомагає зрозуміти, чому AI-боти бачать сторінку не так, як звичайний користувач. Спочатку усуньте блокування доступу, потім перевірте robots.txt і директиви індексації.
Що означає AI-видимість
AI-видимість показує, скільки важливих AI-ботів реально можуть отримати сторінку й не впираються в заборони сканування або індексації.
- 85-100: сторінка добре доступна для AI-систем
- 45-84: частина ботів бачить сторінку, але є обмеження
- 0-44: сторінку часто блокують або забороняють до використання
Де шукати причину
Якщо robots.txt дозволяє доступ, але бот отримує 403, 429 або тайм-аут, проблема зазвичай не в SEO-налаштуваннях, а в інфраструктурі.
- Перевірте CDN, WAF, firewall і bot protection
- Переконайтеся, що правила не блокують GPTBot, ClaudeBot, PerplexityBot та інші user-agent
- Перевірте ліміти запитів, гео-фільтри, JavaScript-челенджі та security challenge
Що виправляти спочатку
Починайте з того, що повністю закриває доступ. Обмеження індексації варто розбирати після того, як бот уже отримує сторінку.
- HTTP 403/429, тайм-аути, DNS- і SSL-помилки
- Disallow у robots.txt для AI-ботів, яким потрібен доступ
- noindex, nofollow, nosnippet і X-Robots-Tag
Як читати статуси
Є доступБот отримує сторінку, а robots.txt не забороняє сканування.
ОбмеженоСторінка відкривається, але метатеги або HTTP-заголовки можуть обмежувати індексацію, сніпети чи повторне використання.
ЗаблокованоБот не може отримати сторінку через HTTP-відповідь, захист сайту або заборону в robots.txt.