Robots.txt для бизнеса

Как правильно составить файл robots.txt, чтобы Google, Яндекс и AI-системы индексировали нужные страницы. Пошаговая инструкция с примерами кода.

Основы

Что такое robots.txt и зачем он нужен

Файл robots.txt — это текстовый файл в корне сайта, который говорит поисковым роботам: куда можно заходить, а куда нет.

Без него или с ошибками — поисковик может проиндексировать служебные страницы (корзина, личный кабинет, дубли), и это испортит позиции в выдаче. Или наоборот — закроет нужные страницы.

Адрес файла всегда один: yoursite.com/robots.txt
Формат — UTF-8, размер — не больше 500 КБ.

Структура

Базовый шаблон для любого бизнеса

Вот универсальный вариант, который подойдёт 90% бизнес-сайтов:

# Все роботы
User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /search/
Disallow: /?*
Allow: /

# Карта сайта — обязательно!
Sitemap: https://yoursite.com/sitemap.xml

Disallow — закрыть от индексации
Allow — разрешить (ставим последним как «всё остальное — открыто»)
Sitemap — обязательно, помогает роботу найти все страницы
1 директива = 1 параметр в строке. Не пиши несколько через пробел

Настройка

Что закрывать, а что оставлять открытым

Закрывать от индексации:

Страницы с UTM-метками — Disallow: /?utm_
Административные панели — /admin/, /wp-admin/
Корзина и оформление заказа — /cart/, /checkout/
Личный кабинет — /account/, /profile/
Внутренний поиск — /search/?q=
Тестовые и технические страницы
Дубли страниц (например, /page/?sort=price)

Открывать (не трогать или явно Allow):

Все продуктовые и услуговые страницы
Блог, статьи, гайды
Страницы контактов, о компании, доставки
Категории и теги товаров

Ошибка №1: случайно закрыть весь сайт строкой Disallow: / — тогда никакой страницы не будет в поиске.

2025–2026

Отдельные правила для AI-ботов

Твой сайт сейчас сканируют не только Google и Яндекс, но и боты ChatGPT, Claude, Perplexity. Можно управлять каждым отдельно — это напрямую влияет на то, попадёт ли бизнес в AI-выдачу.

User-agent	Кто это	Зачем разрешать
GPTBot	OpenAI — обучение ChatGPT	Контент попадает в базу ChatGPT
OAI-SearchBot	OpenAI — поиск в ChatGPT	Попадаешь в ChatGPT Search
ClaudeBot	Anthropic — обучение Claude	Контент видит Claude
PerplexityBot	Perplexity — поиск	Попадаешь в Perplexity AI
Google-Extended	Google — обучение Gemini	Можно закрыть, если не хочешь отдавать контент на обучение

Рекомендуемый блок в robots.txt для попадания в AI-выдачу:

# AI-поисковые боты — разрешаем для попадания в выдачу
User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Applebot
Allow: /

# Если НЕ хочешь отдавать контент на обучение моделей:
User-agent: Google-Extended
Disallow: /