Как открыть сайт для нейросетей: GPTBot, YandexGPT и robots.txt

Чтобы нейросеть назвала вас в ответе, она должна сначала прочитать ваш сайт. А прочитать может, только если вы её пустили. Часто сайт закрыт от ботов случайно: галочка в плагине, строчка в robots.txt от прошлого разработчика. И компания месяцами невидима для ChatGPT, не зная об этом.

Разберём, какие боты ходят по сайтам, как не закрыться от них по ошибке и почему «пустить бота» и «попасть в ответ» - не одно и то же.

Что такое AI-краулеры и при чём тут robots.txt#

Краулер - это программа, которая ходит по сайтам и читает страницы. У поисковиков такие были всегда: YandexBot, Googlebot. С нейросетями появились свои: они собирают тексты, чтобы модель знала, что есть в интернете.

Управляет их доступом старый файл robots.txt. Лежит в корне сайта, открывается по адресу вашсайт.ру/robots.txt. В нём строки вида «такому-то боту можно сюда, а сюда нельзя».

Логика по умолчанию важная: если про бота в файле ничего не сказано, ему можно всё. Запрет нужно прописать явно. Поэтому большинство сайтов открыты для AI-ботов само собой. Проблемы начинаются, когда кто-то закрыл лишнее.

Главная путаница: обучение и ответы - это разные боты#

Это место, где ошибаются чаще всего, поэтому остановимся подробно.

У одной компании бывает несколько ботов с разными задачами. Возьмём OpenAI:

• GPTBot собирает тексты, чтобы обучать будущие версии модели. Это про завтра.
• OAI-SearchBot строит поисковый индекс для ChatGPT.
• ChatGPT-User заходит на сайт прямо сейчас, когда пользователь о чём-то спросил.

Разница на практике. Если вы закроете GPTBot, ваши тексты не уйдут в обучение, но вы останетесь в ответах, потому что за них отвечают другие боты. А если закроете всё подряд одной строкой - выпадете из ответов ChatGPT целиком.

Многие так и делают: читают в новостях «нейросети воруют контент», ставят запрет на всех ботов и потом удивляются, почему их не видно в нейропоиске. Закрыли не ту дверь.

Кто к вам стучится: список AI-ботов#

Основные боты, которые встречаются в логах сайтов. Имена пишутся в robots.txt под директивой User-agent.

Список не полный и меняется: компании добавляют и переименовывают ботов. Но эти восемь покрывают большую часть AI-трафика на сайт.

Отдельно про Google-Extended и Applebot-Extended. Это не сами краулеры, а имена-токены: ими в robots.txt управляют только тем, можно ли использовать сайт для обучения ИИ. На обычную индексацию в поиске они не влияют.

Как разрешить ботам доступ#

Если сайт открыт по умолчанию, специально разрешать ничего не нужно. Но если хочется явно прописать доступ, строки выглядят так:

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

Allow: / означает «разрешён весь сайт». Disallow: / означало бы «закрыт весь сайт».

Самая частая причина закрытого сайта - вот такая строка, оставшаяся с этапа разработки:

User-agent: *
Disallow: /

Звёздочка - это «все боты». Такую заглушку ставят на время сборки сайта, чтобы черновик не попал в поиск. А потом забывают убрать. Сайт уходит в прод закрытым для всех, включая нейросети и Яндекс.

А что с Яндексом и YandexGPT#

Здесь без выдумок. Яндекс строит нейропоиск и Алису на своём основном индексе - том же, что питает обычную выдачу. Отдельного отключаемого AI-токена, как Google-Extended, у Яндекса на сегодня нет.

Практический вывод простой. Чтобы быть видимым для Алисы и нейропоиска Яндекса, держите сайт открытым для основного робота YandexBot и в порядке по базовому SEO. Отдельная настройка под «бота YandexGPT» не требуется, потому что такого публичного бота с задокументированным именем сейчас нет.

Как проверить, не закрыт ли сайт случайно#

Три минуты, без специальных инструментов.

Шаг 1. Откройте в браузере вашсайт.ру/robots.txt.

Шаг 2. Найдите все строки Disallow. Особенно опасна Disallow: / под User-agent: * - она закрывает весь сайт для всех.

Шаг 3. Проверьте, нет ли запрета под именами AI-ботов из таблицы выше.

Шаг 4. Если файл не открывается вовсе (404), это тоже сигнал: значит robots.txt нет, и роботы ходят без правил. Не катастрофа, но лучше файл завести.

Если в строках теряетесь, прогоните сайт через бесплатный GEO-аудит - он проверит доступ для AI-роботов сам и скажет понятным языком.

Когда наоборот стоит закрыться#

Открыть - не всегда правильный выбор. Бывают причины закрыть обучающих ботов.

Если у вас уникальный платный контент, авторские базы, тексты, которые вы продаёте, - отдавать их в обучение моделей бесплатно резона мало. Тогда закрывают GPTBot, ClaudeBot, CCBot и подобных, но оставляют поисковых, чтобы не потерять присутствие в ответах.

Важная честность: запрет в robots.txt - это договорённость, а не замок. Добросовестные боты крупных компаний его уважают. Недобросовестный парсер может проигнорировать. Полностью закрыть контент от сбора одним файлом нельзя.

Частые ошибки#

Оставить заглушку Disallow: / после запуска. Сайт уходит в прод закрытым. Проверяйте robots.txt сразу после публикации.

Закрыть всех ботов разом из страха перед «воровством контента». Вместе с обучающими блокируете поисковых и выпадаете из ответов нейросетей.

Путать robots.txt и llms.txt. Первый управляет доступом, второй показывает структуру. Это разные файлы с разными задачами. Подробнее - в нашем разборе про llms.txt.

Думать, что robots.txt прячет страницу. Он только просит не обходить. Закрытая в robots.txt страница всё равно может всплыть в выдаче по ссылкам. Чтобы убрать страницу из поиска, нужен noindex, а не Disallow.

Честно: пустить бота - не значит попасть в ответ#

Открытый доступ - условие необходимое, но не достаточное.

Бот зашёл, прочитал сайт. Дальше модель решает, называть вас в ответе или нет. На это влияет другое: насколько часто бренд упоминают на авторитетных площадках, насколько структурирован контент, есть ли чёткие ответы на конкретные вопросы.

То есть robots.txt - это входная дверь. Открыли - вас впустили внутрь. Но чтобы вас рекомендовали, нужна работа уже внутри: упоминания, структура, разметка контента. Дверь обязательна, но за ней начинается основное.

С чего начать#

Минимум на сегодня - убедиться, что вы не закрыты по ошибке. Откройте robots.txt и проверьте. Или прогоните сайт через бесплатный GEO-аудит: он покажет доступ для AI-роботов, наличие llms.txt и разметки за пару минут.

Если хотите не точечную проверку, а полную картину видимости в нейросетях и план - это GEO-оптимизация под нейросети: аудит по шести моделям, доступ ботов, разметка и карта упоминаний под ключ.

Источники#

• Документация OpenAI о ботах GPTBot и OAI-SearchBot
• Anthropic о ClaudeBot
• Наш разбор: llms.txt: что это и как сделать
• Наш разбор: GEO-оптимизация в 2026: как попасть в ответы нейросетей