Боты на сайте: как отличить от людей в Метрике и что делать

Если на сайт заходят боты, первое, что нужно решить, вредят ли они. Поисковые роботы приходят каждый день и нужны. Ферма, которая обходит все страницы с сотен адресов, портит статистику, но не всегда стоит блокировки. Боты, которые заполняют формы или кладут сервер, вредят, и их надо останавливать. Три разных ответа на один вопрос "что делать", и ошибка в диагнозе дороже самих ботов.

Ниже разбор всплеска на нашем сайте в конце августа 2026 с цифрами до и после: два источника ботов, которые выглядели одинаково и оказались разными, как мы их разделили в Метрике и логах и почему одного заблокировали, а второго нет.

Что показала Метрика: отказы утроились за день#

29 августа 2026 в Метрике нашего сайта отказы прыгнули с обычных 8-22% до 58-70%, а средняя длительность визита упала втрое. Визитов при этом стало заметно больше. Если смотреть только на график, это либо рекламная кампания, которая привела не тех, либо атака.

Рекламы в тот день не было. Значит, атака? Вебвизор показывал десятки визитов с обычной иконкой Chrome, Windows, прямые заходы, каждый на секунду. Ни один не скроллил.

Первое, что мы сделали, и первое, что советуем делать: не блокировать. Открыть Метрику в срезе по браузеру, потом по источнику, потом логи сервера. На это ушло около часа, и за этот час выяснилось, что источников два.

Источник первый: ферма с одной подсети#

В логах веб-сервера за 29 августа обнаружилось 26 494 запроса с 267 адресов одной подсети, все с одним и тем же браузером: Chrome 125 на Windows, строка идентификации одинаковая до символа. Обратного имени у адресов нет. Ни один из 267 адресов ни разу не запросил robots.txt и sitemap.xml, чего не делает ни один честный робот. Страницы обходились равномерно, все подряд, включая юридические, куда люди заходят раз в месяц.

Ходила ферма волнами: 23 августа 75 адресов, 26-го 15, 28-го 7, 29-го 267, 31-го 16, 1 сентября 6. В Метрику это попадало как прямые заходы с Windows Chrome и отказами около 100%. Метрика по поведению часть таких визитов относит к роботам, но не все: у визита есть JavaScript, есть загрузка страницы, а поведение "открыл и ушёл" встречается и у людей.

Подсеть принадлежит одному российскому облачному провайдеру, у которого арендуют серверы тысячи компаний. Это важно для решения о блокировке, к нему вернёмся.

Волны фермы ботов по дням: адреса и запросы с одной подсети, 23 августа - 1 сентября

Источник второй: мы сами#

Второй источник оказался неприятнее. Среди браузеров в Метрике отдельной строкой стоял HeadlessChrome, программная сборка Chrome без окна. За десять дней с 23 августа по 1 сентября он дал 337 визитов, 95% отказов, средняя длительность 1,1 секунды, каждый визит новый посетитель. Вебвизор рисует ему обычную иконку Chrome, поэтому в записях он выглядел как атака.

Это были наши собственные проверки. Скрипт, который раз в несколько часов обходит сайт и проверяет, что страницы отдаются, ссылки не битые, разметка на месте. Он запускался с ноутбука и с сервера, пики совпали с ночными обходами. Каждый запуск честно загружал счётчик Метрики и портил статистику.

Урок, за который стыдно, но который стоит рассказать: прежде чем искать врагов, проверьте свои инструменты. Мониторинг доступности, проверка позиций, парсер цен конкурентов, который вы сами заказали, тестовые прогоны разработчика. Всё это боты, и все они ваши.

Что сделали 2 сентября: счётчик Метрики теперь не запускается, если браузер сообщает, что им управляет программа, или называет себя HeadlessChrome. Проверили на проде: программный обход счётчик не грузит, обычный посетитель грузит. Свои 337 визитов из статистики исчезли навсегда, и ни один живой человек не пострадал.

Как разделить ботов и людей: порядок проверки#

По итогам у нас сложился порядок из четырёх шагов, каждый следующий точнее предыдущего.

Шаг 1. Метрика, срез по браузеру. Отчёт по визитам за подозрительный период с группировкой по браузеру. Ищете строку, у которой отказы выше 90%, длительность до двух секунд, а название необычное: HeadlessChrome, старая версия Chrome без обновлений, браузер, которого нет у ваших клиентов. Полезно включить сравнение "Данные: без роботов" с данными с роботами: Метрика покажет, сколько визитов она сама считает роботными по поведению.

Шаг 2. Метрика, срез по источнику и региону. Ферма приходит прямыми заходами, реже с поддельным переходом из поиска. Всплеск прямых заходов из региона, где у вас нет клиентов, с одной операционной системой и одинаковым разрешением экрана, почти всегда ферма.

Шаг 3. Отчёт "Роботы". В Метрике: Отчёты, Мониторинг, Роботы. Там видно роботов, которые представились, и долю обращений роботов к сайту в период всплеска. Поисковые роботы Яндекса там по именам. Если всплеск нагрузки совпадает с обходом поискового робота, это не атака, а индексация, и она нужна.

Шаг 4. Логи сервера. Единственный источник, где видны адреса. Считаете запросы по подсетям, смотрите строку браузера, проверяете обратное имя адреса и запросы к robots.txt. Сервер пишет время по Гринвичу, Метрика показывает по Москве, разница три часа, иначе визиты не совпадут.

Что делать с каждым видом ботов#

Диагноз есть, дальше решение, и оно разное.

| Кто | Как узнать | Что делать | |---|---|---| | Поисковые роботы | Представляются, есть в отчёте "Роботы", читают robots.txt | Ничего. Если нагрузка мешает, ограничить частоту обхода в Вебмастере, а не блокировать | | Роботы нейросетей | Представляются GPTBot, YandexGPT и подобными | Решить, нужны ли вам ответы нейросетей с упоминанием сайта. Как открыть или закрыть сайт для них | | Свои инструменты | HeadlessChrome, обходы в одно и то же время, совпадают с вашими проверками | Не грузить счётчик из программных браузеров, проверки вести с исключением из Метрики | | Ферма-обходчик | Одна подсеть, одинаковый браузер, без robots.txt, отказы 100% | Вычесть из аналитики сегментом. Блокировать только при нагрузке | | Спам в формах | Заявки с ссылками, бессмысленные имена, серии за минуту | Скрытое поле-ловушка, капча, лимит отправок, проверка на сервере | | Боты в рекламе | Клики и конверсии из рекламы без заявок на сервере | Отдельная тема, разбирали в статье про скликивание | | Нагрузка, сайт тормозит | Отчёт "Нагрузка на сайт" в Метрике, ошибки 500 в логах | Ограничение частоты запросов на сервере, блокировка подсети, защита от DDoS у хостинга |

Отдельно про решение "блокировать или нет" для фермы. Мы свою не заблокировали, и вот почему. Подсеть принадлежит облачному провайдеру, за теми же адресами могут сидеть чужие сервисы, которые ходят на сайт по делу, и живые люди через корпоративные сети. Ферма не создавала нагрузки: 26 тысяч запросов в день для сервера ничто. Форм не трогала. Единственный вред, искажённая статистика, лечится сегментом в Метрике за пять минут. А заблокированная ферма через неделю приходит с другой подсети, и работа начинается заново.

Блокировать стоит, когда есть измеримый вред: сервер отвечает медленно или ошибками, формы завалены спамом, реклама платит за клики. Тогда правило на сервере по подсети, ограничение частоты запросов с одного адреса, капча на формах. И проверка через день, что живые посетители не пострадали: отказы и заявки должны остаться на месте.

Цена ботов в статистике#

Почему это вообще стоит времени. За месяц наш сайт получил 5 376 визитов, из них живых около 2 774. Остальное: прямые заходы фермы с отказами 83% и визиты программных браузеров. Любая конверсия, посчитанная на общий трафик, занижена вдвое. Любое сравнение "до и после" правок на сайте, сделанное в дни всплеска, показывает не эффект правок, а волну фермы.

Мы у себя чуть не приняли за провал две пачки статей, вышедшие 29 и 31 августа: отказы по ним были под 70%. После вычета фермы и своих обходов у статей отказы 12-18%, обычные для блога. Решение "статьи не работают, менять формат" было бы принято по данным ботов.

Отдельная цена у ботов в рекламе. Там каждый клик оплачен, а фальшивая заявка обучает автостратегию искать похожих ботов. Метрика и Директ определяют роботов разными системами: в отчётах группы "Директ" внутри Метрики уже вычтены клики, которые антифрод Директа признал недействительными, во всех остальных отчётах они есть. Поэтому по рекламе цифры Метрики и Директа не сходятся, и это нормально.

Что поставить один раз, чтобы больше к этому не возвращаться#

1. На счётчике Метрики включить фильтрацию роботов по поведению или завести сегмент без роботов и смотреть отчёты через него. Раз в месяц сравнивать данные с роботами и без: рост разницы значит новую ферму.
2. Не грузить счётчик из программных браузеров и из своих инструментов проверки.
3. На формах: скрытое поле-ловушка, проверка на сервере, капча при подозрении. У нас каждая форма проверяется на сервере, и заявка с заполненной ловушкой получает вежливый ответ "спасибо" и никуда не уходит.
4. Для рекламы серверная цель: заявка считается после реальной записи, а не по кнопке.
5. Раз в квартал час на логи: подсети, браузеры, robots.txt. Час, который спасает от решений по чужим цифрам.

Как это делаем мы#

Разбор ботов входит в аудит сайта, 30 000 рублей, 5-10 дней: сверяем Метрику с логами сервера за три месяца, вычитаем фермы и программные браузеры, пересчитываем конверсию и отказы на живых людях и отдаём отчёт с сегментами, которые вы дальше используете сами. Часто после такого пересчёта сайт, который "не работает", оказывается нормальным, а проблема переезжает в рекламу или в форму.

В поддержке сайта от 5 900 рублей в месяц защита форм и настройка счётчика делаются на первой неделе, а логи мы смотрим сами. Если сервер уже лежит под нагрузкой, это критичное, беремся в тот же рабочий день: ограничение частоты запросов и блокировка подсети ставятся за час, дальше разбираемся, кто и зачем.