Как определить бот-трафик в Яндекс Метрике
Бот-трафик в Яндекс Метрике далеко не всегда выглядит как очевидный поток роботов. Простые сканеры могут быстро открыть несколько URL и легко выделяются по поведению, но автоматизированный браузер способен выполнять JavaScript, получать cookies, переходить между страницами, выдерживать паузы и имитировать действия обычного посетителя.
Поэтому задача диагностики состоит не в поиске одного «секретного» показателя, который мгновенно отделит людей от автоматизации. Надёжнее искать устойчивые аномалии: необычную динамику источников, повторяющиеся сценарии, нетипичные устройства, странное распределение времени и глубины просмотра, фиктивные конверсии и расхождения между Метрикой и фактическими запросами к серверу.
Яндекс Метрика удобна как первый уровень анализа. Она позволяет увидеть, что в структуре посещений что-то изменилось, выделить подозрительный сегмент и сравнить его с обычной аудиторией. Но сама по себе система веб-аналитики не является сетевым средством защиты: даже если визит отфильтрован или скрыт из отчёта, запрос к сайту уже мог состояться.
Важно: один короткий визит, высокий процент отказов, необычное разрешение экрана или отсутствие конверсии не доказывают наличие бота. Вывод строится по совокупности признаков и повторяемости поведения.
Что можно определить по Яндекс Метрике
Метрика показывает пользовательский уровень: визиты, источники, посадочные страницы, глубину просмотра, длительность, устройства, географию, достижения целей и записи поведения, если для проекта доступен Вебвизор. Эти данные позволяют находить группы посещений, которые заметно отличаются от нормального трафика сайта.
При этом Метрика не показывает всю сетевую картину. По отчёту нельзя достоверно определить происхождение IP-инфраструктуры, увидеть все запросы, которые не выполнили код счётчика, или понять, что произошло до загрузки страницы. Для этого нужны access-логи, журналы reverse proxy, WAF и другие серверные данные.
Правильная роль Метрики: обнаружить аномалию, локализовать подозрительный сегмент и понять, какие признаки нужно проверить дальше. Для подтверждения сложного бот-трафика желательно сопоставлять аналитику с серверными логами.
С чего начинать проверку бот-трафика
Начинать лучше не с отдельных визитов, а с общей динамики. Важно найти момент, когда поведение трафика изменилось. Если сайт месяцами имел стабильную структуру посещений, а затем за один или несколько дней появился новый поток визитов, это удобная точка для сравнения.
- Выберите период до аномалии. Он нужен как базовый образец нормального трафика.
- Определите дату начала изменений. Смотрите не только сутки, но и часы.
- Сравните источники. Поиск, реклама, прямые заходы, внешние сайты, социальные сети.
- Сравните посадочные страницы. Выясните, куда начал приходить новый трафик.
- Проверьте устройства и географию. Ищите не отдельные значения, а новые устойчивые группы.
- Сопоставьте время, глубину и цели. Повторяемость сценария часто важнее среднего числа.
Признак №1. Аномальные всплески посещаемости
Резкое увеличение числа визитов без понятной причины — один из первых поводов для проверки. Особенно подозрительна ситуация, когда всплеск не связан с рекламой, публикацией, рассылкой, сезонностью, упоминанием бренда или другими событиями, способными объяснить новый поток людей.
Сам объём не является доказательством. Важна структура роста. Например, автоматизация может создавать десятки или сотни визитов примерно одинакового типа, распределяя их по времени так, чтобы график не выглядел как мгновенная атака. Поэтому необходимо сравнивать не только число посещений, но и характеристики новых сессий.
На что смотреть
- резкий рост в конкретный день или час;
- повторяющиеся всплески в одинаковое время;
- рост одного источника без внешней причины;
- увеличение посещений без соответствующего роста заявок и продаж;
- необычно равномерный поток круглые сутки;
- массовые заходы на ограниченный набор страниц.
Признак №2. Необычные источники трафика
Поведенческая автоматизация может имитировать разные источники. В отчётах появляются прямые заходы, переходы из социальных сетей, внешних сайтов, рекламы или поиска. Поэтому нельзя считать источник достоверным только потому, что он красиво отображается в отчёте.
Характерный пример — внезапные переходы из площадок, где у компании нет публикаций и ссылок. Если сайт не продвигался в определённой социальной сети, но оттуда внезапно приходят десятки однотипных визитов, этот сегмент стоит проверить отдельно.
То же относится к прямому трафику. Прямой визит может быть реальным заходом по закладке, но может быть и открытием URL автоматизированным браузером без корректного источника.
Признак №3. Странное время на сайте
Продолжительность визита часто используется для поиска подозрительного поведения, но смотреть только на низкое время нельзя. Реальный человек может закрыть страницу через несколько секунд, а бот способен программно находиться на сайте минуту, три минуты или дольше.
Более информативен характер распределения. Если большая группа новых визитов имеет слишком похожую длительность или формирует повторяющиеся диапазоны, это может указывать на заданный сценарий автоматизации.
- массовые сессии длительностью несколько секунд;
- слишком много визитов с практически одинаковым временем;
- резкое изменение среднего времени одновременно с ростом нового источника;
- длительные сессии без соответствующей глубины и событий;
- повторяющиеся временные шаблоны у разных посетителей.
Признак №4. Неестественная глубина просмотра
Глубина просмотра показывает количество страниц, просмотренных в рамках визита. Автоматизация может создавать как одностраничные сессии, так и заранее заданные маршруты из нескольких страниц. Поэтому подозрительно не конкретное число, а повторяемость.
Например, если большая группа посетителей стабильно открывает ровно две или три страницы в одинаковой последовательности и после этого завершает визит, стоит проверить такие сессии отдельно. Особенно если раньше подобного шаблона у реальной аудитории не было.
Признак №5. Массовые входы на определённые страницы
Посадочные страницы хорошо показывают цель автоматизированного сценария. Боты могут открывать главную, карточки товаров, страницы услуг, контакты, формы или определённые коммерческие URL.
Если внезапно растёт трафик на страницу, которая обычно получает мало прямых входов, важно понять источник этого роста. Нормальный пользователь чаще попадает на внутренний URL из поиска, рекламы, меню, сохранённой ссылки или внешней публикации. Массовый прямой вход на один и тот же глубокий URL без понятной причины может быть признаком автоматизации.
Признак №6. Необычные устройства и параметры браузеров
В отчётах Метрики можно сравнивать устройства, операционные системы, браузеры, разрешения экранов и другие клиентские характеристики. Отдельное редкое значение ничего не доказывает: реальные пользователи используют огромное количество устройств.
Подозрение вызывает появление большого количества визитов с нетипичной для проекта структурой. Например, если до аномалии почти весь трафик шёл с привычных мобильных устройств, а затем появился новый массив странных сочетаний браузера, ОС и разрешения экрана.
Не блокируйте по одному User-Agent или разрешению экрана. Эти параметры легко меняются и подделываются. Они полезны только как часть совокупного профиля сессии.
Признак №7. Аномальная география
География трафика должна хотя бы приблизительно соответствовать аудитории проекта. Если локальный сайт внезапно получает большое количество визитов из регионов, где у бизнеса нет рекламы, клиентов и органического спроса, это повод для проверки.
Но география также не является доказательством. Мобильные сети, VPN, корпоративные шлюзы и прокси могут определять местоположение неточно. В случае подозрения полезно сопоставлять географию Метрики с IP и сетевыми данными на серверной стороне.
Признак №8. Новые посетители, которые выглядят слишком одинаково
Автоматизация часто старается создавать внешне независимые сессии. Меняются cookies, IP-адреса, браузерные параметры и другие признаки, поэтому каждый визит может выглядеть как новый пользователь.
Подозрительной может быть ситуация, когда одновременно с ростом трафика резко увеличивается доля новых посетителей, а их поведение остаётся однотипным: одинаковые посадочные страницы, глубина, время, последовательность переходов и отсутствие нормальной бизнес-конверсии.
Признак №9. Фиктивные цели, формы и обращения
Не вся автоматизация ограничивается просмотром страниц. Боты способны нажимать кнопки, вызывать JavaScript-события и отправлять формы. В результате в Метрике могут расти достижения целей, хотя бизнес не получает соответствующего количества реальных клиентов.
- рост отправок формы без нормальных контактных данных;
- однотипные заявки;
- увеличение достижений цели без роста продаж;
- события, которые возникают с нехарактерной частотой;
- массовое прохождение одинакового маршрута до цели.
В таком случае полезно сравнить Метрику с CRM, почтой, журналами форм и серверными логами. Если аналитика показывает десятки конверсий, а в бизнес-системах их нет, необходимо проверить способ фиксации цели и источник событий.
Что искать в Вебвизоре
Вебвизор полезен тем, что позволяет посмотреть поведение отдельных сессий. Наиболее очевидная автоматизация иногда действительно заметна по необычной прокрутке, резким или повторяющимся переходам, отсутствию осмысленного взаимодействия со страницей.
Однако современные сценарии могут специально имитировать движение мыши, паузы, скролл и клики. Поэтому Вебвизор нельзя использовать как единственный метод определения. Его задача — дать дополнительный контекст к уже найденной аномальной группе.
- одинаковая последовательность действий в большом количестве записей;
- повторяющаяся глубина прокрутки;
- однотипные паузы перед переходами;
- массовые клики по одинаковым элементам;
- неестественная скорость прохождения сложной страницы;
- поведение, которое повторяется при разных якобы уникальных посетителях.
Почему показатель отказов нельзя использовать отдельно
Высокий процент отказов часто связывают с ботами, но этот показатель сильно зависит от типа сайта и качества трафика. Рекламная посадочная страница, информационная статья и интернет-магазин имеют разную нормальную модель поведения.
Кроме того, автоматизация способна специально создавать неотказные визиты: открывать вторую страницу, прокручивать контент, вызывать события или находиться на сайте заданное время. Поэтому низкий процент отказов также не гарантирует, что трафик живой.
| Показатель | Почему он не является доказательством сам по себе |
|---|---|
| Отказы | Высокие бывают у людей, низкие можно имитировать программно. |
| Время на сайте | Бот может выдерживать заранее заданные паузы. |
| Глубина просмотра | Автоматизация легко открывает несколько страниц. |
| Источник | Прямой заход или Referer не подтверждают реальное происхождение визита. |
| User-Agent | Строка браузера легко подменяется. |
| IP-адрес | Один адрес может принадлежать реальным людям и автоматизации. |
| Разрешение экрана | Редкие параметры встречаются и у настоящих устройств. |
Как правильно сегментировать подозрительные визиты
Полезнее всего выделять не «ботов вообще», а конкретную аномальную группу. Например: визиты, которые начались после определённой даты, пришли из необычного источника, попали на конкретную посадочную страницу и имеют похожую длительность.
После создания такого сегмента его можно сравнить с нормальной аудиторией по устройствам, географии, глубине, целям и поведению. Чем больше независимых признаков совпадает, тем выше вероятность того, что найден отдельный автоматизированный сценарий.
Пример последовательности анализа
- найти дату начала всплеска;
- выделить источник, который вырос сильнее остальных;
- посмотреть посадочные страницы этого источника;
- сравнить длительность и глубину;
- проверить устройства и географию;
- посмотреть несколько записей Вебвизора;
- сверить те же периоды с серверными логами.
Почему фильтрация роботов в аналитике не заменяет защиту сайта
Штатная фильтрация роботов полезна для качества отчётов, но аналитическая система работает уже после обращения посетителя к сайту. Если автоматизированный клиент загрузил страницу, выполнил JavaScript и только затем был классифицирован как робот, сам запрос к инфраструктуре уже произошёл.
Поэтому нужно разделять две задачи: очистить статистику и фактически остановить нежелательные запросы. В первом случае работают фильтры и сегменты аналитики. Во втором требуется фильтрация на уровне reverse proxy, WAF или другого защитного контура.
Удалить визит из отчёта и не пустить запрос на сайт — не одно и то же. Аналитика отвечает за измерение, а защита должна принимать решение до нормальной обработки запроса приложением.
Зачем сравнивать Метрику с серверными логами
Access-лог фиксирует фактические HTTP-запросы независимо от того, выполнился ли счётчик аналитики и как система классифицировала визит. Это позволяет проверить, соответствует ли всплеск в Метрике реальному увеличению запросов к сайту.
На серверной стороне можно дополнительно анализировать IP, ASN, User-Agent, запрашиваемые URL, методы, коды ответов, частоту запросов и другие технические признаки. При наличии reverse proxy или WAF появляются данные о том, какие запросы были разрешены, остановлены или отправлены на дополнительную проверку.
| Источник | Что даёт при диагностике |
|---|---|
| Яндекс Метрика | Визиты, источники, поведение, цели, устройства и динамику. |
| Вебвизор | Контекст поведения отдельных сессий. |
| Access-лог | Фактические HTTP-запросы, URL, IP, User-Agent и коды ответов. |
| WAF / reverse proxy | Результаты сетевой и веб-фильтрации, причины блокировок и проверок. |
| CRM / формы | Подтверждение реальных заявок и бизнес-конверсий. |
Как CRONARMOR анализирует подозрительный трафик
В CRONARMOR данные аналитики используются как один из источников для понимания происходящего на сайте, но решение о пропуске или остановке запроса принимается по техническим признакам на уровне защитного контура.
- сетевые характеристики и принадлежность адресов к ASN;
- HTTP-параметры запроса;
- браузерные признаки и их согласованность;
- повторяемость поведения между сессиями;
- структура обращений к URL;
- результаты дополнительных браузерных проверок;
- индивидуальные правила конкретного сайта;
- доверенный пропуск проверенных поисковых роботов и необходимых внешних сервисов.
Такой подход нужен потому, что хороший бот может выглядеть правдоподобно в Метрике, а отдельный реальный пользователь — наоборот, иметь необычные параметры. Чем больше уровней данных анализируется одновременно, тем меньше риск принять человека за бота или пропустить устойчивую автоматизацию.
Что не стоит считать доказательством бот-трафика
- один визит с нулевой глубиной;
- короткая сессия;
- высокий процент отказов;
- необычное разрешение экрана;
- один подозрительный IP;
- отсутствующий Referer;
- визит из другой страны;
- странное движение мыши в одной записи Вебвизора.
Все перечисленные признаки становятся полезными только тогда, когда повторяются в значимом количестве визитов и согласуются друг с другом.
Краткий чек-лист проверки бот-трафика в Метрике
- Найдите момент начала аномалии.
- Сравните посещаемость до и после.
- Проверьте, какой источник вырос.
- Посмотрите посадочные страницы нового трафика.
- Сравните время и глубину визитов.
- Проверьте устройства, браузеры и географию.
- Оцените долю новых посетителей.
- Проверьте цели и реальные заявки.
- Посмотрите выборку Вебвизора.
- Сопоставьте подозрительный период с access-логами.
FAQ
Можно ли определить бота только по отказам?
Нет. Высокие отказы встречаются у реальных посетителей, а автоматизация способна имитировать неотказные сессии.
Если Метрика пометила визит как робота, он не дошёл до сайта?
Не обязательно. Классификация в аналитике не означает, что сетевой запрос был остановлен до загрузки сайта.
Вебвизор точно показывает, где бот?
Нет. Он помогает увидеть поведение, но современные автоматизированные браузеры способны имитировать прокрутку, паузы и клики.
Почему полезны серверные логи?
Они показывают фактические HTTP-запросы и позволяют проверить, что происходило на сервере независимо от классификации визита в аналитике.
Какой признак самый важный?
Не существует одного универсального признака. Наиболее надёжна устойчивая совокупность сетевых, браузерных и поведенческих аномалий.
Итог: Яндекс Метрика хорошо подходит для поиска аномалий, но бот-трафик следует определять не по одному показателю, а по повторяющимся сочетаниям признаков. Для сложных случаев данные Метрики нужно сопоставлять с фактическим серверным трафиком.
Нужно проверить трафик сайта на автоматизацию?
CRONARMOR помогает анализировать и фильтровать нежелательный бот-трафик на сетевом и веб-уровне. При диагностике учитываются данные аналитики, серверные запросы и технические характеристики трафика.