Сбой в работе Яндекса: данные показывают, что вместо того, чтобы затихнуть, вредоносные боты перешли в другое русло

После сообщений об атаках на дата-центры Яндекса в интернете распространились утверждения о том, что российские бот-фермы и операции по оказанию влияния были выведены из строя. Графики HTTP-трафика показали резкое падение, что подпитывало предположения о том, что повреждение инфраструктуры остановило действия этих злоумышленников. Однако агрегированные показатели трафика могут легко ввести в заблуждение. С Яндексом связаны два номера автономных систем (ASN): AS13238 используется поисковой системой Яндекса, а AS200350 — облачными сервисами.

Используя данные Cloudflare Radar и Bot Management, мы проанализировали, как это повлияло на эти две автономные системы (ASN), и хотя в обеих наблюдалось снижение трафика, последствия были разными.

• Поиск Яндекса (AS13238): Падение трафика было вызвано почти исключительно индексацией веб-страниц, изображений и ресурсов сайта проверенными поисковыми роботами.
• Yandex.Cloud (AS200350): Наблюдалось снижение вредоносной активности, такой как сканирование и проверка уязвимостей, но высокопроизводительная автоматизация не исчезла — она просто переместилась к другим хостинг-провайдерам.

Хотя вредоносный трафик может исходить от конкретного провайдера, это не обязательно указывает на то, кто за него отвечает. Чтобы понять, почему атаки не оказали существенного долговременного влияния на вредоносный трафик, необходимо анализировать поведение запросов, а не только общие закономерности трафика.

Что произошло: последствия забастовок и исходный уровень до события.
В период с 7 по 11 октября, по сообщениям, украинские беспилотники нанесли удары по трем объектам Яндекса в России, постепенно выводя из строя центры обработки данных и сетевые мощности. Как видно на Cloudflare Radar, это привело к почти полному коллапсу сети Яндекса 11 октября, когда трафик упал на 99% ниже базового уровня для Яндекс Поиска (AS13238) и на 90% для Яндекс.Облака (AS200350). Несмотря на кратковременное частичное восстановление, обе сети оставались неработоспособными до 13 октября, стабилизировавшись на уровне 86-90% ниже нормального базового уровня. (По состоянию на 14 октября, 18:00 UTC, трафик составляет 85% от нормального уровня.)


Снижение общего HTTP-трафика лишь подтверждает сбой в сети. Оно не показывает, были ли нарушены действия вредоносных или скрытых ботов. Рассматривая базовый уровень автоматизации до инцидента, мы видим, что до атак автоматизированные запросы составляли 36,1% всего HTTP-трафика, наблюдаемого в сети Cloudflare по всему миру, и 35,8% трафика с российских IP-адресов.

Сбой по-разному повлиял на автоматизированную работу двух затронутых автономных сетей, поскольку они выполняли разные функции.

ASN «Яндекс Поиск» (AS13238) используется для индексации поисковых систем. Cloudflare классифицировал 99,5% его запросов как автоматические, а 93,6% запросов от ботов — как подтвержденные. Наш анализ показал, что трафик из этого ASN индексировал страницы, отображал страницы и отображал изображения, что является типичным поведением для поискового робота. На ASN «Яндекс Поиск» приходилось около 7% запросов от ботов из России и всего 0,05% от общего глобального объема.

Азиатско-Тихоокеанская сеть Yandex.Cloud (AS200350) — это сеть облачного хостинга с совершенно иным набором автоматизации. Примерно 95% запросов, оцененных ею, были запросами от ботов, но ни один из наблюдаемых запросов от ботов не был подтвержден Cloudflare. Боты Yandex.Cloud больше походили на программные приложения: почти две трети их запросов отправляли данные на веб-сайты, некоторые идентифицировали себя как программы на JavaScript, Python или Go, и большая их часть направлялась компаниям-разработчикам программного обеспечения, чем поисковые боты Yandex. На долю Азиатско-Тихоокеанской сети Yandex.Cloud приходилось около 2% запросов от ботов из России и всего 0,01% от общего мирового объема.

Влияние события на общий трафик ботов.
«Бот-трафик» — это автоматизированные запросы к веб-сайтам в сети Cloudflare, такие как запросы от поисковых роботов и скриптов, а не обязательно активность на платформах социальных сетей. По мере снижения пропускной способности сетей Яндекса количество запросов от ботов также сократилось. Это было ожидаемо: почти весь трафик от Яндекс Поиска и Яндекс.Облака был автоматизированным. Хотя мы наблюдали очевидное падение общего трафика, мы не обнаружили никаких доказательств, связывающих глобальное снижение вредоносного трафика с падением трафика от Яндекса.

Количество запросов от ботов российского происхождения сократилось примерно пропорционально объему трафика Яндекса, который перестал работать, поскольку большинство запросов из этих сетей были автоматизированными.


Влияние на ASN Яндекс Поиска (AS13238): меньше индексации поисковых систем.
Снижение популярности Яндекс Поиска было практически полностью обусловлено индексацией поисковых систем. Анализ запросов показал, что 78,1% из них принадлежали проверенному ЯндексБоту, 11,5% — ЯндексРендРепозиторсБоту и 1,9% — ЯндексИзображениям.

Среди веб-сайтов и сервисов наиболее резкое падение наблюдалось в сегменте издательского дела и газет, где трафик из сетей Яндекса упал на 44%. Примерно 90% трафика на новостные сайты из этой ASN до события составлял индексация статей Яндексботом, при этом 40,5% клиентов Cloudflare получали HTTP-ответы 403 Forbidden, поскольку владелец сайта блокировал поискового робота. Когда ASN Яндекс Поиска отключился, клиенты просто увидели меньшее количество индексации от Яндекса.

Влияние на ASN Яндекс.Облако (AS200350): легитимное использование и миграция вредоносного трафика.
В Яндекс.Клауде наблюдалась совершенно иная картина. После сообщений об атаках бот-трафик с Яндекс.Клауда упал примерно на 40%. Особенно резкое снижение наблюдалось в нескольких категориях, связанных с атаками. Например, количество запросов к плагинам WordPress упало на 90%, а количество запросов, идентифицированных сканером, — на 93%. Интересно (и показательно), что количество блокировок трафика Яндекс.Клауда со стороны клиентов Cloudflare также снизилось на 70% за период событий, что говорит о том, что даже вредоносный трафик с этой ASN попадал на WAF Cloudflare пропорционально меньше.

Влияние на бизнес-вертикали
Боковый трафик Yandex.Cloud также представляет интерес, если его сегментировать по наиболее часто запрашиваемым отраслям:


Большая часть трафика из ASN Yandex.Cloud приходилась на две отраслевые категории: программное обеспечение и азартные игры. Отношение к программному обеспечению было предсказуемым для ASN, предназначенной для размещения сторонних приложений и интеграций с программным обеспечением. Более того, мы даже обнаружили, что api.cloudflare.com является одним из основных хостов для запросов к Yandex.Cloud. В целом, большая часть этого трафика была успешной (запросы возвращали коды 200) как до, так и во время мероприятия, что указывает на легитимное использование.

Наиболее убедительные доказательства того, что вредоносная автоматизация не исчезла, а переместилась в другое место, — это игорный сектор. Практически все запросы ботов от Yandex.Cloud были направлены на один аккаунт клиента игорного сервиса, при этом трафик переключался между его хостами. Сразу после сбоя 8 октября количество запросов ботов от Yandex.Cloud к этому аккаунту упало до нуля. Одновременно с этим начали появляться идентичные запросы от других российских хостинговых ASN, включая Radist и Selectel. Входящий трафик сохранял идентичный «отпечаток» у всех провайдеров:

• Тот же отпечаток клиента JA4 TLS
• Те же самые нестандартные пути запроса и HTTP-заголовки.
• Те же самые пользовательские строки User-Agent.

В целом, трафик российских ботов, нацеленных на игровые аккаунты, за неделю остался практически неизменным, увеличившись со 167,7 млн ​​до 170,1 млн запросов (+1,4%). Автоматизация не прекращалась; операторы просто перенесли свои рабочие нагрузки на альтернативных облачных провайдеров, как только Yandex.Cloud стал недоступен.

В большинстве отраслей доля запросов ботов к Yandex.Cloud, возвращающих HTTP-ответы 4xx, снизилась. Это во многом связано с уменьшением трафика, подобного атакам, о котором говорилось выше. В сочетании с анализом поведения клиентов, занимающихся азартными играми, это показывает, что вредоносный трафик, отправлявший запросы через Yandex.Cloud, просто переключился на других провайдеров после сбоя в работе сервиса.

Наконец, при анализе трафика в социальных сетях мы не обнаружили неожиданных изменений ни с российских IP-адресов (снижение общего трафика на 0,6% за период событий), ни в глобальном масштабе (увеличение общего трафика на 1,2% за период событий). Мы повторили анализ трафика ботов, обращающегося к конечным точкам «публикация», «ответ» и «лайк» на конкретной платформе социальных сетей, и аналогично не обнаружили неожиданных изменений до или во время периода событий ни с российских IP-адресов (снижение общего трафика на 5,7% за период событий), ни в глобальном масштабе (увеличение общего трафика на 1,1% за период событий). На основании нашей оценки, данные, по-видимому, не подтверждают утверждения о том, что атаки парализовали манипуляции в социальных сетях, хотя без дальнейшего анализа данных вне Cloudflare мы не можем с уверенностью сказать, что связи нет.

Что показали нам данные — и чего они не показали.
Когда трафик из сетей Яндекса резко упал, в интернете распространились предположения о том, что российские операции по оказанию влияния и вредоносные ботнеты получили сокрушительный удар. Данные Cloudflare говорят об обратном: в сети Cloudflare не было обнаружено никаких доказательств того, что атаки вывели из строя манипуляции в социальных сетях или иным образом нарушили вредоносную деятельность в интернете. Вместо этого данные показали:

Индексация поисковых систем снизилась. Подавляющее большинство трафика, упавшего с Яндекс Поиска, составляли проверенные краулеры ЯндексБот, загружавшие новостные статьи и веб-ресурсы. Основное влияние заключалось в снижении видимости контента в Яндекс Поиске.
Вредоносная автоматизация переместилась, а не прекратилась. Хотя сканирование уязвимостей и проверка плагинов временно прекратились на Yandex.Cloud, высоконагруженные операции быстро переместились на альтернативные хостинговые сети.
Сбой в сети означает, что конкретные серверы перестали отправлять запросы, но это не значит, что автоматизированная угроза исчезла. Облачные рабочие нагрузки являются переносимыми, поэтому, когда центр обработки данных выходит из строя или блокируется IP-префикс, операторы могут перенести свои скрипты к другому провайдеру за несколько часов.

Наш анализ напоминает, что объем трафика клиентских ASN является ненадежным показателем для интерпретации поведения автоматизированных ботов. Защита от автоматизированных угроз требует анализа поведения запросов, например, выявления общих отпечатков JA4, мониторинга аномальных частот запросов и применения правил WAF к конфиденциальным конечным точкам, независимо от того, из какой сети исходит запрос. Физическая инфраструктура статична, но вредоносная автоматизация создана для перемещения.