Qrator Labs

Qrator Labs открыла новый Центр очистки трафика на рынке Ближнего Востока для предоставления услуг по противодействию DDoS-атакам. Новая точка присутствия компании запущена в Дубае.

Регион Ближнего Востока сегодня проходит серьезный процесс трансформации, интегральной частью которого является формирование экосистемы технологических инноваций. Расходы на информационные технологии в регионе MENA, включающем Ближний Восток, Турцию и Африку, по прогнозам IDC, должны увеличиться на 2,8% и достичь 77,5 млрд долларов в 2021 году.

В связи с этим задачи обеспечения доступности и безопасности ресурсов становятся одними из наиболее приоритетных для все большего числа компаний Ближнего Востока. Среди организаций Ближнего Востока отмечается растущая обеспокоенность проблемой DDoS-атак. Многие компании в регионе Персидского залива не только считают атаки на отказ в обслуживании одной из основных бизнес-угроз, но также осознают необходимость организации комплексной защиты от них. В условиях сложной экономической ситуации и перехода в онлайн все большего числа компаний риски в киберпространстве продолжат расти, потери от них — увеличиваться, а значит, бизнес сейчас находится под особенным ударом.

Открытие ЦОТ в Дубае становится важным этапом в развитии сети фильтрации Qrator Labs и стратегии глобальной экспансии компании. С помощью этой точки присутствия компания значительно увеличивает покрытие свой сети, обеспечивая низкие задержки для клиентов внутри ближневосточного региона, заинтересованных в обеспечении непрерывного функционирования своего бизнеса.

Рынок Ближнего Востока сильно монополизирован, поэтому обеспечить приемлемую связность в регионе достаточно непросто. Однако нам удалось построить свою сеть таким образом, чтобы повысить отказоустойчивость и усилить географическую распределенность сети Qrator Labs и обеспечить прямой доступ к клиентам и партнерам региона. Развитие инфраструктуры нашего облачного решения позволяет нам предоставлять клиентам сервис по противодействию DDoS-атакам с минимальными сетевыми задержками по приемлемой стоимости.

комментирует директор Qrator Labs в ближневосточном регионе Максим Белоенко

ЦОТ в Дубае стал 13-м в глобальной инфраструктуре Qrator Labs. На сегодняшний день сеть фильтрации Qrator включает в себя три узла в России, два — в США, три — на территории ЕС, четыре — в Азии и один — на Ближнем Востоке.

Вчера, 19 февраля, в Интернете была замечена еще одна демонстрация удобной функции Noction, которая, вероятно, должна помочь вам разбогатеть, но, скорее всего, сделает вас печально известной.

Начиная с 09:48 UTC мы увидели около 200 тысяч маршрутов с ранее не существующими префиксами с неработающим AS_PATH. Но обо всем по порядку.


День начался с довольно резкого и жужжащего звука уведомлений по электронной почте о критических событиях маршрутизации, которые, как видите, обрезаются на таком высоком пороге, что мы считаем их глобальными.

Мы выяснили, что у всех этих глобальных инцидентов есть одна общая черта — затронутые префиксы видны только локально. Их заметил только один из говорящих, и они появились мгновенно.

Практически все маршруты содержали похожие детали — «44393 14570 40676». AS44393 — Securebit Route Collector, AS14570 — I Am A Bad Actor, LLC (мы оценили воображение) и AS40676 — Psychz Networks (нам понравился саундтрек).

Пример (Примечание: отсутствует в RIPEDB stat.ripe.net/widget/routing-status#w.resource=189.203.175.128%2F25&w.min_peers_seeing=0):


Почти для всех префиксов имелся соответствующий объект правильного маршрута (всего 12000 различных ISP в качестве исходных ASN). Тем не менее, количество префиксов с недопустимым ROA было больше, чем количество действительных. Кто-то (или несколько) сбросил кучу под-префиксов для допустимых префиксов и вставил для них точный ASN в AS_PATH.


Большинство злоумышленников (90%) были / 25 действительных / 24 — знакомый признак «оптимизации» маршрутизации в действии.

Хотя некоторые неординарные особенности нас насторожили. В отличие от обычных маршрутов оптимизатора, почти все новые маршруты приводили только к неверным префиксам. Но это можно объяснить тем, что AS44393 сам по себе является сборщиком маршрутов и уже имеет лучшие маршруты к хорошим префиксам.

Что еще более странно — от AS_PATH к bad_prefixes содержится более 4000 новых ссылок, которые мы никогда раньше не видели. Таким образом, в отличие от типичных оптимизаторов, as_path для новых префиксов не были взяты из действительных префиксов, а были созданы на месте с действительным ASN, вставленным в конце AS_PATH (для прохождения проверки ROA в случае отсутствия порога максимальной длины).


Мы писали письма людям, ответственным за AS44393 и AS14570. Они сказали нам, что находятся на принимающей стороне, а не на исходящей, в результате чего нам остается только AS40676. Мы были удивлены, увидев AS40676 на интересной веб-странице: www.noction.com/clients. Это имя AS (Psychz Networks) указано как клиент компании-разработчика оптимизатора BGP. Итак, в конце концов, корень проблемы снова оказался в нем.

Остается последний вопрос — почему все новые префиксы не распространяются по всему миру? Простой ответ — немного удачи, потому что эти плохие маршруты были получены сборщиком маршрутов, что останавливает их дальнейшее распространение. В противном случае, к моменту выхода этой статьи, все новости будут об этом говорить.

Что тут сказать? Оптимизация маршрута — это всегда способ прострелить себе ногу в самый неподходящий момент. И если вы не используете ROA с max_length, вы не заметите, что кто-то поранил вас этим оружием без стороннего мониторинга. Но последняя радостная мысль: вы знаете список всех владельцев оружия.

Кроме того, мы хотим предупредить всех региональных * участников NOG: пожалуйста, если вы знаете, что в вашем регионе кто-то использует оптимизатор BGP в повседневной работе, убедитесь, что у вас есть все необходимые инструменты для предотвращения последствий такие манипуляции со стороны соседа.

27 января 2021 года произошла весьма своеобразная утечка на маршруте. AS61666 — GLOBO начала объявлять префиксы своего восходящего провайдера MHNET — AS28146 другому своему провайдеру ALGAR — AS16735. За три минуты GLOBO утекло 1330 префиксов, и весь инцидент с маршрутизацией длился 8 минут — времени, которого хватило, чтобы создать 1435 конфликтов в 21 стране с 265 ASN, в основном в Бразилии (194 ASN), США (22 ASN) и Венесуэле. (7 ASN).



Этот инцидент распространился среди 86% спикеров BGP на пике, что составляет значительный процент. Почти 10% префиксов в утечке имели Invalid ROA (154 префикса) и не помогли предотвратить распространение.



Но что еще более впечатляет в этой утечке маршрутов, так это то, что эти пути имели ОГРОМНЫЙ добавление в их атрибут AS_PATH — 16 (!).


В нормальной ситуации префиксы с такими сильно добавленными AS_PATH распределяются плохо, поскольку обычно можно найти более легкий и короткий альтернативный маршрут и, в конечном итоге, принять его за лучший. Однако в этой утечке мы видим много добавленных AS_PATH, которые удалось распространить глобально. Как это произошло?

Более короткий маршрут не победит в испытании пути, если такого маршрута нет. В этом случае распределение было лучше на просочившихся маршрутах только для тех префиксов, которые до инцидента не были распределены глобально (что указывает на локальное использование).

Оказывается, что почти все такие префиксы заранее были покрыты менее конкретными префиксами — это означает, что локальный / 24, просочившийся в инцидент, был покрыт глобально распределенным / 23 перед инцидентом. Если в этих сетях существовала какая-либо служба — до утечки они были доступны по менее конкретным и регулярным маршрутам. После (и во время) инцидента возникли более конкретные префиксы с огромными префиксами, которые начали распространяться, поэтому весь трафик проходил через просочившуюся ссылку.


Таким образом, в этом конкретном случае даже огромные префиксы не были проблемой для глобального распространения просочившихся префиксов из-за их предшествующего локального использования.

19 января 2021 года компания Qrator Labs официально отмечает десятилетний юбилей!

Мы хотим воспользоваться этой уникальной возможностью и провести небольшую онлайн-конференцию для всех, кто хочет узнать больше об истории, команде, услугах и продуктах Qrator Labs.

Каждое выступление рассчитано на 15-20 минут, поэтому каждый зритель может рассчитывать на два с половиной часа презентаций от ключевых сотрудников Qrator Labs.

Отмечайте 19 января 2021 года в своих календарях, потому что вот что будет происходить начиная с 14:00 Московского времени.

I/III — Первый Час
10 лет развития бизнеса: с нуля к росту, путь от первых клиентов и спасенных карьер к захвату рынков новейшими технологиями.
Максим Белоенко, вице-президент глобальных продаж.
Создание технологии опережающей конкурентов, нескончаемое научное исследование на стыке информатики и практики реального мира.
Артем Гавриченков, со-основатель и технический директор Qrator Labs.
5-минутный перерыв

II/III — Второй Час
Интеграции с облаком Qrator Labs — как мы работаем над улучшением сервисов, которые предоставляем под одной крышей — партнерскими решениями CDN и WAF.
Андрей Лескин, менеджер по продукту.
Qrator Radar — пятилетнее путешествие от внутренней разработки к одному из крупнейших в мире специализированных сервисов.
Евгений Богомазов, сетевой инженер.
5-минутный перерыв

III/III — Третий Час
Пресейл и интеграция:

• Технический пресейл — как мы принимаем на борт наиболее крупных клиентов;
• Партнерская интеграция — сделай единожды и наслаждайся результатом;
• Продуктовое видение — сделай дважды и у тебя на руках почти готовый продукт.

Георгий Тарасов, инженер.
Жизнь NOC (Центра управления сетью) в компании занимающейся кибербезопасностью.
Дмитрий Шемонаев, глава Центра Управления Сетью.
Заключительное слово и итоги десятилетия компании. Работа с заказчиками в 20-х годах, грядущие инновации. Дальнейший рост компании первого эшелона на базе исследовательской деятельности и взаимоотношений с потребителем, как с инвестором.
Сергей Пасечник, директор отдела продаж.
До встречи 19 января!

youtu.be/L-yKHlcbJ2w
С наилучшими пожеланиями, Qrator.net team

Можно было бы ожидать, что 2021 год начнется несколько иначе, чем хаос прошлого года. В Qrator.Radar мы тоже надеялись на лучшее. К сожалению, уже 6 января — сегодня мы ошиблись.


Начиная с 4:21 UTC, из AS9304 — провайдера HGC Global Communications Limited из Гонконга — произошло огромное количество префиксов по сравнению со средней утечкой — 8764. Они содержали IP-адреса 907 ASN из 66 стран, что привело к 9140 конфликтам. в целом.

Активная фаза инцидента длилась около 2,5 часов, после чего сократилась.


Если такая утечка распространится по всему миру, это будет катастрофическим инцидентом, связанным с маршрутизацией для всех участников. По совпадению, на этот раз этого не произошло. По данным наших наблюдений, только ⅓ автономных систем в утечке принимали эти префиксы.


Среди наиболее пострадавших от этой утечки маршрута оказались известные участники Интернет-транзита из ЕС и США, такие как Akamai и Cloudflare. Однако объем утечки префиксов был настолько широк, что для компании с обширной компьютерной сетью почти невозможно не пострадать от такого инцидента.

Наконец, только для 1% префиксов в утечке распространение было действительно глобальным. По большей части эта утечка имела ограниченную известность и охват во всем мире. Что по-прежнему может быть довольно опасным и привести к потере трафика и доступности в определенных регионах.

Базирующаяся в Великобритании AS15412, принадлежащая Flag Telecom Global Internet, сегодня извлекла ценный урок. Теперь у сетевых инженеров этой компании больше не должно возникать вопросов о необходимости как входящей, так и исходящей фильтрации по префиксу.

AS203, принадлежащий к тому, что ранее называлось «Level3», приобретенным «CenturyLink» в 2016 году, а затем переименованным в «Lumen» в 2020 году, часто появляется в отчетах об инцидентах команды Qrator.Radar. Мы не должны никого винить, но такое возникновение инцидентов маршрутизации для отдельной организации вызывает беспокойство — мы надеемся, что эта статья поможет вам понять, как даже небольшое событие может иметь огромное влияние при соблюдении определенных предварительных условий.



21 октября 2020 года примерно в 14:11 по всемирному координированному времени AS203 начал анонсировать 158 префиксов, которые почти сразу же создали более 1100 конфликтов для более чем 1000 объявленных префиксов. Этот инцидент, который еще не прекратился, пока мы пишем этот конкретный отчет, затронул 31 интернет-провайдера в 19 странах, включая таких игроков, как AS9198 — KAZTELECOM-AS, AS35415 — WEBZILLA, AS7979 — SERVERS-COM и многие другие.



Вот график путей для одного из префиксов, которые были взломаны Webzilla:


Почему анонс такого умеренного набора префиксов привел к значительной аномалии, которая, по нашим оценкам, стоила законным владельцам потери значительной части их доступности — от 30% до 100% в зависимости от удаленности от магистрали Интернета?


Проще говоря — потому что «Люмен» — провайдер уровня 1. Объявления из такой автономной системы с обширным охватом на всех континентах легко побеждают в испытании пути BGP над исходными объявлениями. Что в дальнейшем позволяет им распространяться на другие автономные системы, достигая глобального покрытия. Объявления AS203 достигают мира в два прыжка, что имеет решающее значение для распространения префиксов.

Взгляните на следующую картину, которая прекрасно иллюстрирует, что даже меньшее или равное количество конкретных префиксов успешно распространяется по Интернету, захватывая трафик своих первоначальных владельцев в случае, если взлом происходит с Уровня-1:


Можно сказать, что в среднем этот инцидент унес 50% обычного трафика из легитимных автономных систем. Мы могли только предполагать, что причина воздействия этого инцидента заключается в том, что только 10% недействительных префиксов ROA сопровождали это событие.

«С большой силой приходит большая ответственность» — верна фраза, известная как принцип Питера Паркера. Когда вы являетесь крупным и заметным игроком на рынке интернет-провайдеров, даже незначительное действие может привести к катастрофическим последствиям для тех, кто у вас под ногами.

Национальное исследование надежности сегмента Интернета объясняет, как отключение одной автономной системы может повлиять на возможность подключения затронутого региона к остальному миру. В большинстве случаев наиболее важная автономная система в регионе является доминирующим интернет-провайдером на рынке, но не всегда.

По мере увеличения числа альтернативных маршрутов между AS (и не забывайте, что Интернет означает «взаимосвязанная сеть» — и каждая сеть является AS), то же самое происходит с отказоустойчивостью и стабильностью Интернета во всем мире. Хотя некоторые пути с самого начала более важны, чем другие, создание как можно большего числа альтернативных маршрутов является единственным жизнеспособным способом обеспечить достаточно надежную сеть.

Возможность глобального подключения любой данной AS, независимо от того, является ли она международным гигантом или региональным игроком, зависит от количества и качества ее пути к ISP уровня 1.

Обычно под Tier-1 подразумевается международная компания, предлагающая услуги глобального IP-транзита через соединения с другими провайдерами Tier-1. Тем не менее, нет гарантии, что такое подключение будет поддерживаться все время. Для многих интернет-провайдеров на всех «уровнях» потеря соединения только с одним одноранговым узлом уровня 1, вероятно, сделает их недоступными из некоторых частей мира.

Методология измерения надежности Интернета
Рассматривая случай, когда в AS происходит деградация сети, мы хотим ответить на следующий вопрос: «Сколько AS в одном регионе потеряют связь с операторами уровня 1 и их глобальную доступность вместе с ним?»

На протяжении многих лет мы моделируем такую ​​ситуацию, потому что на заре BGP и дизайна междоменной маршрутизации его создатели предполагали, что у каждой нетранзитной AS будет как минимум два вышестоящих провайдера, чтобы гарантировать отказоустойчивость в случае отказа одного из них.

Однако нынешняя реальность иная; менее половины всех интернет-провайдеров в мире имеют только одно соединение с восходящим транзитным провайдером. Ряд нестандартных отношений между транзитными интернет-провайдерами еще больше снижает доступность.

Были ли когда-нибудь отказы транзитных интернет-провайдеров? Ответ — да, и это происходит все чаще. Более уместен вопрос — при каких условиях конкретный интернет-провайдер может столкнуться с настолько серьезным ухудшением качества услуг, которое мы бы назвали простоем? Если такие проблемы кажутся маловероятными, возможно, стоит принять во внимание закон Мерфи: «Все, что может пойти не так, обязательно пойдет».

Для моделирования такого сценария мы применяем одну и ту же модель четвертый год подряд. Хотя, опять же, мы не просто повторили предыдущие расчеты — с годами исследования расширяются.

Для оценки надежности AS были предприняты следующие шаги:
Для каждой AS в мире мы исследуем все альтернативные пути к операторам Tier-1 с помощью модели отношений AS, ядра Qrator.Radar;

• Используя базу данных Maxmind GeoIP, мы сопоставили страны с каждым IP-адресом каждой AS;
• Для каждой AS мы рассчитали долю ее адресного пространства, соответствующую соответствующему региону. Были отфильтрованы интернет-провайдеры, которые находятся в точке обмена данными в Интернете в регионе, где они не имеют значительного присутствия. В качестве примера мы используем Гонконг, где трафик обменивается между сотнями членов HKIX — все же крупнейшей азиатской интернет-биржи, большинство из которых не имеют никакого присутствия в местном сегменте интернета;
• Выделив региональные автономные системы, мы проанализировали возможное влияние сбоя одной из них на другие автономные системы, а также на их страны;
• В конце концов, для каждой страны мы определили AS с наибольшим / наибольшим влиянием на другие AS в их регионе. Иностранные AS не рассматривались.
• Мы приняли значение воздействия этой системы как показатель надежности для страны. И использовал этот балл для оценки надежности стран. Чем меньше баллов — тем выше надежность.

Надежность IPv4

Столбец 2019 представляет собой балл, который отдельная страна имела в рейтинге 2019 года на определенной позиции.

Короче говоря:
Соединенные Штаты восстановили 10 из 11 позиций, которые они потеряли в 2019 году, оставаясь на 8 позиции в 2020 году;

• В ТОП-20 рейтинга надежности вошли четыре новые страны: Лихтенштейн, Япония, Индонезия и Аргентина.
• Четыре страны фактически покинули первую двадцатку: Ирландия, Болгария, Люксембург и Чехия, которая в этом году занимает 21 позицию.
• Гонконг опустился на восемь позиций и замыкает Топ-20 в 2020 году;
• Сингапур потерял 11 позиций.
• Многолетний лидер рейтинга — Германия — уступила место лидеру рейтинга надежности 2020 года Бразилии.
• Каждый год в рейтинге надежности происходят захватывающие сдвиги, зачастую соответствующие тому, что происходит внутри соответствующих регионов.

Перво-наперво — общая тенденция глобальной надежности, рассчитанная как средняя и средняя. На этот раз мы смотрим на пять лет непрерывных исследований:


В 2020 году количество стран, которые успешно повысили показатель надежности до менее 10%, что свидетельствует о высокой отказоустойчивости, увеличилось на 5 второй год подряд, достигнув в общей сложности 40.

Как вы также можете видеть, средний показатель надежности со временем улучшается. Однако с 2018 года медиана остается на сопоставимом уровне — нижняя часть рейтинга не улучшается достаточно быстро по сравнению с верхней.

Однако остается самый важный факт — за период нашего исследования и IPv4, и IPv6 показали значительное улучшение надежности. Более того, в будущем неизбежен момент, когда версия рейтинга IPv6 станет основной.

Надежность IPv6
В 2020 году кажется, что что-то изменилось в восприятии и принятии протокола IPv6. Google получает наиболее подходящую статистику, о которой мы хотим упомянуть.


По состоянию на сентябрь 2020 года почти 30% пользователей Google используют собственное соединение IPv6, что фактически означает, что их интернет-провайдеры поддерживают версию IP-протокола v6.

Хотя основная проблема с IPv6 все еще сохраняется — это частичное подключение. Из-за пиринговых войн, а не повсеместного внедрения IPv6 и других проблем, IPv6 все еще имеет проблему ограниченной видимости сети. Чтобы лучше понять это, взгляните на надежность IPv6 в сравнении с частичной скоростью подключения.


Из этой таблицы сравнения надежности и частичного подключения IPv6 очевидно, что есть несколько стран, где частичное подключение по IPv6 превышает 10%: Италия, Гонконг, Ирландия, Румыния.

Рассматривая частичное подключение в сочетании с «классическим» процентом надежности, показывающим долю недоступных в случае сбоя ресурсов, мы могли бы заявить, что только в Гонконге отказ IPv6 AS3491 приведет к тому, что 18% подключенных к IPv6 ресурсов станут недоступными.. 16% в Ирландии; почти то же самое в Италии и Румынии. Эти цифры высоки даже в Великобритании — 7,5%, Германии — 8%, США — 15%.

Наименьшее значение среди IPv6 Top-20 принадлежит Бразилии — 4,66%, Нидерландам — ​​4,72% и Японии — 5,24%.

Кажется, что в 2020 году ситуация изменилась, и надежность IPv6, даже с учетом частичного подключения, выглядит лучше, чем у IPv4. Средний показатель надежности IPv4 в 2020 году составляет 36,22%, а для IPv6 те же показатели достигают 28,71% — и, когда мы измеряем влияние сбоев, чем ниже показатель, тем лучше. Однако необходимо отметить, что принятие IPv6 в странах в два раза меньше, чем в случае IPv4 — более новой версии протокола еще предстоит пройти долгий путь до полного принятия.

Широкополосный Интернет и записи PTR
«Всегда ли ведущий интернет-провайдер страны влияет на надежность региона больше, чем кто-либо другой?» — на этот вопрос мы пытаемся ответить с помощью дополнительной информации и расследования. Мы предполагаем, что наиболее значительный (по пользовательской или клиентской базе) интернет-провайдер в регионе не обязательно является самым важным для сетевого подключения региона.

Два года назад мы начали анализировать записи PTR. Как правило, записи PTR используются для обратного поиска DNS: использование IP-адреса для определения связанного имени хоста или имени домена.

Поскольку нам уже известны крупнейшие автономные системы для каждой страны мира, мы можем подсчитать записи PTR в их сети и определить их долю в общих записях PTR для соответствующего региона. Мы считали только PTR-записи и не рассчитывали соотношение IP-адресов без PTR-записей к IP-адресам с ними.

Итак, мы говорим строго об IP-адресах, в которых есть PTR-записи. Практика их добавления не универсальна; некоторые провайдеры делают это, а другие нет.

В рейтинге на основе PTR мы смотрим, какая часть IP-адресов с поддержкой PTR перейдет в автономный режим из-за отключения автономной системы каждой страны, и какой процент соответствует соответствующему региону.


Такой подход, учитывающий PTR-записи, дает совсем другие результаты. В большинстве случаев меняется не только основная региональная AS, но и процентное соотношение. Во всех в целом надежных (с точки зрения глобальной доступности) регионах количество IP-адресов с поддержкой PTR, которые отключаются после выхода из строя одной автономной системы, в десятки раз больше. Это может означать, что ведущий национальный интернет-провайдер всегда обслуживает конечных пользователей в тот или иной момент.

Таким образом, мы должны предположить, что этот процент представляет собой часть пользовательской базы и клиентской базы интернет-провайдера, которая перейдет в автономный режим (если переключиться на второго интернет-провайдера невозможно) в случае сбоя. С этой точки зрения страны кажутся менее надежными, чем они выглядят с точки зрения транзита. Мы оставляем читателю возможные выводы из этого рейтинга PTR.

Интернет-провайдеры с одним восходящим потоком (тупиковые сети) и их надежность
В семи из двадцати стран с самым высоким рейтингом надежности IPv4 мы обнаружили интересную деталь. Предположим, мы ищем крупнейшего провайдера для «тупиковых сетей», которые по сути представляют собой сети только с одним восходящим провайдером. В этом случае мы найдем другие AS и ISP, отличные от того, который отвечает за текущую классическую метрику надежности для соответствующего национального сегмента.


Здесь мы выделили страны, входящие в верхнюю часть рейтинга надежности IPv4 и рейтинга надежности IPv6 на 2020 год.

Давайте поговорим о наиболее заметных различиях между критически важной автономной системой с точки зрения глобального транзита и основным вариантом восходящего потока в конкретном регионе. Интересно отметить, что редко критическая AS для тупиковых сетей одновременно не является классической глобальной критической AS.

AS174 — Cogent — особенный в IPv4. Изменения Cogent всегда интересно исследовать — поскольку Tier-1 с сильным присутствием в Европе несет огромную ответственность, поскольку он также является критически важной AS для тупиковых сетей, а также глобального транзита. В 2020 году это критически важная AS для тупиковых сетей IPv6 во Франции и Бельгии, а в IPv4 Cogent отвечает за все показатели надежности в Великобритании, Франции, Бельгии (из первой двадцатки IPv4), а также за глобальные показатели надежности Ирландии и Ватикана.

Однако пример Гонконга несколько выдающийся. Классической критически важной AS для подключения к IPv4 в регионе является AS3491 — PCCW Global, провайдер уровня 1. Однако критически важной AS для тупиковых сетей является AS4515 — ERX-STAR — подключенная как к PCCW Global, так и к Hong Kong IX. Таким образом, для ERX-STAR ситуация следующая: если AS3491 каким-то образом выйдет из строя — он все равно сохранит региональную связь через IX, если, с другой стороны, IX выйдет из строя — данные будут по-прежнему доступны глобально через Tier-1. сеть.

Это частный пример того, как значительный и глубокий Интернет-обмен в одном регионе может заменить второго сильного вышестоящего провайдера. Если поблизости есть большой IX, подключившись к нему и только к одному классическому транзитному провайдеру, вы можете получить почти такую ​​же региональную надежность, как и при подключении к двум транзитным восходящим потокам. Хотя, опять же, IX не может полностью заменить соединение уровня 1 в глобальном смысле — это отличный пример регионального или глобального соединения.

AS6939 — Hurricane Electric — это критически важные автономные системы тупиковых сетей в Гонконге и США для IPv6.

В IPv4 он также меняется — в США классическая надежность проистекает из позиции AS3356, принадлежащей интернет-провайдеру CenturyLink, но критически важной AS для тупиковых сетей в версии 4 является AS7018 от AT&T — еще один уровень 1 в национальном сегменте Соединенных Штатов.

Подробности по регионам
Одним из наиболее важных вопросов, которые нужно задать себе при проведении исследования 2020 года, был: «Каким образом американскому сегменту удалось восстановить некоторую надежность после резкого падения на 11 позиций в прошлом году и повысить отказоустойчивость Интернета в национальном сегменте без подмены? рассматриваемый интернет-провайдер — CenturyLink? »

Ну, во-первых, CenturyLink мог потерять часть своей рыночной стоимости, и это, вероятно, основная причина улучшения показателей. Хотя трудно сказать наверняка, мы склонны думать, что сбои CenturyLink в предыдущие годы и самый последний, вероятно, побудили их клиентов хотя бы попытаться найти некоторые дополнительные возможности транзита, если не отказаться от дальнейшей услуги CenturyLink в все.

Падение позиций Гонконга при переходе с 2019 на 2020 год может быть связано с изменяющейся ситуацией в регионе, хотя доля рынка PCCW в этом году почти очевидно колебалась.

Мы обрисовали в общих чертах сингапурские изменения в критической AS для региона в прошлогоднем исследовании и, глядя на текущее изменение; можно утверждать, что AS4657 может и дальше завоевывать рынок, консолидируясь в качестве основного интернет-провайдера страны — это неизбежно приведет к падению оценки надежности.

Когда мы пишем это исследование из Чешской Республики, мы чувствуем себя обязанными выделить важные детали об интернет-сегменте CZ. Это, вероятно, единственный регион, который мы знаем наверняка, в котором нет ни одного интернет-провайдера, стоящего за критически важной для страны автономной системой. Вместо этого AS47232 — ISPAlliance — который имеет решающее значение для всех показателей (классические глобальные транзитные сети и тупиковые сети), является бесплатным и добровольным объединением небольших интернет-провайдеров в Чешской Республике. Как пишет компания на своей странице «Цели и видение»:

Местные операторы связи сталкиваются с множеством трудностей на рынке, что ставит их в невыгодное положение по сравнению с крупными брендами, ведущими международную конкуренцию, и теми, кто ведет несправедливую игру. ISP Alliance a.s. мы создали его, чтобы преодолеть эти трудности

Это помогает преодолеть присутствие гораздо более значительных игроков в национальном сегменте! Это хороший пример объединения группы ради разумной общей цели, что привело к хорошей оценке надежности, поскольку даже после того, как четыре новые страны вошли в топ-20 в 2020 году, Чешская Республика находится на 21-м месте с рейтингом надежности 6,5%. Более того, такой небольшой (по сравнению с размерами других лидеров) национальный сегмент, занимающий восьмое место по количеству автономных систем с поддержкой IPv6, — это просто вещь, за которую следует поблагодарить всех, кто участвует в построении и обслуживании компьютерных сетей.

Спасибо, что прочитали Исследование надежности! Если у вас возникнут какие-либо вопросы, напишите нам на radar@qrator.net

Прежде чем мы начнем исследовать то, что происходит с Интернетом в Беларуси и за ее пределами, позвольте процитировать пару предложений, которые мы повторяем в ежегодном Национальном исследовании и отчете по надежности:

«Строго говоря, когда BGP и мир междоменной маршрутизации находились на стадии проектирования, создатели предполагали, что у каждой нетранзитной AS будет как минимум два восходящих провайдера, чтобы гарантировать отказоустойчивость в случае отказа одного из них. Однако реальность иная; более 45% интернет-провайдеров имеют только одно соединение с восходящим транзитным провайдером. Ряд нетрадиционных отношений между транзитными интернет-провайдерами еще больше снижает надежность. Итак, проваливались ли когда-нибудь транзитные интернет-провайдеры? Ответ — да, и это случается довольно часто. Более уместный вопрос — при каких условиях конкретный интернет-провайдер испытает ухудшение качества обслуживания? Если такие проблемы кажутся маловероятными, возможно, стоит принять во внимание закон Мерфи: «Все, что может пойти не так, обязательно пойдет».

Почему мы повторяем это, а не начинаем с фактов и временных шагов, как обычно? Потому что, с нашей точки зрения, именно так обстоит дело с белорусским интернет-сегментом. Давайте посмотрим на две диаграммы, представляющие сеть BGP в Беларуси месяц назад, в начале июля 2020 года:

IPV4

IPV6


Что мы здесь видим? Мы видим две важнейшие АС: 6697 — Белпак, национальная телекоммуникационная монополия, и 60280 — Национальная биржа трафика, почти полностью отвечающая за подключение Беларуси к внешнему миру.

Любопытная AS21274, очевидно принадлежащая Национальной академии наук Беларуси, является единственной сетью, которая обходит Белпак и NTEC при трансграничном соединении. Более того, неудивительно, что ресурсы, размещенные в AS21274, очень доступны (http://basnet.by/en/index.html), в отличие от содержимого 6697 и 60280.

Однако давайте подробнее рассмотрим сетевые события, которые начнутся 8 августа 2020 года.

Первое, что привлекло наше внимание, это то, что сеансы IPv6 были отключены обеими национальными телекоммуникационными компаниями незадолго до того, что произошло после. Согласно данным Qrator.Radar, более 80% префиксов IPv6 были недоступны с 18:00 UTC 8 августа. Более того, это продолжается в течение трех дней подряд — очень необычный образ действий, учитывая растущее использование IPv6.

AS6697 IPv6 upstreams


AS60280 IPv6 providers…

… И одноранговые узлы IPv6 (это почти то же самое с одноранговыми узлами IPv6 Belpak, которые упали с 73 9 августа до 0 10 августа и 2 сегодня, 11 августа).



Как видите, эти две автономные системы по какой-то причине почти полностью отключили свои возможности подключения к IPv6 и до сих пор не восстанавливали их. Мы могли только предполагать, по какой конкретной причине это было сделано, но исключение почти всего IPv6 из обслуживания — это то, что можно было сделать только «изнутри» — мы никогда не видели такого массового и одновременного «внешнего» отключения IPv6.

Однако с IPv4 все гораздо сложнее.

На первый взгляд, со стороны практически ничего не изменилось. Эти две критически важные автономные системы Беларуси по-прежнему подключены к своим глобальным апстримам даже после падения префикса на 20% 10 августа:

График подключения AS6697 BGP


График соединений AS60280 BGP


Таким образом, причина массовой недоступности ресурсов, размещенных внутри сегмента BY, и, наоборот, неспособности пользователей внутри Беларуси получить доступ к глобальным интернет-ресурсам, вероятно, находится где-то в другом месте.

К сожалению, у нас нет инсайдерской точки зрения, чтобы проанализировать, как поток трафика изменился в плоскости TCP / UDP, поэтому наш единственный вариант — посмотреть на информацию, все еще поступающую изнутри страны. Один из маркеров, на который мы хотим сослаться, — это поток исходящего трафика одного из крупнейших интернет-СМИ страны — tut.by; который сегодня опубликовал график, показывающий, как пропускная способность их каналов была сформирована вышестоящим провайдером, которым является Белпак — AS6697:


Если это так для каждого клиента AS6697, то у нас почти не возникает вопросов о том, почему подключение к сегменту BY и от него имеет такую ​​форму — потому что оно было сформировано таким образом, согласно приведенному выше графику, начиная с 10:30., UTC + 3, 10 августа.

Какова конкретная причина такого шага — мы не знаем. Даже без системы DPI такая искусственная перегрузка почти наверняка повлияет на поток трафика. А в текущей ситуации в Беларуси, где все больше и больше людей полагаются на Интернет для связи, с растущим объемом входящего и внепланового трафика, сокращение или ограничение пропускной способности почти наверняка приведет к отключению больших частей BY-сети., увеличивая побочный ущерб до состояния отказа в обслуживании.

Мы могли только надеяться, что AS6697 и AS60280 восстановят свое соединение как можно скорее, преодолев существующие ограничения инфраструктуры. Мы увидим через месяц после выхода отчета National Reliability Research за 2020 год, как эти события изменили положение сегмента BY за эти годы. Поскольку Интернет давно стал важной частью человеческой жизни, мы чувствуем себя обязанными напомнить всем, что каждое действие имеет как краткосрочные, так и долгосрочные последствия.

Это, надо сказать, пока что уникальная история.

Вот и начало: примерно в течение часа, начиная с 19:28 UTC 1 апреля 2020 года, крупнейший российский провайдер — Ростелеком (AS12389) — анонсировал префиксы, принадлежащие известным интернет-игрокам: Akamai, Cloudflare, Hetzner, Digital Ocean, Amazon AWS и другие известные имена.

До того, как проблема была решена, пути между крупнейшими облачными сетями были несколько нарушены — интернет заморгал. Утечка маршрута была достаточно хорошо распределена через Rascom (AS20764), затем Cogent (AS174) и через пару минут через Level3 (AS3356) по всему миру. Проблема внезапно стала настолько серьезной, что насыщала процесс принятия решения о маршруте для нескольких интернет-провайдеров первого уровня.

Это выглядело так:


С этим:


Эта утечка затронула 8870 сетевых префиксов, принадлежащих почти 200 автономным системам. С большим количеством недействительных объявлений, которые не были отброшены всеми принимающими уровнями. В конечном счете, это не изменит день, но распределение утечек на маршруте может быть ниже, если фильтры будут на месте. Посмотрите на RIPE BGPlay, если вы хотите наблюдать за динамикой произошедшего: stat.ripe.net/widget/bgplay#w.resource=2.17.123.0/24

Как мы писали вчера, все сетевые инженеры должны быть осведомлены о том, что они делают, предотвращая вероятность такой критической ошибки. Ошибка Ростелекома показывает, насколько хрупка стандартизированная IETF маршрутизация BGP, и особенно — в такие напряженные времена с точки зрения роста трафика.

Однако, что сильно отличает ситуацию, так это то, что «Ростелеком» получил предупреждение от канала Qrator.Radar в реальном времени и обратился за помощью в устранении неполадок.

Учитывая простоту ошибок BGP, во время кризиса с коронавирусом так легко допустить ошибку. Однако с предоставленными данными мониторинга инцидент быстро закончился, и правильная маршрутизация была восстановлена.

Мы настоятельно рекомендуем другим интернет-провайдерам, не являющимся Ростелекомом, начать мониторинг своих объявлений BGP для предотвращения масштабных инцидентов. И, конечно же, RPKI Origin Validation — это то, о чем каждый должен не просто думать, а реализовывать.

18 июня 2019 года Qrator Labs уведомила клиентов и партнеров об обнаружении уязвимостей в реализациях стека протоколов TCP/IP, вследствие чего функционал TCP Selective Acknowledgement был отключен, а также был установлен запрет на установление соединений с малым MSS. Работы осуществлялись в срочном режиме после подтверждения уязвимостей.

К сожалению, отключение SACK, хоть и минимально, но все же влияет на производительность передачи данных по протоколу TCP, поэтому 22 июля 2019 года Qrator Labs возвращает функционал SACK на всей сети фильтрации.

Некоторые из ограничений, касающихся L3-фильтрации, останутся активными, обеспечивая прозрачную нейтрализацию атак, использующих упомянутые уязвимости, однако полноценная нейтрализация возможна только в случае использования обновленной операционной системы на серверах заказчиков.

Как мы писали ранее, необходимо применение обновлений и патчей по устранению уязвимостей, связанных с эксплуатацией уязвимостей реализаций TCP/IP. Работа с устаревшим ядром и незакрытой уязвимостью грозит отказом в обслуживании при условии ее эксплуатации злоумышленником. В особенности это касается CVE-2019-11477 (SACK Panic).

С уважением,
Команда Qrator Labs.