Рейтинг
0.00

Qrator Labs

1 читатель, 32 топика

Устранение конкретного заблуждения относительно межсетевого взаимодействия



С 2014 года Qrator Labs разрабатывает сервис BGP-мониторинга и аналитики под названием Qrator.Radar. Одна из его основных функций — мониторинг определенных аномалий BGP, которые могут привести к инциденту, который мы в дальнейшем будем называть либо утечкой маршрута BGP, либо захватом BGP.

Оба они перенаправляют трафик третьим сторонам, по сравнению с состоянием без аномалий, но по-разному. За последние несколько лет было приложено много усилий для решения этих проблем, но все еще существуют недопонимания относительно того, что есть что и как разные инструменты помогают решать разные проблемы.

Наша компания начала собирать модель отношений BGP за пару лет до появления RFC 7908, пытаясь определить, что такое утечка маршрута BGP. Два основных различия между этими временами событий были описаны как:
  • Маршруты перенаправляются через неправильные ASN / ссылки (утечки маршрутов), описываются как типы 1-4 RFC 7908;
  • Маршруты перенаправляются на неправильные ASN (Hijack), описанные как типы 5 и 6 RFC 7908.
Во время утечки маршрута BGP трафик, предназначенный для вашей сети, скорее всего, будет проходить неэффективно, что может привести к увеличению задержки в сети и потере пакетов. Тем не менее, он почти наверняка достигнет вашей сети, если по какой-либо причине нет критической перегрузки сети (например, из-за плохого намерения сбоя).

Во время перехвата BGP трафик, предназначенный для вашей сети, перенаправляется третьей стороне и остается там.

Более того, механизмы создания аномалий такого типа также различны. Чтобы создать утечку маршрута, вам необходимо передать хороший маршрут неподходящему соседнему интернет-провайдеру. Чтобы создать захват, вам нужно либо объявить маршрут с субпрефиксом / более конкретным допустимым префиксом (чтобы привлечь весь трафик от интернет-провайдеров, которые получили такое объявление с любым AS_PATH, который вам нравится), либо создать объявление маршрута с сторонний префикс из вашей сети.

Поскольку механизмы для создания аномалий маршрутизации различаются, механизмы обнаружения инцидентов и предотвращения / смягчения последствий должны быть разными.

Чтобы обнаружить причину утечки маршрута, вам необходимо выяснить взаимосвязь между каждым из двух подключенных операторов и выяснить такие маршруты BGP (от сборщика BGP), которые нарушают формальную модель Гао-Рексфорда, для получения дополнительной информации см. с «отношениями AS» CAIDA.
Чтобы обнаружить угоны, вам необходимо знать, какие префиксы принадлежат каким интернет-провайдерам, и в большинстве случаев, когда появляется незарегистрированная пара префиксов интернет-провайдера — создайте сигнал тревоги или примите меры.
www.caida.org/data/as-relationships/

Чтобы предотвратить / смягчить захват, существует два стандартных подхода в рамках единой структуры проверки происхождения префикса. Вы можете зарегистрировать объект Route в IRR или создать объект ROA. Наша команда описала различия между этими подходами во время RIPE79. Однако общее — они оба указывают, какие префиксы принадлежат каким операторам (самими операторами), и пытаются заблокировать маршруты от интернет-провайдера с незарегистрированными префиксами (транзитными интернет-провайдерами).

Чтобы предотвратить / смягчить чистые утечки маршрутов, мы принимаем участие в создании открытой политики BGP. Другой подход — одноранговая блокировка — блокировка маршрутов с неожиданными соседями / интернет-провайдерами в AS_PATH.
datatracker.ietf.org/doc/draft-ietf-idr-bgp-open-policy/
archive.nanog.org/sites/default/files/Snijders_Everyday_Practical_Bgp.pdf
datatracker.ietf.org/doc/draft-ietf-sidrops-aspa-profile/

Проект ASPA IETF стоит немного в стороне от чистого предотвращения перехвата / утечки маршрутов, потому что он больше касается блокирования плохих AS_PATH (случаев утечки маршрутов и перехватов без / с плохой манипуляцией AS_PATH).

ROA против утечки маршрута
Итак, безопасна ли ваша сеть, если вы реализуете подписание ROA и фильтрацию ROA? Нет, потому что без ASPA или любого эквивалента ROA сам по себе не остановит других от утечки на маршруте. Мы надеемся, что теперь вы видите, насколько сложна эта проблема, где требуются отдельные подходы для защиты основы современной междоменной маршрутизации — протокола пограничного шлюза.

Подписание ROA против фильтрации ROA
Еще одно распространенное заблуждение связано с РОА. В алгоритмах ROA есть две стороны: подписывающая сторона — оператор, который предоставляет достоверную информацию о принадлежащих ему префиксах; и есть фильтрующая сторона — транзитный оператор, который отфильтровывает плохие маршруты в соответствии с информацией, предоставленной подписавшей стороной.

Как оператор-заглушка (то есть автономная система только с одним вышестоящим провайдером), вы ограничены в количестве способов, которыми вы можете влиять на количество фильтрующих сторон. Чем их больше, тем более безопасными будут ваши префиксы (меньше регионов будет затронуто, если угонщик решит атаковать ваши префиксы). Если вы решите подписать свои префиксы, вы можете использовать существующую инфраструктуру фильтрации, которая в ближайшем будущем будет только расти. Более того, мы рекомендуем вам делать именно это в любом случае, то есть независимо от размера сети, стоящей за вашим ASN.

Эта статья все равно будет заканчиваться предупреждением: текущая инфраструктура фильтрации все еще может быть несовершенной, и в некоторых случаях вы не можете вернуть свой трафик из затронутого региона из-за выбранной опции максимальной длины и фильтрации ROA на стороне вашего интернет-провайдера.

Qrator Labs и Oxygen обеспечат защиту от DDoS-атак для клиентов дата-центра





Qrator Labs и оператор сети дата-центров и провайдер облачных сервисов Oxygen объявили о начале стратегического партнерства в области защиты от DDoS-атак.

Oxygen – это современный ЦОД уровня Tier-3 с показателем надёжности 99,982 % и суммарной мощностью 12,8 МВА. С момента запуска в 2001 году у дата-центра не было ни единого сбоя в работе, он обеспечивает максимально высокий SLA для своих клиентов, в том числе по температуре. Кроме наращивания физических мощностей, ЦОД Oxygen развивает и виртуальный дата-центр на базе Oxygen Cloud Platform – одну из самых прогрессивных облачных платформ на сегодняшний день.

Клиентами Oxygen являются крупные корпорации из различных отраслей – от ритейла до промышленности, банков и ИТ, для которых важен высокий уровень сервиса, надежность и безопасность сетевой инфраструктуры.

В качестве своих партнеров Oxygen выбирает вендоров, способных предложить прогрессивные, продуманные решения, которые наилучшим образом могут быть интегрированы в техническую инфраструктуру ЦОДа и облачной платформы.

В рамках стратегии создания SOC (Security Operation Center) Oxygen развивает стек облачных продуктов в области информационной безопасности. Решение Qrator Labs по защите от DDoS-атак и взломов успешно дополнит перечень сервисов ЦОДа. Клиентам дата-центра будет доступно специализированное решение по защите от DDoS-атак и взломов на базе сети фильтрации Qrator Labs. За счет интеграции с другими облачными услугами Oxygen и подключению к SOC заказчики защитят свою инфраструктуру на всех уровнях.

Qrator Labs использует самую надежную на сегодняшний день схему защиты от DDoS-атак, когда анализ трафика производится в автоматическом режиме с применением встроенных алгоритмов машинного обучения, а после многоуровневой фильтрации чистый трафик отправляется непосредственно в сеть заказчика. При этом все нелегитимные запросы блокируются на сети Qrator Labs и не достигают ресурсов клиента.

Павел Кулаков, основатель и генеральный директор Oxygen:
Ландшафт современной цифровой экономики меняется стремительными темпами, и Oxygen – один из хедлайнеров модернизации, создающий не просто ЦОДы, а полноценный ИТ-кластер, включающий в себя разработку облачных платформ, внедрение новых технологических решений, R&D-центр. Для нас крайне важно предлагать своим клиентам не только площадку для размещения их ИТ-инфраструктуры, но и самые современные и востребованные сервисы, обеспечивающие безопасность данных клиентов.

Александр Лямин, основатель и генеральный директор Qrator Labs:
Для нас как для вендора, разрабатывающего инновационный сервис фильтрации трафика, партнерство с дата-центром Oxygen открывает широкие возможности для масштабирования нашего решения и работы с клиентами не только в России, но и на мировых рынках. В частности – в Юго-Восточной Азии, где Oxygen первым из российских операторов дата-центров развернул облачный кластер, разместив его в Сингапуре

Qrator Labs расширяет присутствие на Ближнем Востоке и открывает Центр очистки трафика в Дубае



Qrator Labs открыла новый Центр очистки трафика на рынке Ближнего Востока для предоставления услуг по противодействию DDoS-атакам. Новая точка присутствия компании запущена в Дубае.

Регион Ближнего Востока сегодня проходит серьезный процесс трансформации, интегральной частью которого является формирование экосистемы технологических инноваций. Расходы на информационные технологии в регионе MENA, включающем Ближний Восток, Турцию и Африку, по прогнозам IDC, должны увеличиться на 2,8% и достичь 77,5 млрд долларов в 2021 году.

В связи с этим задачи обеспечения доступности и безопасности ресурсов становятся одними из наиболее приоритетных для все большего числа компаний Ближнего Востока. Среди организаций Ближнего Востока отмечается растущая обеспокоенность проблемой DDoS-атак. Многие компании в регионе Персидского залива не только считают атаки на отказ в обслуживании одной из основных бизнес-угроз, но также осознают необходимость организации комплексной защиты от них. В условиях сложной экономической ситуации и перехода в онлайн все большего числа компаний риски в киберпространстве продолжат расти, потери от них — увеличиваться, а значит, бизнес сейчас находится под особенным ударом.

Открытие ЦОТ в Дубае становится важным этапом в развитии сети фильтрации Qrator Labs и стратегии глобальной экспансии компании. С помощью этой точки присутствия компания значительно увеличивает покрытие свой сети, обеспечивая низкие задержки для клиентов внутри ближневосточного региона, заинтересованных в обеспечении непрерывного функционирования своего бизнеса.

Рынок Ближнего Востока сильно монополизирован, поэтому обеспечить приемлемую связность в регионе достаточно непросто. Однако нам удалось построить свою сеть таким образом, чтобы повысить отказоустойчивость и усилить географическую распределенность сети Qrator Labs и обеспечить прямой доступ к клиентам и партнерам региона. Развитие инфраструктуры нашего облачного решения позволяет нам предоставлять клиентам сервис по противодействию DDoS-атакам с минимальными сетевыми задержками по приемлемой стоимости.
комментирует директор Qrator Labs в ближневосточном регионе Максим Белоенко

ЦОТ в Дубае стал 13-м в глобальной инфраструктуре Qrator Labs. На сегодняшний день сеть фильтрации Qrator включает в себя три узла в России, два — в США, три — на территории ЕС, четыре — в Азии и один — на Ближнем Востоке.

В тот день, когда весь мир не ушел

Вчера, 19 февраля, в Интернете была замечена еще одна демонстрация удобной функции Noction, которая, вероятно, должна помочь вам разбогатеть, но, скорее всего, сделает вас печально известной.

Начиная с 09:48 UTC мы увидели около 200 тысяч маршрутов с ранее не существующими префиксами с неработающим AS_PATH. Но обо всем по порядку.


День начался с довольно резкого и жужжащего звука уведомлений по электронной почте о критических событиях маршрутизации, которые, как видите, обрезаются на таком высоком пороге, что мы считаем их глобальными.

Мы выяснили, что у всех этих глобальных инцидентов есть одна общая черта — затронутые префиксы видны только локально. Их заметил только один из говорящих, и они появились мгновенно.

Практически все маршруты содержали похожие детали — «44393 14570 40676». AS44393 — Securebit Route Collector, AS14570 — I Am A Bad Actor, LLC (мы оценили воображение) и AS40676 — Psychz Networks (нам понравился саундтрек).

Пример (Примечание: отсутствует в RIPEDB stat.ripe.net/widget/routing-status#w.resource=189.203.175.128%2F25&w.min_peers_seeing=0):


Почти для всех префиксов имелся соответствующий объект правильного маршрута (всего 12000 различных ISP в качестве исходных ASN). Тем не менее, количество префиксов с недопустимым ROA было больше, чем количество действительных. Кто-то (или несколько) сбросил кучу под-префиксов для допустимых префиксов и вставил для них точный ASN в AS_PATH.


Большинство злоумышленников (90%) были / 25 действительных / 24 — знакомый признак «оптимизации» маршрутизации в действии.

Хотя некоторые неординарные особенности нас насторожили. В отличие от обычных маршрутов оптимизатора, почти все новые маршруты приводили только к неверным префиксам. Но это можно объяснить тем, что AS44393 сам по себе является сборщиком маршрутов и уже имеет лучшие маршруты к хорошим префиксам.

Что еще более странно — от AS_PATH к bad_prefixes содержится более 4000 новых ссылок, которые мы никогда раньше не видели. Таким образом, в отличие от типичных оптимизаторов, as_path для новых префиксов не были взяты из действительных префиксов, а были созданы на месте с действительным ASN, вставленным в конце AS_PATH (для прохождения проверки ROA в случае отсутствия порога максимальной длины).


Мы писали письма людям, ответственным за AS44393 и AS14570. Они сказали нам, что находятся на принимающей стороне, а не на исходящей, в результате чего нам остается только AS40676. Мы были удивлены, увидев AS40676 на интересной веб-странице: www.noction.com/clients. Это имя AS (Psychz Networks) указано как клиент компании-разработчика оптимизатора BGP. Итак, в конце концов, корень проблемы снова оказался в нем.

Остается последний вопрос — почему все новые префиксы не распространяются по всему миру? Простой ответ — немного удачи, потому что эти плохие маршруты были получены сборщиком маршрутов, что останавливает их дальнейшее распространение. В противном случае, к моменту выхода этой статьи, все новости будут об этом говорить.

Что тут сказать? Оптимизация маршрута — это всегда способ прострелить себе ногу в самый неподходящий момент. И если вы не используете ROA с max_length, вы не заметите, что кто-то поранил вас этим оружием без стороннего мониторинга. Но последняя радостная мысль: вы знаете список всех владельцев оружия.

Кроме того, мы хотим предупредить всех региональных * участников NOG: пожалуйста, если вы знаете, что в вашем регионе кто-то использует оптимизатор BGP в повседневной работе, убедитесь, что у вас есть все необходимые инструменты для предотвращения последствий такие манипуляции со стороны соседа.

Подготовка к проблеме



27 января 2021 года произошла весьма своеобразная утечка на маршруте. AS61666 — GLOBO начала объявлять префиксы своего восходящего провайдера MHNET — AS28146 другому своему провайдеру ALGAR — AS16735. За три минуты GLOBO утекло 1330 префиксов, и весь инцидент с маршрутизацией длился 8 минут — времени, которого хватило, чтобы создать 1435 конфликтов в 21 стране с 265 ASN, в основном в Бразилии (194 ASN), США (22 ASN) и Венесуэле. (7 ASN).



Этот инцидент распространился среди 86% спикеров BGP на пике, что составляет значительный процент. Почти 10% префиксов в утечке имели Invalid ROA (154 префикса) и не помогли предотвратить распространение.



Но что еще более впечатляет в этой утечке маршрутов, так это то, что эти пути имели ОГРОМНЫЙ добавление в их атрибут AS_PATH — 16 (!).


В нормальной ситуации префиксы с такими сильно добавленными AS_PATH распределяются плохо, поскольку обычно можно найти более легкий и короткий альтернативный маршрут и, в конечном итоге, принять его за лучший. Однако в этой утечке мы видим много добавленных AS_PATH, которые удалось распространить глобально. Как это произошло?

Более короткий маршрут не победит в испытании пути, если такого маршрута нет. В этом случае распределение было лучше на просочившихся маршрутах только для тех префиксов, которые до инцидента не были распределены глобально (что указывает на локальное использование).

Оказывается, что почти все такие префиксы заранее были покрыты менее конкретными префиксами — это означает, что локальный / 24, просочившийся в инцидент, был покрыт глобально распределенным / 23 перед инцидентом. Если в этих сетях существовала какая-либо служба — до утечки они были доступны по менее конкретным и регулярным маршрутам. После (и во время) инцидента возникли более конкретные префиксы с огромными префиксами, которые начали распространяться, поэтому весь трафик проходил через просочившуюся ссылку.


Таким образом, в этом конкретном случае даже огромные префиксы не были проблемой для глобального распространения просочившихся префиксов из-за их предшествующего локального использования.

Приглашение на десятилетний юбилей Qrator Labs



19 января 2021 года компания Qrator Labs официально отмечает десятилетний юбилей!

Мы хотим воспользоваться этой уникальной возможностью и провести небольшую онлайн-конференцию для всех, кто хочет узнать больше об истории, команде, услугах и продуктах Qrator Labs.

Каждое выступление рассчитано на 15-20 минут, поэтому каждый зритель может рассчитывать на два с половиной часа презентаций от ключевых сотрудников Qrator Labs.

Отмечайте 19 января 2021 года в своих календарях, потому что вот что будет происходить начиная с 14:00 Московского времени.

I/III — Первый Час
10 лет развития бизнеса: с нуля к росту, путь от первых клиентов и спасенных карьер к захвату рынков новейшими технологиями.
Максим Белоенко, вице-президент глобальных продаж.
Создание технологии опережающей конкурентов, нескончаемое научное исследование на стыке информатики и практики реального мира.
Артем Гавриченков, со-основатель и технический директор Qrator Labs.
5-минутный перерыв

II/III — Второй Час
Интеграции с облаком Qrator Labs — как мы работаем над улучшением сервисов, которые предоставляем под одной крышей — партнерскими решениями CDN и WAF.
Андрей Лескин, менеджер по продукту.
Qrator Radar — пятилетнее путешествие от внутренней разработки к одному из крупнейших в мире специализированных сервисов.
Евгений Богомазов, сетевой инженер.
5-минутный перерыв

III/III — Третий Час
Пресейл и интеграция:
  • Технический пресейл — как мы принимаем на борт наиболее крупных клиентов;
  • Партнерская интеграция — сделай единожды и наслаждайся результатом;
  • Продуктовое видение — сделай дважды и у тебя на руках почти готовый продукт.
Георгий Тарасов, инженер.
Жизнь NOC (Центра управления сетью) в компании занимающейся кибербезопасностью.
Дмитрий Шемонаев, глава Центра Управления Сетью.
Заключительное слово и итоги десятилетия компании. Работа с заказчиками в 20-х годах, грядущие инновации. Дальнейший рост компании первого эшелона на базе исследовательской деятельности и взаимоотношений с потребителем, как с инвестором.
Сергей Пасечник, директор отдела продаж.
До встречи 19 января!

youtu.be/L-yKHlcbJ2w
С наилучшими пожеланиями, Qrator.net team

AS9304 утечка префиксов 8764 через AS15412

Можно было бы ожидать, что 2021 год начнется несколько иначе, чем хаос прошлого года. В Qrator.Radar мы тоже надеялись на лучшее. К сожалению, уже 6 января — сегодня мы ошиблись.


Начиная с 4:21 UTC, из AS9304 — провайдера HGC Global Communications Limited из Гонконга — произошло огромное количество префиксов по сравнению со средней утечкой — 8764. Они содержали IP-адреса 907 ASN из 66 стран, что привело к 9140 конфликтам. в целом.

Активная фаза инцидента длилась около 2,5 часов, после чего сократилась.


Если такая утечка распространится по всему миру, это будет катастрофическим инцидентом, связанным с маршрутизацией для всех участников. По совпадению, на этот раз этого не произошло. По данным наших наблюдений, только ⅓ автономных систем в утечке принимали эти префиксы.


Среди наиболее пострадавших от этой утечки маршрута оказались известные участники Интернет-транзита из ЕС и США, такие как Akamai и Cloudflare. Однако объем утечки префиксов был настолько широк, что для компании с обширной компьютерной сетью почти невозможно не пострадать от такого инцидента.

Наконец, только для 1% префиксов в утечке распространение было действительно глобальным. По большей части эта утечка имела ограниченную известность и охват во всем мире. Что по-прежнему может быть довольно опасным и привести к потере трафика и доступности в определенных регионах.

Базирующаяся в Великобритании AS15412, принадлежащая Flag Telecom Global Internet, сегодня извлекла ценный урок. Теперь у сетевых инженеров этой компании больше не должно возникать вопросов о необходимости как входящей, так и исходящей фильтрации по префиксу.

Lumen, также известный как CenturyLink, снова генерирует инциденты маршрутизации через бывшую сеть Level3.

AS203, принадлежащий к тому, что ранее называлось «Level3», приобретенным «CenturyLink» в 2016 году, а затем переименованным в «Lumen» в 2020 году, часто появляется в отчетах об инцидентах команды Qrator.Radar. Мы не должны никого винить, но такое возникновение инцидентов маршрутизации для отдельной организации вызывает беспокойство — мы надеемся, что эта статья поможет вам понять, как даже небольшое событие может иметь огромное влияние при соблюдении определенных предварительных условий.



21 октября 2020 года примерно в 14:11 по всемирному координированному времени AS203 начал анонсировать 158 префиксов, которые почти сразу же создали более 1100 конфликтов для более чем 1000 объявленных префиксов. Этот инцидент, который еще не прекратился, пока мы пишем этот конкретный отчет, затронул 31 интернет-провайдера в 19 странах, включая таких игроков, как AS9198 — KAZTELECOM-AS, AS35415 — WEBZILLA, AS7979 — SERVERS-COM и многие другие.



Вот график путей для одного из префиксов, которые были взломаны Webzilla:


Почему анонс такого умеренного набора префиксов привел к значительной аномалии, которая, по нашим оценкам, стоила законным владельцам потери значительной части их доступности — от 30% до 100% в зависимости от удаленности от магистрали Интернета?


Проще говоря — потому что «Люмен» — провайдер уровня 1. Объявления из такой автономной системы с обширным охватом на всех континентах легко побеждают в испытании пути BGP над исходными объявлениями. Что в дальнейшем позволяет им распространяться на другие автономные системы, достигая глобального покрытия. Объявления AS203 достигают мира в два прыжка, что имеет решающее значение для распространения префиксов.

Взгляните на следующую картину, которая прекрасно иллюстрирует, что даже меньшее или равное количество конкретных префиксов успешно распространяется по Интернету, захватывая трафик своих первоначальных владельцев в случае, если взлом происходит с Уровня-1:


Можно сказать, что в среднем этот инцидент унес 50% обычного трафика из легитимных автономных систем. Мы могли только предполагать, что причина воздействия этого инцидента заключается в том, что только 10% недействительных префиксов ROA сопровождали это событие.

«С большой силой приходит большая ответственность» — верна фраза, известная как принцип Питера Паркера. Когда вы являетесь крупным и заметным игроком на рынке интернет-провайдеров, даже незначительное действие может привести к катастрофическим последствиям для тех, кто у вас под ногами.

Национальное исследование надежности интернет-сегментов 2020 года



Национальное исследование надежности сегмента Интернета объясняет, как отключение одной автономной системы может повлиять на возможность подключения затронутого региона к остальному миру. В большинстве случаев наиболее важная автономная система в регионе является доминирующим интернет-провайдером на рынке, но не всегда.

По мере увеличения числа альтернативных маршрутов между AS (и не забывайте, что Интернет означает «взаимосвязанная сеть» — и каждая сеть является AS), то же самое происходит с отказоустойчивостью и стабильностью Интернета во всем мире. Хотя некоторые пути с самого начала более важны, чем другие, создание как можно большего числа альтернативных маршрутов является единственным жизнеспособным способом обеспечить достаточно надежную сеть.

Возможность глобального подключения любой данной AS, независимо от того, является ли она международным гигантом или региональным игроком, зависит от количества и качества ее пути к ISP уровня 1.

Обычно под Tier-1 подразумевается международная компания, предлагающая услуги глобального IP-транзита через соединения с другими провайдерами Tier-1. Тем не менее, нет гарантии, что такое подключение будет поддерживаться все время. Для многих интернет-провайдеров на всех «уровнях» потеря соединения только с одним одноранговым узлом уровня 1, вероятно, сделает их недоступными из некоторых частей мира.

Методология измерения надежности Интернета
Рассматривая случай, когда в AS происходит деградация сети, мы хотим ответить на следующий вопрос: «Сколько AS в одном регионе потеряют связь с операторами уровня 1 и их глобальную доступность вместе с ним?»

На протяжении многих лет мы моделируем такую ​​ситуацию, потому что на заре BGP и дизайна междоменной маршрутизации его создатели предполагали, что у каждой нетранзитной AS будет как минимум два вышестоящих провайдера, чтобы гарантировать отказоустойчивость в случае отказа одного из них.

Однако нынешняя реальность иная; менее половины всех интернет-провайдеров в мире имеют только одно соединение с восходящим транзитным провайдером. Ряд нестандартных отношений между транзитными интернет-провайдерами еще больше снижает доступность.

Были ли когда-нибудь отказы транзитных интернет-провайдеров? Ответ — да, и это происходит все чаще. Более уместен вопрос — при каких условиях конкретный интернет-провайдер может столкнуться с настолько серьезным ухудшением качества услуг, которое мы бы назвали простоем? Если такие проблемы кажутся маловероятными, возможно, стоит принять во внимание закон Мерфи: «Все, что может пойти не так, обязательно пойдет».

Для моделирования такого сценария мы применяем одну и ту же модель четвертый год подряд. Хотя, опять же, мы не просто повторили предыдущие расчеты — с годами исследования расширяются.

Для оценки надежности AS были предприняты следующие шаги:
Для каждой AS в мире мы исследуем все альтернативные пути к операторам Tier-1 с помощью модели отношений AS, ядра Qrator.Radar;
  • Используя базу данных Maxmind GeoIP, мы сопоставили страны с каждым IP-адресом каждой AS;
  • Для каждой AS мы рассчитали долю ее адресного пространства, соответствующую соответствующему региону. Были отфильтрованы интернет-провайдеры, которые находятся в точке обмена данными в Интернете в регионе, где они не имеют значительного присутствия. В качестве примера мы используем Гонконг, где трафик обменивается между сотнями членов HKIX — все же крупнейшей азиатской интернет-биржи, большинство из которых не имеют никакого присутствия в местном сегменте интернета;
  • Выделив региональные автономные системы, мы проанализировали возможное влияние сбоя одной из них на другие автономные системы, а также на их страны;
  • В конце концов, для каждой страны мы определили AS с наибольшим / наибольшим влиянием на другие AS в их регионе. Иностранные AS не рассматривались.
  • Мы приняли значение воздействия этой системы как показатель надежности для страны. И использовал этот балл для оценки надежности стран. Чем меньше баллов — тем выше надежность.

Надежность IPv4

Столбец 2019 представляет собой балл, который отдельная страна имела в рейтинге 2019 года на определенной позиции.

Короче говоря:
Соединенные Штаты восстановили 10 из 11 позиций, которые они потеряли в 2019 году, оставаясь на 8 позиции в 2020 году;
  • В ТОП-20 рейтинга надежности вошли четыре новые страны: Лихтенштейн, Япония, Индонезия и Аргентина.
  • Четыре страны фактически покинули первую двадцатку: Ирландия, Болгария, Люксембург и Чехия, которая в этом году занимает 21 позицию.
  • Гонконг опустился на восемь позиций и замыкает Топ-20 в 2020 году;
  • Сингапур потерял 11 позиций.
  • Многолетний лидер рейтинга — Германия — уступила место лидеру рейтинга надежности 2020 года Бразилии.
  • Каждый год в рейтинге надежности происходят захватывающие сдвиги, зачастую соответствующие тому, что происходит внутри соответствующих регионов.

Перво-наперво — общая тенденция глобальной надежности, рассчитанная как средняя и средняя. На этот раз мы смотрим на пять лет непрерывных исследований:


В 2020 году количество стран, которые успешно повысили показатель надежности до менее 10%, что свидетельствует о высокой отказоустойчивости, увеличилось на 5 второй год подряд, достигнув в общей сложности 40.

Как вы также можете видеть, средний показатель надежности со временем улучшается. Однако с 2018 года медиана остается на сопоставимом уровне — нижняя часть рейтинга не улучшается достаточно быстро по сравнению с верхней.

Однако остается самый важный факт — за период нашего исследования и IPv4, и IPv6 показали значительное улучшение надежности. Более того, в будущем неизбежен момент, когда версия рейтинга IPv6 станет основной.

Надежность IPv6
В 2020 году кажется, что что-то изменилось в восприятии и принятии протокола IPv6. Google получает наиболее подходящую статистику, о которой мы хотим упомянуть.


По состоянию на сентябрь 2020 года почти 30% пользователей Google используют собственное соединение IPv6, что фактически означает, что их интернет-провайдеры поддерживают версию IP-протокола v6.

Хотя основная проблема с IPv6 все еще сохраняется — это частичное подключение. Из-за пиринговых войн, а не повсеместного внедрения IPv6 и других проблем, IPv6 все еще имеет проблему ограниченной видимости сети. Чтобы лучше понять это, взгляните на надежность IPv6 в сравнении с частичной скоростью подключения.


Из этой таблицы сравнения надежности и частичного подключения IPv6 очевидно, что есть несколько стран, где частичное подключение по IPv6 превышает 10%: Италия, Гонконг, Ирландия, Румыния.

Рассматривая частичное подключение в сочетании с «классическим» процентом надежности, показывающим долю недоступных в случае сбоя ресурсов, мы могли бы заявить, что только в Гонконге отказ IPv6 AS3491 приведет к тому, что 18% подключенных к IPv6 ресурсов станут недоступными.. 16% в Ирландии; почти то же самое в Италии и Румынии. Эти цифры высоки даже в Великобритании — 7,5%, Германии — 8%, США — 15%.

Наименьшее значение среди IPv6 Top-20 принадлежит Бразилии — 4,66%, Нидерландам — ​​4,72% и Японии — 5,24%.

Кажется, что в 2020 году ситуация изменилась, и надежность IPv6, даже с учетом частичного подключения, выглядит лучше, чем у IPv4. Средний показатель надежности IPv4 в 2020 году составляет 36,22%, а для IPv6 те же показатели достигают 28,71% — и, когда мы измеряем влияние сбоев, чем ниже показатель, тем лучше. Однако необходимо отметить, что принятие IPv6 в странах в два раза меньше, чем в случае IPv4 — более новой версии протокола еще предстоит пройти долгий путь до полного принятия.

Широкополосный Интернет и записи PTR
«Всегда ли ведущий интернет-провайдер страны влияет на надежность региона больше, чем кто-либо другой?» — на этот вопрос мы пытаемся ответить с помощью дополнительной информации и расследования. Мы предполагаем, что наиболее значительный (по пользовательской или клиентской базе) интернет-провайдер в регионе не обязательно является самым важным для сетевого подключения региона.

Два года назад мы начали анализировать записи PTR. Как правило, записи PTR используются для обратного поиска DNS: использование IP-адреса для определения связанного имени хоста или имени домена.

Поскольку нам уже известны крупнейшие автономные системы для каждой страны мира, мы можем подсчитать записи PTR в их сети и определить их долю в общих записях PTR для соответствующего региона. Мы считали только PTR-записи и не рассчитывали соотношение IP-адресов без PTR-записей к IP-адресам с ними.

Итак, мы говорим строго об IP-адресах, в которых есть PTR-записи. Практика их добавления не универсальна; некоторые провайдеры делают это, а другие нет.

В рейтинге на основе PTR мы смотрим, какая часть IP-адресов с поддержкой PTR перейдет в автономный режим из-за отключения автономной системы каждой страны, и какой процент соответствует соответствующему региону.


Такой подход, учитывающий PTR-записи, дает совсем другие результаты. В большинстве случаев меняется не только основная региональная AS, но и процентное соотношение. Во всех в целом надежных (с точки зрения глобальной доступности) регионах количество IP-адресов с поддержкой PTR, которые отключаются после выхода из строя одной автономной системы, в десятки раз больше. Это может означать, что ведущий национальный интернет-провайдер всегда обслуживает конечных пользователей в тот или иной момент.

Таким образом, мы должны предположить, что этот процент представляет собой часть пользовательской базы и клиентской базы интернет-провайдера, которая перейдет в автономный режим (если переключиться на второго интернет-провайдера невозможно) в случае сбоя. С этой точки зрения страны кажутся менее надежными, чем они выглядят с точки зрения транзита. Мы оставляем читателю возможные выводы из этого рейтинга PTR.

Интернет-провайдеры с одним восходящим потоком (тупиковые сети) и их надежность
В семи из двадцати стран с самым высоким рейтингом надежности IPv4 мы обнаружили интересную деталь. Предположим, мы ищем крупнейшего провайдера для «тупиковых сетей», которые по сути представляют собой сети только с одним восходящим провайдером. В этом случае мы найдем другие AS и ISP, отличные от того, который отвечает за текущую классическую метрику надежности для соответствующего национального сегмента.


Здесь мы выделили страны, входящие в верхнюю часть рейтинга надежности IPv4 и рейтинга надежности IPv6 на 2020 год.

Давайте поговорим о наиболее заметных различиях между критически важной автономной системой с точки зрения глобального транзита и основным вариантом восходящего потока в конкретном регионе. Интересно отметить, что редко критическая AS для тупиковых сетей одновременно не является классической глобальной критической AS.

AS174 — Cogent — особенный в IPv4. Изменения Cogent всегда интересно исследовать — поскольку Tier-1 с сильным присутствием в Европе несет огромную ответственность, поскольку он также является критически важной AS для тупиковых сетей, а также глобального транзита. В 2020 году это критически важная AS для тупиковых сетей IPv6 во Франции и Бельгии, а в IPv4 Cogent отвечает за все показатели надежности в Великобритании, Франции, Бельгии (из первой двадцатки IPv4), а также за глобальные показатели надежности Ирландии и Ватикана.

Однако пример Гонконга несколько выдающийся. Классической критически важной AS для подключения к IPv4 в регионе является AS3491 — PCCW Global, провайдер уровня 1. Однако критически важной AS для тупиковых сетей является AS4515 — ERX-STAR — подключенная как к PCCW Global, так и к Hong Kong IX. Таким образом, для ERX-STAR ситуация следующая: если AS3491 каким-то образом выйдет из строя — он все равно сохранит региональную связь через IX, если, с другой стороны, IX выйдет из строя — данные будут по-прежнему доступны глобально через Tier-1. сеть.

Это частный пример того, как значительный и глубокий Интернет-обмен в одном регионе может заменить второго сильного вышестоящего провайдера. Если поблизости есть большой IX, подключившись к нему и только к одному классическому транзитному провайдеру, вы можете получить почти такую ​​же региональную надежность, как и при подключении к двум транзитным восходящим потокам. Хотя, опять же, IX не может полностью заменить соединение уровня 1 в глобальном смысле — это отличный пример регионального или глобального соединения.

AS6939 — Hurricane Electric — это критически важные автономные системы тупиковых сетей в Гонконге и США для IPv6.

В IPv4 он также меняется — в США классическая надежность проистекает из позиции AS3356, принадлежащей интернет-провайдеру CenturyLink, но критически важной AS для тупиковых сетей в версии 4 является AS7018 от AT&T — еще один уровень 1 в национальном сегменте Соединенных Штатов.

Подробности по регионам
Одним из наиболее важных вопросов, которые нужно задать себе при проведении исследования 2020 года, был: «Каким образом американскому сегменту удалось восстановить некоторую надежность после резкого падения на 11 позиций в прошлом году и повысить отказоустойчивость Интернета в национальном сегменте без подмены? рассматриваемый интернет-провайдер — CenturyLink? »

Ну, во-первых, CenturyLink мог потерять часть своей рыночной стоимости, и это, вероятно, основная причина улучшения показателей. Хотя трудно сказать наверняка, мы склонны думать, что сбои CenturyLink в предыдущие годы и самый последний, вероятно, побудили их клиентов хотя бы попытаться найти некоторые дополнительные возможности транзита, если не отказаться от дальнейшей услуги CenturyLink в все.

Падение позиций Гонконга при переходе с 2019 на 2020 год может быть связано с изменяющейся ситуацией в регионе, хотя доля рынка PCCW в этом году почти очевидно колебалась.

Мы обрисовали в общих чертах сингапурские изменения в критической AS для региона в прошлогоднем исследовании и, глядя на текущее изменение; можно утверждать, что AS4657 может и дальше завоевывать рынок, консолидируясь в качестве основного интернет-провайдера страны — это неизбежно приведет к падению оценки надежности.

Когда мы пишем это исследование из Чешской Республики, мы чувствуем себя обязанными выделить важные детали об интернет-сегменте CZ. Это, вероятно, единственный регион, который мы знаем наверняка, в котором нет ни одного интернет-провайдера, стоящего за критически важной для страны автономной системой. Вместо этого AS47232 — ISPAlliance — который имеет решающее значение для всех показателей (классические глобальные транзитные сети и тупиковые сети), является бесплатным и добровольным объединением небольших интернет-провайдеров в Чешской Республике. Как пишет компания на своей странице «Цели и видение»:

Местные операторы связи сталкиваются с множеством трудностей на рынке, что ставит их в невыгодное положение по сравнению с крупными брендами, ведущими международную конкуренцию, и теми, кто ведет несправедливую игру. ISP Alliance a.s. мы создали его, чтобы преодолеть эти трудности

Это помогает преодолеть присутствие гораздо более значительных игроков в национальном сегменте! Это хороший пример объединения группы ради разумной общей цели, что привело к хорошей оценке надежности, поскольку даже после того, как четыре новые страны вошли в топ-20 в 2020 году, Чешская Республика находится на 21-м месте с рейтингом надежности 6,5%. Более того, такой небольшой (по сравнению с размерами других лидеров) национальный сегмент, занимающий восьмое место по количеству автономных систем с поддержкой IPv6, — это просто вещь, за которую следует поблагодарить всех, кто участвует в построении и обслуживании компьютерных сетей.

Спасибо, что прочитали Исследование надежности! Если у вас возникнут какие-либо вопросы, напишите нам на radar@qrator.net

Что происходит с интернет-сегментом BY с точки зрения BGP и IPv4 / IPv6

Прежде чем мы начнем исследовать то, что происходит с Интернетом в Беларуси и за ее пределами, позвольте процитировать пару предложений, которые мы повторяем в ежегодном Национальном исследовании и отчете по надежности:

«Строго говоря, когда BGP и мир междоменной маршрутизации находились на стадии проектирования, создатели предполагали, что у каждой нетранзитной AS будет как минимум два восходящих провайдера, чтобы гарантировать отказоустойчивость в случае отказа одного из них. Однако реальность иная; более 45% интернет-провайдеров имеют только одно соединение с восходящим транзитным провайдером. Ряд нетрадиционных отношений между транзитными интернет-провайдерами еще больше снижает надежность. Итак, проваливались ли когда-нибудь транзитные интернет-провайдеры? Ответ — да, и это случается довольно часто. Более уместный вопрос — при каких условиях конкретный интернет-провайдер испытает ухудшение качества обслуживания? Если такие проблемы кажутся маловероятными, возможно, стоит принять во внимание закон Мерфи: «Все, что может пойти не так, обязательно пойдет».

Почему мы повторяем это, а не начинаем с фактов и временных шагов, как обычно? Потому что, с нашей точки зрения, именно так обстоит дело с белорусским интернет-сегментом. Давайте посмотрим на две диаграммы, представляющие сеть BGP в Беларуси месяц назад, в начале июля 2020 года:

IPV4

IPV6


Что мы здесь видим? Мы видим две важнейшие АС: 6697 — Белпак, национальная телекоммуникационная монополия, и 60280 — Национальная биржа трафика, почти полностью отвечающая за подключение Беларуси к внешнему миру.

Любопытная AS21274, очевидно принадлежащая Национальной академии наук Беларуси, является единственной сетью, которая обходит Белпак и NTEC при трансграничном соединении. Более того, неудивительно, что ресурсы, размещенные в AS21274, очень доступны (http://basnet.by/en/index.html), в отличие от содержимого 6697 и 60280.

Однако давайте подробнее рассмотрим сетевые события, которые начнутся 8 августа 2020 года.

Первое, что привлекло наше внимание, это то, что сеансы IPv6 были отключены обеими национальными телекоммуникационными компаниями незадолго до того, что произошло после. Согласно данным Qrator.Radar, более 80% префиксов IPv6 были недоступны с 18:00 UTC 8 августа. Более того, это продолжается в течение трех дней подряд — очень необычный образ действий, учитывая растущее использование IPv6.

AS6697 IPv6 upstreams


AS60280 IPv6 providers…

… И одноранговые узлы IPv6 (это почти то же самое с одноранговыми узлами IPv6 Belpak, которые упали с 73 9 августа до 0 10 августа и 2 сегодня, 11 августа).



Как видите, эти две автономные системы по какой-то причине почти полностью отключили свои возможности подключения к IPv6 и до сих пор не восстанавливали их. Мы могли только предполагать, по какой конкретной причине это было сделано, но исключение почти всего IPv6 из обслуживания — это то, что можно было сделать только «изнутри» — мы никогда не видели такого массового и одновременного «внешнего» отключения IPv6.

Однако с IPv4 все гораздо сложнее.

На первый взгляд, со стороны практически ничего не изменилось. Эти две критически важные автономные системы Беларуси по-прежнему подключены к своим глобальным апстримам даже после падения префикса на 20% 10 августа:

График подключения AS6697 BGP


График соединений AS60280 BGP


Таким образом, причина массовой недоступности ресурсов, размещенных внутри сегмента BY, и, наоборот, неспособности пользователей внутри Беларуси получить доступ к глобальным интернет-ресурсам, вероятно, находится где-то в другом месте.

К сожалению, у нас нет инсайдерской точки зрения, чтобы проанализировать, как поток трафика изменился в плоскости TCP / UDP, поэтому наш единственный вариант — посмотреть на информацию, все еще поступающую изнутри страны. Один из маркеров, на который мы хотим сослаться, — это поток исходящего трафика одного из крупнейших интернет-СМИ страны — tut.by; который сегодня опубликовал график, показывающий, как пропускная способность их каналов была сформирована вышестоящим провайдером, которым является Белпак — AS6697:


Если это так для каждого клиента AS6697, то у нас почти не возникает вопросов о том, почему подключение к сегменту BY и от него имеет такую ​​форму — потому что оно было сформировано таким образом, согласно приведенному выше графику, начиная с 10:30., UTC + 3, 10 августа.

Какова конкретная причина такого шага — мы не знаем. Даже без системы DPI такая искусственная перегрузка почти наверняка повлияет на поток трафика. А в текущей ситуации в Беларуси, где все больше и больше людей полагаются на Интернет для связи, с растущим объемом входящего и внепланового трафика, сокращение или ограничение пропускной способности почти наверняка приведет к отключению больших частей BY-сети., увеличивая побочный ущерб до состояния отказа в обслуживании.

Мы могли только надеяться, что AS6697 и AS60280 восстановят свое соединение как можно скорее, преодолев существующие ограничения инфраструктуры. Мы увидим через месяц после выхода отчета National Reliability Research за 2020 год, как эти события изменили положение сегмента BY за эти годы. Поскольку Интернет давно стал важной частью человеческой жизни, мы чувствуем себя обязанными напомнить всем, что каждое действие имеет как краткосрочные, так и долгосрочные последствия.