Инцидент и реакция на API Kapsule FR-PAR



24 января в 23:48 по центральноевропейскому времени (CET) компания Scaleway столкнулась с инцидентом в регионе FR-PAR, который затронул клиентов, использующих управляемые сервисы Kubernetes Kapsule, Kosmos, как с взаимными, так и с выделенными средами, а также некоторые продукты, такие как Cockpit.

Проблема была решена к 01:03 той же ночи. Вот обзор того, что произошло.

Хронология инцидента
23:48: В Scaleway Kubernetes API возникла ситуация нехватки памяти (OOM). Инцидент начался, затронув API-интерфейс региона Kubernetes FR-PAR, что привело к тому, что узлы не смогли пройти аутентификацию в своей плоскости управления, в результате чего некоторые узлы стали NotReady.
23:48: На API-шлюзе обнаружена повышенная нагрузка, при этом количество запросов значительно возросло.
00:00:10: Инцидент передан на внутреннюю эскалацию и обработан дежурными инженерами Scaleway.
00:00–00:30: Продолжается диагностика: ситуация с OOM определена как основная причина сбоя.
00:35 — 00:40: Приняты меры по увеличению оперативной памяти API Kubernetes и запуску дополнительных реплик.
00:43: Исправление сработало, количество запросов к API-шлюзу быстро сокращается.
00:54: Узлы Kubernetes восстанавливали работу, большая очередь действий на отслеживаемых экземплярах
01:03: Все кластеры FR-PAR начали стабилизироваться после реализации дальнейших мер, таких как очистка кеша реестра и мониторинг любых дальнейших проблем.
01:13: Показатели в Cockpit начали появляться снова, указывая на полное восстановление.
После инцидента: для обеспечения стабильности были внесены непрерывный мониторинг и корректировки, включая корректировки конфигураций сервисов.

Влияние
  • Увеличение времени ответа шлюза API, приводящее к некоторой недоступности (достижение тайм-аутов)
  • Узлы Kubernetes не могут пройти аутентификацию и поэтому временно переходят в состояние «Неготов», что приводит к сбою в обслуживании.
  • При необходимости активация процесса автоматического восстановления кластера, генерирующая автоматическую замену узла.

Основная причина и решение проблемы
На стороне Кубернетеса

Инцидент возник из-за сценария нехватки памяти (OOM) в API Scaleway Kubernetes, вызванного одновременным развертыванием в FR-PAR. Ситуация еще более усложнялась, поскольку этот API в настоящее время обрабатывал аутентификацию, не позволяя Kubelet обновлять свои аренды, что приводило к тому, что узлы переходили в состояние NotReady и повторяли попытки на неопределенный срок.
Решение:
Для исправления были предприняты следующие корректирующие действия:
  • Технические изменения: немедленное увеличение лимита памяти и порогов сбора мусора для управляемых сервисов Kubernetes.
  • Масштабирование: развертывание дополнительных реплик для ключевых служб для обработки возросшей нагрузки.
Долгосрочные решения:
Мы планируем реализовать следующие меры безопасности:
  • Реализация локального кэша аутентификации
  • Дальнейшие разработки по аутентификации узлов.
На стороне API-шлюза
На API-шлюз значительно возросла нагрузка, в первую очередь из-за подавляющего количества запросов, исходящих от неисправных компонентов на стороне Kubernetes.

Несмотря на возросшую нагрузку, API Gateway удалось работать без полного отключения. Изменения, уже внесенные в связи с прошлым инцидентом, позволили нам лучше справляться с внезапными скачками количества запросов.

Заключение
Этот инцидент подчеркивает важность надежного мониторинга и механизмов быстрого реагирования при управлении непредвиденным поведением системы. Мы стремимся извлечь уроки из этого инцидента и уже внедрили несколько улучшений, чтобы предотвратить подобные случаи в будущем.

Эти меры включают расширение наших возможностей мониторинга, корректировку наших стратегий ограничения скорости и улучшение наших протоколов реагирования на инциденты. Приносим извинения за причиненные неудобства и благодарим вас за понимание и поддержку, поскольку мы продолжаем совершенствовать наши системы, чтобы лучше обслуживать вас.

Новости 2кв 2023



29 сентября 2023
Новые тарифы хостинга сайтов


Мы полностью обновили линейку тарифных планов виртуального хостинга!
Проанализировав задачи и потребности наших клиентов, мы создали совершенно новую линейку тарифов хостинга. Новые тарифы мощнее и позволяют разместить больше сайтов за меньшие деньги, а ограничений по функциям больше нет.
Планируете разместить новые сайты? Изучите обновлённые тарифы и выберите то, что подходит именно Вам! Нужна консультация? Просто напишите нам.
Кстати, обновить тариф любой существующей услуги можно в личном кабинете.

17 июля 2023
Управляйте услугами прямо в Telegram!


Оплатить услугу, перезагрузить VPS или связаться с поддержкой — всё это (и не только!) возможно в нашем новом приложении в Telegram!
С радостью сообщаем, что мы разработали собственное приложение для Telegram, благодаря которому Вы будете иметь доступ к наиболее популярным функциям личного кабинета прямо в любимом мессенджере.
Для запуска приложения нажмите сюда или запустите нашего бота @x5xhost_bot и нажмите кнопку «Пуск»! Всё просто!
На главной странице приложения отображается вся необходимая информация:
  • Уведомления о неполадках и о технических работах
  • Прогноз расходов на ближайший 31 день

Список всех активных услуг, а также кнопки быстрого действия для заказа новых (в том числе и регистрации доменного имени):

Нажимая на три точки рядом с услугой можно получить доступ к VNC-консоли, перезагрузить виртуальный сервер. А также увидеть стоимость услуги в месяц и количество оставшихся активных дней у конкретной услуги:

В разделе «Оплата» можно быстро и легко пополнить счёт с помощью привязанной банковкой карты. Присутствует информация о сумме, на которую необходимо пополнить баланс счёта для оплаты всех услуг:

И, конечно, быстрая и простая связь с поддержкой!

Повторим, как получить доступ к приложению:
Перейдите к нашему боту в Telegram — @x5xhost_bot
Нажмите кнопку «Пуск» или на эту ссылку
До встречи в Telegram!

12 июля 2023
Добавили поддержку новых версий Node.js и Python на хостинге! 

Мы всегда стараемся сделать так, чтобы нашим клиентам было доступно всё самое новое и лучшее! Теперь у нас на хостинге доступны Node.js 19 и 20, а также Python 3.11.
  • Новые версии уже доступны для выбора в DirectAdmin
  • Изменения в Node.js 19 и 20
  • Новая версия 20, которая вышла в конце апреля 2023 года и сейчас является актуальной, внесла следующие изменения:
  • Повысилась производительность в целом, в том числе для HTTP(S)/2.0
  • Улучшилось управление памятью
  • Обновились версии V8, libuv и некоторые модули ядра Node
  • Добавилась так называемая Permission Model, позволяющая настроить ограничения на работу приложения: к примеру, можно разрешить читать только определённые папки или выполнять определённые действия с файлами, запускать определённые процессы и т.п.
Изменения в 19 версии, вышедшей осенью 2022 года:
  • Стабильный WebCrypto
  • Движок V8 JavaScript обновился до версии 10.7
  • Была удалена поддержка DTrace/SystemTap/ETW
  • KeepAlive для HTTP(S)/1.1 стал активен по-умолчанию
Что нового в Python 3.11?
В первую очередь важно отметить, что Python 3.11 на 10-60% быстрее версии 3.10.
Также появилось несколько полезных функций:
  • Примечания к исключениям: теперь можно задать примечание, которое будет выводиться наряду с текстом ошибки при вызове исключения.
  • Группы исключений: теперь можно настроить вызов сразу нескольких функций при обработке ошибок.
  • Тип Self: теперь можно ссылаться на текущий класс по-новому.
  • Начиная с версии 3.11 удалена поддержка Py_UNICODE, который был обозначен устаревшим ещё с версии 3.3.

Реестр хостинг-провайдеров и идентификация



О реестре хостинг-провайдеров
С радостью сообщаем вам о том, что ИксФайвИкс Хостинг включён в единый реестр хостинг-провайдеров. Мы прошли все необходимые для этого проверки и получили возможность легального оказания услуг нашим клиентам.

Для чего мы вступили в реестр?
Компании, не вошедшие в реестр до 1 февраля 2024 года, не смогут оказывать услуги хостинга на территории России.
История нашей компании началась в далёком 2006 году. За это время мы сильно выросли, но остались верны своим принципам: качество лучше количества. Мы работаем на качество и всегда ищем индивидуальный подход к каждому клиенту! Мы не даём шаблонных ответов и не заставляем долго ждать. Мы работаем оперативно и слаженно. Вся эта система выстраивалась нами годами, а потому продолжение безопасной и бесперебойной работы во благо наших клиентов играет для нас наиболее важную роль.

Что это меняет для вас?
Реестр хостинг-провайдеров — не просто очередной список, нахождение в нём накладывает и определённые требования, которые нам потребуется выполнять.
Одно из них — идентификация клиентов. Идентификация происходит путём подтверждения российского номера телефона по SMS или с помощью оплаты наших услуг банковской картой (должна быть выпущена банком РФ, либо банком другой страны, если это карта МИР), по СБП или банковским переводом.
Кстати, этот процесс мы начали ещё в декабре прошлого года, а многие клиенты за почти 2 месяца успели его успешно пройти.

Идентификацию нужно пройти в следующих случаях:
  • Если вы являетесь резидентом РФ и пользуетесь нашими услугами хостинга или VPS
  • Если вы являетесь резидентом любой другой страны и пользуетесь нашими услугами хостинга или VPS с размещением в России
Можно не проходить идентификацию в следующих случаях:
  • Если вы являетесь резидентом РФ, но не пользуетесь и не планируете пользоваться услугами хостинга или VPS (например, только регистрируете домены, покупаете SSL-сертификаты или лицензии на ПО)
  • Если вы не являетесь резидентом РФ и не пользуетесь нашими услугами хостинга или VPS с размещением в России

Как пройти идентификацию:
Если вы являетесь резидентом РФ и после 1 января 2023 года уже совершали платёж за любые наши услуги российской картой, по СБП или банковским переводом, то идентификация уже пройдена.
Если же после 1 января 2023 года такой платёж Вами ещё не совершался, то Вам нужно пройти идентификацию совершив платёж на любую сумму или подтвердив российский номер телефона по SMS здесь (кнопка «Просмотреть», далее кнопка «Подтвердить» напротив номера телефона).

О необходимости прохождения идентификации мы уведомим по email дополнительно в ближайшее время.

x5x.host

Дата-центр Миран-2 победил в номинации “ЦОД года”



На торжественной церемонии вручения Национальной премии “ЦОДы.рф” 20 апреля 2023 года дата-центр Миран-2 победил в номинации “ЦОД года” в которой боролись именитые коммерческие дата-центры России.

Премия присуждается коммерческому дата-центру не только за надежность и качество предоставляемых услуг, но и команде профессионалов обеспечивающих бесперебойную работу инженерного оборудования, клиентскому сервису за четкость и быстроту решений, а также руководству двигающему ЦОД в правильно векторе развития.

Качество, надежность и клиентоориентированность дата-центров МИРАН подтверждается отзывами не только клиентов, но и профессионалами Российского рынка ЦОД, которые в в ходе голосования среди всех номинантов выбрали именно дата-центр Миран-2.

Дата-центр Миран-2, представляет из себя современную площадку на 400 серверных шкафов, построенную по всем правилам стандартов Tier III. ЦОД обладает современной инженерной инфраструктурой обеспечивающую бесперебойную работу серверного и телекоммуникационного оборудования, стыками с 50+ операторами связи, круглосуточной технической поддержкой и широким спектром ИТ-услуг.

Кибер-Бэкап — резервное копирование данных



Запустили услугу по резервному копированию на основе Кибер Бэкап — это комплексное решение для резервного копирования и восстановления данных с защитой от вирусов-шифровальщиков.

Рассчитайте стоимость резервного копирования
Два варианта тарификации:
  • лицензия на устройство + место на хранилище
  • оплата только за место на хранилище

В зависимости от количества бэкапируемых устройств и объема может быть выгоден тот или другой способ.

Выберите количество устройств и планируемый объем хранимых бэкапов:
miran.ru/extra-services/kiber-bekap-rezervnoe-kopirovanie-dannyh

Локальная сеть — бесплатно для выделенных серверов



Теперь объединять выделенные серверы в локальную сеть 1Гбит/с можно бесплатно, для этого в опциях выделенного сервера выберите опцию «локальная сеть 1Гбит/с» на втором порту сервера. Все серверы с локальной сетью на одном аккаунте будут объединены.

Что бы объединить разные услуги в локальную сеть, добавьте ее в опциях других услуг.

H2.NEXUS - Бесплатный сервер на Windows



Бесплатный временный сервер теперь доступен и на Windows!

Мы создали для вас удобный инструмент — вы можете запускать полноценные серверы на Ubuntu 22.04 LTS и Windows Server 2012 R2 прямо из браузера на любом устройстве, в любой точке мира! Без регистрации и СМС. Онлайн.
Конфигурация каждого сервера: 4 ядра Xeon 2680v4, 4 ГБ памяти, 20/30 ГБ SSD, интернет 100 Мбит.
Если вам нужно переустановить сервер, вы просто обновляете страницу, что занимает 10 секунд, и у вас будет новый сервер.
Это отличная возможность для новичков узнать, что такое сервер и для чего он нужен, без лишних затрат и страха что-то сломать.
А для уверенных пользователей — удобный инструмент для экспериментов, изучения и тестирования всего, что угодно.

Мы продолжаем развивать наш проект – и не останавливаемся ни на секунду!

Добавляйте в закладки — https://h2.nexus/cli

H2.NEXUS

Сбой в работе dns зоны ru



Сегодня вечером, 30 января 2024 года, произошел сбой в работе российского сегмента интернета, в особенности касающийся доменной зоны .RU. По информации, предоставленной Минцифры РФ и подтвержденной экспертами из IT-сферы, проблема связана с глобальной инфраструктурой DNSSEC — набора расширений протокола DNS, обеспечивающих целостность и достоверность данных.

Как стало известно, проблема возникла в результате технического сбоя, связанного с проверкой подлинности записей в DNS-зоне .ru. Эксперты предполагают, что при плановом изменении файла DNS-зоны .ru произошла ошибка подписи, из-за чего запросы не проходили проверку на подлинность. В результате пользователи столкнулись с трудностями в доступе к сайтам в этой зоне, особенно в Москве, Московской области и других регионах России.

В настоящее время специалисты Технического центра Интернет и МСК-IX активно работают над устранением данной проблемы. Уже сообщается, что для абонентов Национальной системы доменных имен проблема была решена, идут восстановительные работы для полного восстановления доступа.

Таким образом, несмотря на временные неудобства, можно быть уверенным, что ситуация находится под контролем и в ближайшее время все функции будут восстановлены.

https://systemintegra.ru

Сбой DNS в доменной зоне .RU

Начиная с 18:40 (мск) пользователи сети в России и за рубежом столкнулись с невозможностью открытия множества ресурсов на доменах .RU Сбой наблюдается у всех независимо от оператора связи и региона. Браузеры сообщают о невозможности подключения к определённым ресурсам в связи с ошибкой подключения к DNS. Система доменных имён DNS (Domain Name System) выполняет преобразование привычных людям имён сайтов в IP-адреса, которыми оперируют компьютеры. Невозможность преобразовать DNS-запрос приводит к недоступности сайтов.

По предварительным данным пострадали сайты в зоне .RU, чьи домены были настроены с использованием DNSSEC. Это расширение протокола DNS, призванное подтверждать данные доменной зоны при помощи криптографического ключа и защищать домен от подделки. Вероятно, ошибка произошла на корневых серверах домена .RU, обслуживающих механизм DNSSEC, в результате чего все ключи были признаны недействительными, что и привело к отказу преобразования имён сайтов для пользователей.

В 20:21 Минцифры в официальном телеграм-канале опубликовало уведомление:

«Возникла техническая проблема, затронувшая зону .RU, связанная с глобальной инфраструктурой DNSSEC. Специалисты Технического центра Интернет и МСК-IX работают над её устранением.»

По сведениям министерства для пользователей НСДИ проблема уже решена. НСДИ — Национальная система доменных имён. Подключиться к ней пользователи могут заменив IP-адреса DNS-серверов на:

  • 195.208.4.1
  • 195.208.5.1