Вчера (2 июля) один из серверов виртуализации в ЦОД Алматы перестал отвечать, так как произошёл аппаратный отказ процессора AMD EPYC 9655.

Почему не сразу удалось выявить причину проблемы, как это связано с параллельными событиями в локации, как было выполнено восстановление — в нашем разборе.

Инцидент
Необходимо отметить, что сетевые события, происходившие в тот же период, не были прямой причиной аварии сервера. Ни плановые работы на сети оператора, объявленные до инцидента с сервером, ни внеплановые работы на канале, начавшиеся позднее, не были связаны с аппаратным отказом узла виртуализации. Эти события совпали по времени с восстановительными работами и повлияли на сроки миграции виртуальных машин, но не являлись причиной отказа сервера.

Особенность инцидента заключалась в том, что неисправность процессора не проявлялась при загрузке rescue-окружения с флешки. Сервер проходил базовую загрузку и позволял выполнять первичную диагностику, однако после запуска полноценной операционной системы и появления нагрузки от процессов виртуализации KVM происходило зависание ОС. Сервер переставал штатно отвечать на управление, и для продолжения работ требовалась принудительная перезагрузка.

Ситуация дополнительно осложнялась тем, что каждая перезагрузка занимала значительное время: серверная платформа проходила длительную самодиагностику, в основном связанную с большим объемом оперативной памяти. Один цикл зависания и последующей перезагрузки приводил примерно к 10 минутам потери времени.

Инцидент также был осложнен повреждением загрузочной инфраструктуры на RAID1-массиве. Позднее, уже в ходе восстановительных работ, миграция виртуальных машин была дополнительно задержана из-за независимого сетевого события: магистральный оператор RETN начал работы на канале без предварительного уведомления FirstVDS вследствие человеческой ошибки.

Несмотря на сочетание нескольких факторов, виртуальные машины были перенесены на соседние узлы без потери клиентских данных.

Влияние на сервис
В период инцидента виртуальные машины, размещенные на аварийном узле, были недоступны из-за зависаний сервера под нагрузкой.

Для предотвращения повторного зависания операционной системы все виртуальные машины на узле были остановлены. Дополнительно инженер принудительно завершал процессы, которые автоматически запускались и могли снова создать нагрузку на деградировавшие процессорные ядра.

После стабилизации сервера и восстановления сетевой связности виртуальные машины были перенесены на соседние узлы кластера.

Потери клиентских данных не зафиксировано.

Первопричина
Первопричиной инцидента стал аппаратный отказ процессора AMD EPYC 9655.

Неисправность проявлялась только под полноценной эксплуатационной нагрузкой. В rescue-окружении сервер мог загружаться и выполнять базовые операции, поэтому на раннем этапе диагностики однозначно подтвердить отказ процессора не удалось.

После запуска основной операционной системы и появления нагрузки от KVM происходило зависание ОС. Это указывало на нестабильность вычислительной части платформы, а не на простой отказ загрузки или единичную проблему дисковой подсистемы.

Почему первоначально возникла версия о проблеме с дисками
На первом этапе была выдвинута гипотеза о неисправности дисковой подсистемы. Для проверки этой версии диски аварийного узла были перенесены в другой сервер.

На сервере-доноре система не загрузилась. Из-за этого первоначально был сделан вывод, что проблема может быть связана именно с дисками. После этого накопители были возвращены обратно в исходный сервер.

Позднее было установлено, что причина незагрузки на доноре была не в отказе самих накопителей. Проблема заключалась в повреждении загрузочной логики: загрузочный раздел на RAID1-массиве был поврежден, а GRUB2 находился в неработоспособном состоянии.

Инженер полностью восстановил загрузку: заново настроил GRUB2 и вручную создал EFI-записи в NVRAM материнской платы. После этого узел начал загружать основную операционную систему, однако под нагрузкой виртуализации снова воспроизводилось зависание ОС.

Таким образом, версия о неисправности дисков была снята. Основная проблема находилась в аппаратной части сервера, а повреждение загрузчика являлось отдельным осложняющим фактором.

Дополнительное диагностическое наблюдение
Во время диагностики был выполнен обратный тест: диски от другого сервера были установлены в неисправную платформу.

Операционная система с этих дисков загрузилась и работала без зависаний. На первый взгляд это могло противоречить версии об отказе процессора. Однако позднее причина стала понятна: сервер с этими дисками был фактически пустым и не создавал существенной нагрузки на процессорные ядра. На нем не работали клиентские виртуальные машины и процессы KVM с реальной нагрузкой.

Поэтому в таком режиме деградация процессора не проявлялась.

Рассмотренные варианты восстановления
Рассматривались два основных сценария восстановления.

• Повторно перенести диски в исправную серверную платформу и продолжить восстановление на доноре.
• Стабилизировать аварийный сервер в ограниченной конфигурации и выполнить миграцию виртуальных машин с него на соседние узлы.

Повторный перенос дисков в исправную платформу был технически возможен, однако нес дополнительные риски и временные затраты. На тот момент уже было установлено, что загрузочная инфраструктура восстановлена, а основная проблема связана с деградировавшим процессором.

Отдельно рассматривался вариант физического демонтажа неисправного процессора. Однако он также не являлся оптимальным: вместе с процессором сервер потерял бы доступ к части оперативной памяти и части NVMe-накопителей, так как они подключены через соответствующие PCI Express-линии. Это могло дополнительно осложнить восстановление и снизить вероятность корректного доступа ко всей конфигурации узла.

В результате инженер выбрал менее рискованный путь: не выполнять повторную перестановку дисков в донорскую платформу, а стабилизировать текущий сервер и эвакуировать виртуальные машины с частично работоспособного узла.

Стабилизация узла
После восстановления GRUB2 и EFI-записей сервер начал загружать основную операционную систему, но зависал при появлении нагрузки от виртуализации.

Для снижения нагрузки все виртуальные машины были остановлены. Также инженер принудительно завершал процессы, которые автоматически запускались и могли снова привести к зависанию ОС.

После серии восстановительных действий инженеру удалось стабилизировать работу операционной системы. Сбойные ядра процессора были исключены из использования, и сервер был запущен в ограниченной конфигурации на 16 работоспособных ядрах.

Этого состояния оказалось достаточно для безопасной миграции виртуальных машин на соседние узлы кластера.

Дополнительный сетевой фактор
После стабилизации узла была начата подготовка к миграции виртуальных машин. При сохранении сетевой связности перенос виртуальных машин должен был занять около 2,5 часов.

Параллельно с восстановительными работами на сервере магистральный оператор RETN начал плановые работы без предварительного уведомления FirstVDS. По информации оператора, причиной отсутствия уведомления стала человеческая ошибка.


После восстановления интернет-связности миграция была продолжена.

Итог восстановления
После восстановления сети все виртуальные машины и данные были перенесены на соседние узлы кластера.

Потери клиентских данных не произошло.

Выбранный инженером сценарий — не выполнять повторную перестановку дисков в донорский сервер, а стабилизировать аварийный узел и выполнить миграцию виртуальных машин с частично деградировавшей платформы — оказался оправданным. Он позволил сохранить контроль над состоянием системы, избежать дополнительных рисков при повторной физической перестановке накопителей и завершить восстановление после возвращения сетевой связности.

Выводы
Инцидент был вызван нестандартным аппаратным отказом процессора AMD EPYC 9655. Отказ не проявлялся в минимальном rescue-окружении и становился заметен только после запуска полноценной операционной системы под нагрузкой виртуализации.

Диагностику осложнили следующие факторы:

• Повреждение загрузочного раздела RAID1 и неработоспособность GRUB2.
• Необходимость вручную восстанавливать GRUB2 и EFI-записи в NVRAM материнской платы.
• Длительная самодиагностика серверной платформы после каждого зависания и перезагрузки.
• Неочевидный характер отказа процессора, который проявлялся только под нагрузкой KVM.
• Независимое сетевое событие, вызванное незаявленными работами оператора RETN.

Какие меры мы уже предприняли и что ещё планируем сделать:

• Вся хронология событий и симптомы проблемы внесены в нашу внутреннюю базу знаний, чтобы в случае возникновения аналогичной ситуации время на устранение значительно сократилось.
• В ближайшее время мы закончим организацию второго канала с магистральным провайдером Транстелеком Казахстан, чтобы не зависеть только от RETN.
• Возместим время простоя вашего VPS в локации Казахстан за 2 июля. Для этого, пожалуйста, напишите запрос в техподдержку.

retn.net/2018/05/24/retn-plans-deploy-pop-datacenter-com-ams1-expand-amsterdam-network/



Амстердам, Нидерланды, 24 мая 2018 г. — RETN, быстрорастущий международный поставщик сетевых услуг, соединяющий 36 стран на трех континентах через 220+ сетевых PoP, планировал добавить новый Point-of-Presence в Datacenter.com в Амстердам AMS1 — центр данных Colocation, стратегически расположенный в деловом районе Амстердама на юго-востоке. RETN ожидает, что стратегическое расположение Datacenter.com AMS1, а также его корпоративных и облачных сервисов станет привлекательной средой взаимодействия для международных предприятий, поставщиков облачных услуг (CSP) и онлайн-провайдеров.

«Амстердам является самым важным для RETN, — сказал Тони О'Салливан, главный операционный директор (COO) в RETN, базирующийся в Гонконге. «Голландская столица — один из крупнейших интернет-центров в мире, привлекающий компании из самых разных бизнес-секторов, которые хотят расширить свою связь в стабильной, благоприятной для бизнеса среде. RETN присутствует во всех крупных центрах обработки данных в Амстердаме. Это сотрудничество с Datacenter.com является логичным шагом, так как оно стратегически расположено в одном из самых лучших районов Европы в деловом районе Амстердама на юго-востоке и отличается уникальной и высокоэффективной архитектурой. Я не сомневаюсь, что их объект привлечет клиентов, которые оценят уникальные возможности RETN по связям с Западом с Востоком. Кроме того, клиенты RETN ожидают, что ведущие в отрасли средства, такие как Datacenter.com AMS1, будут в сети. Мы очень рады добавлению этого центра обработки данных в нашу сеть ».

Часть запланированного целевого глобального развертывания крупномасштабных центров обработки данных Colocation, объект Datacenter.com в Амстердаме имеет уникальную настройку Indirect Adiabatic Cooling с расчетной энергоэффективной величиной pPUE от 1,04, теперь присуждаемой номинацией Datacloud Europe. Облачные компоненты включают большие шкафы (54U, 11kW +), а также гибкие контракты от месяца к месяцу. Модульная инфраструктура охлаждения в этом объекте расположена непосредственно под шкафами с установкой горячего прохода под фальшполом высотой 4,7 метра. Экспертное жюри объявит победителя четырех номинантов архитектуры центров обработки данных на мероприятии Datacloud Europe 2018, которое состоится в Монако в июне (www.datacloudcongress.com).

Возможности подключения Datacenter.com AMS1
Объявление о планировании RETN для развертывания сетевого PoP в объекте Colocation в Амстердаме площадью 54 000 кв. Футов в Амстердаме добавляет к способности Datacenter.com удовлетворять высокие требования к пропускной способности и высокой пропускной способности, установленные облачными провайдерами, предприятиями, поставщиками онлайн-игр и другими клиентами с требовательными сетевыми требованиями.

«RETN PoP значительно расширит наши глобальные возможности подключения и услуг сетевых услуг в Амстердаме, особенно когда мы достигнем нашей цели в Восточной Европе и России», — сказал Йохем Штеман, генеральный директор Datacenter.com. «RETN имеет тяжелый охват сети и центр обработки данных в этих областях, в то время как у них также есть обширная сеть метрополитена, со всеми основными странами Восточной Европы и Западной Европы».

С запуском кабельной системы TRANSKZ в 2016 году RETN начал обеспечивать связь в Азии (Гонконг) через свою собственную сеть. «Наше покрытие сети уникально на мировом рынке, — добавил г-н О'Салливан. «RETN — единственный европейский поставщик, предоставляющий полностью доступное высокоскоростное наземное соединение между Амстердамом и казахстанско-китайской границей, которое полностью защищено. Для клиентов Datacenter.com это означает, что RETN может предоставлять им надежные услуги с низкой задержкой IP-транзита, Layer 1 и Layer 2 от Амстердама до Гонконга, Сеула, Токио и других стран в Азии ».

Объявление следует новостям о том, что датацентр данных AMS1 Datacenter.com был номинирован Datacloud Europe в категории премий «Excellence in Data Center Architecture and Design». Победитель четырех номинаций на эту награду за архитектуру центра обработки данных будет объявлен во время церемонии награждения Datacloud Europe 2018 в Монако, 12-14 июня 2018 года (www.datacloudcongress.com)

Российский провайдер защиты от DDoS-атак — DDoS-GUARD — начал сотрудничество с токийской компанией D ONE’S. Благодаря этому партнерству, российский оператор будет предоставлять услуги фильтрации интернет-трафика на внутреннем рынке Японии. В токийском дата-центре было установлено фильтрующее оборудование собственной разработки DDoS-GUARD.

Новая точка — это не только расширение географии нашей работы, но и возможность улучшить качество наших услуг для всех клиентов, в независимости от их местоположения. Ведь чем больше узлов фильтрации в сети — тем меньше нагрузка на каждый, — отметил исполнительный директор DDoS-GUARD Дмитрий Сабитов.

Оборудование, установленное совместно японскими и российскими инженерами, уже успешно прошло тест на нагрузки. Японские операторы связи, владельцы веб-ресурсов могут подключить защиту через официальный сайт D ONE’S.

Мы тщательно проанализировали известные компании, которые предоставляют сервис защиты от ddos-атак, не только российские, но и европейские. DDoS-GUARD — лучшие по скорости реакции, уровню технологий и соотношению цена/качество, — прокомментировал технический директор D ONE’S Co. Такаши Фукуда (Takashi Fukuda, CTO).

Фильтрующая станция в Японии интегрирована в геораспределенную сеть компании DDoS-GUARD, которая также включает фильтрующие узлы в Германии, Нидерландах, России, США и Китае. Пропускная способность сети — более 1,5 Tbps — позволяет обеспечить надежную защиту от атак любой мощности. Среди клиентов компании: Reg.ru, “Эхо Москвы”, “Аргументы и Факты”, Hoster.kz, “Прайм”, RuWeb.ru, “Единая транспортная дирекция” и др. Партнерами компании являются такие телекоммуникационные гиганты как: Equinix, Level3, Interxion, TTK, GTT, RETN, NL‐IX, AMS­‐IX, DE-­CIX, MSK-­IX, DATA­‐IX.

Компания SinaroHost предлагает высокотехнологичные сервера для реализации любых Ваших проектов.
Облачные технологии и суперсовременный дата-центр Serverius (Tier III), расположенный в Нидерландах, обеспечивают бесперебойную работу серверов 24 часа в сутки.

Мы предоставляем полный комплекс услуг всем, кто ценит сервис высшего качества и надежное, мощное оборудование. Вы именно такой человек? Тогда нас ждет долгое и взаимовыгодное сотрудничество!

Преимущества нашей компании:

• Круглосуточная квалифицированная техподдержка, которая всегда решит любой вопрос и поможет советом.
• Максимальная стабильность работы серверов, uptime 100% (за прошедший год).
• Новое профессиональное оборудование от ведущих поставщиков в Нидерландах.
• Маршрутизация на оборудовании компании Juniper. Для основных включений операторов используется Juniper EX4550, для включений оборудования – Juniper EX4200-48T, а для маршрутизации – Juniper MX80-T.
• Индивидуальный подход к каждому клиенту и каждой задаче.
• Высокая скорость и стабильность соединения благодаря использованию лучших операторов связи, среди которых:
• RETN, Interoute, Level3, TeliaSonera, Cogent, AMS-IX, NLix, GTT, PCCW Global, Atrato, OPI, TATA, NLayer (IP для проверки пинга 185.48.56.15). Все включения – с использованием собственных BGP.
• Множество способов оплаты, существенное снижение цен при оплате на несколько месяцев вперед (до -20%).

Виртуальные сервера (На выбор SSD или SAS+SSD)
Мы используем виртуализацию KVM, обладающую самым обширным потенциалом.

• Тарифный план Lefubu, процессор Intel Xeon E5-2643 1x3.5GHz, оперативная память 512 MB RAM, место на диске 10 GB RAID 10 (SSD, SAS), панель управления ISPmanager 5 в подарок.
• Тарифный план Seagolon, процессор Intel Xeon E5-2643 1x3.5GHz, оперативная память 1 GB RAM, место на диске 20 GB RAID 10 (SSD, SAS), панель управления ISPmanager 5 в подарок.
• Тарифный план Neybolo, процессор Intel Xeon E5-2643 2x3.5GHz, оперативная память 2 GB RAM, место на диске 30 GB RAID 10 (SSD, SAS), панель управления ISPmanager 5 в подарок.
• (Лучший выбор) Тарифный план Zatorak, процессор Intel Xeon E5-2643 2x3.5GHz, оперативная память 4 GB RAM, место на диске 40 GB RAID 10 (SSD, SAS), панель управления ISPmanager 5 в подарок.

Выделенные сервера

• Тарифный план Phynotax, процессор Intel Xeon E5-2620V2 6x2.10GHz, оперативная память 32 GB RAM, место на диске 2x 240 GB RAID 0,1 (SSD), панель управления ISPmanager 5 в подарок. Канал с гарантированной скоростью 100 мегабит.
• Тарифный план Gorlead, процессор Intel Xeon E5-1620V2 4x3.7GHz, оперативная память 32 GB RAM, место на диске 2 x 240 GB RAID 0,1 (SSD), 2 x 2000 GB RAID 0,1 (SATA), панель управления ISPmanager 5 в подарок. Канал с гарантированной скоростью 100 мегабит.
• (Лучший выбор) Тарифный план Mautron, процессор Intel Xeon E3-1270V3 4x3.5GHz, оперативная память 32 GB RAM, место на диске 2 x 240 GB RAID 0,1 (SSD), 2 x 2000 GB RAID 0,1 (SATA), панель управления ISPmanager 5 в подарок. Канал с гарантированной скоростью 100 мегабит.

Вас заинтересовало наше предложение? Чудесно! Свяжитесь с нами или просто оформите заказ на сайте – а дальше просто наслаждайтесь качественной работой быстрого и надежного хостинга.
Хотите пообщаться напрямую и обсудить Ваши пожелания лично? Просто выберите самый удобный канал связи – и мы будем рады услышать Вас в любой день, в любое время суток!

Спасибо за внимание!
sinaro.host