Инцидент с блочным хранилищем на AMS-1



8 декабря в 09:45 компания Scaleway столкнулась с инцидентом в зоне доступности NL-AMS-1, который повлиял на клиентов, использующих продукты в этой зоне доступности. Проблема была решена к 14:10 того же дня. Вот важная информация о том, что произошло.

Продукт Block Storage столкнулся с проблемой, и в результате другие продукты на его основе (например, Instances, Kapsule, Load Balancer, Managed Databases и т. д.) столкнулись либо с высокой задержкой, либо с недоступностью.

Глобальная недоступность: 2 часа 40 минут.
Влияние на платформу (задержка, недоступность и т. д.): 5 часов 20 минут.

Контекст
Наш продукт блочного хранилища основан на программно определяемом хранилище Ceph, смешанном с нашими собственными API для управления всеми запросами продуктов.

Эти API выполняют две основные роли: управление нашей собственной инфраструктурой и повышение ее безопасности.

Мы выполняли критическое обновление безопасности нашего кластера блочного хранилища NL-AMS-1, чтобы укрепить его перед периодом «заморозки».

Эти обновления уже были выполнены на нескольких наших кластерах Ceph (а также на предварительном и рабочем) без какого-либо воздействия, что побудило нас выполнить это обновление в кластере NL-AMS-1. Это обновление оказалось корнем проблемы.

Хронология инцидента
Мы запланировали вмешательство в нашу платформу блочного хранилища в NL-AMS-1 в четверг, 7 декабря, в 15:00. Это вмешательство было предназначено для обновления нашей версии Ceph с использованием более свежих обновлений безопасности.

Мы начали с обновления первого сервера, который контролировали в течение 2 часов и не обнаружили ошибок. Затем мы начали обновлять все остальные серверы, на что у нас ушла целая ночь. Мы продолжали следить за ним рано утром, без каких-либо проблем.

В пятницу, 8 декабря, в 9:40 утра мы начали наблюдать увеличение нагрузки на кластер с незначительным влиянием на время отклика, с нашей точки зрения. Ситуация была стабильной, и, с нашей точки зрения, воздействие становилось меньше.

В 11 утра мы были предупреждены о высоких задержках в нашем блочном хранилище и немедленно создали серьезный инцидент. Публичный статус был создан в 11:36 из-за некоторой задержки внутренней связи.
С тех пор мы столкнулись с несколькими сбоями на наших серверах. У всех них заканчивалась память, хотя глобальная нагрузка на платформу была такой же, как и в последние несколько дней.

Наши специалисты выявили проблему в 11:45. В нашем кластере были установлены параметры настройки, отличные от настроек по умолчанию.

Применение исправлений требовало времени и требовало постепенного их применения на всех серверах.

В 13:40 блочное хранилище было восстановлено и работало стабильно. Произошло незначительное влияние на производительность из-за балансировки нагрузки из-за применения обновленных настроек.

После этого все наши команды (Instance, DB, K8S и т. д.) работали над тем, чтобы вернуть свои услуги.

Они также до конца дня продолжали следить за нашей инфраструктурой, выполняя действия, обеспечивающие ее правильное функционирование.

В течение всех выходных мы внимательно следили за нашей инфраструктурой блочного хранилища, чтобы убедиться в отсутствии дальнейших проблем.

Основная причина и решение проблемы
В ходе расследования мы быстро пришли к выводу, что проблема не связана с обновлением. Процедура уже применялась на нашем промежуточном кластере и других производствах АЗ без каких-либо побочных эффектов.

Мы обнаружили, что в нашем кластере Ceph была неверная конфигурация, которая не применялась ни в одной другой зоне доступности.

Команды, ответственные за эту операцию, также не знали об этих изменениях (это нужно сделать с помощью нашего инструмента автоматической настройки). Эта тема все еще находится в стадии изучения и приведет к многочисленным улучшениям наших процессов управления.

Кроме того, во время проблем с этим поколением блочного хранилища возникли некоторые проблемы, связанные с аппаратным обеспечением, которые замедлили время разрешения.

Наши новые предложения с низкой задержкой, основанные на оборудовании нового поколения, не пострадали во время этого инцидента и не показали простоев.

Заключение
Блочное хранилище является ключевым продуктом нашей экосистемы и должно быть устойчивым. Мы все работаем над повышением его отказоустойчивости и будем продолжать это делать (процессы автоматизации управления нашими платформами, поддержание нашей инфраструктуры в актуальном состоянии), а также наши процессы связи в случае инцидента. Этот инцидент поможет нам улучшить это.

Также обратите внимание, что у нас есть новые предложения (с низкой задержкой), разработанные с использованием нового оборудования и еще более высокой отказоустойчивости. В настоящее время они находятся в публичной бета-версии.

Эти предложения с низкой задержкой обеспечивают два уровня производительности (IOPS 5K и 15K) и улучшенное время отклика.

Они доступны через наш новый API/путешествие пользователя/инструменты разработки и уже совместимы с Instance, Kapsule (только в новых кластерах, с определенной версией CSI — ссылка на документ?) и DBaaS (предложения с оптимизированной стоимостью). Доступные AZ на данный момент ограничены, но в ближайшие месяцы появятся новые: FR-PAR-1, FR-PAR-2, NL-AMS-1, NL-AMS-3, PL-WAW-3.

Вы уже можете попробовать их и воспользоваться скидкой 50% во время публичного бета-тестирования (уже действует до 1 февраля).

GigaOm называет Linode «претендентом» и «быстро двигателем» для Amazon Simple Storage Service



Аналитик GigaOm Энрико Синьоретти назвал S3-совместимое объектное хранилище Linode «претендентом» и «быстрым движением» в своем недавнем исследовательском отчете об альтернативах Amazon Simple Storage Service (Amazon S3). Адам Мохаммед, инженер-программист, и Мэдди Пресланд, специалист по маркетингу продуктов, рассказали Энрико о нашей стратегии хранения объектов и о том, как наши клиенты используют ее для хранения и обслуживания своих данных.

Крис Меллор из Blocks & Files резюмирует альтернативы отчету Amazon Simple Storage Service здесь.

Хранилище — один из основных компонентов современной облачной инфраструктуры, и S3-совместимое объектное хранилище обнаруживает возрождение актуальности с необходимостью доступа и организации все больших объемов неструктурированных данных. Мы являемся частью растущего движения за то, чтобы сделать основные технологии, такие как S3-совместимое объектное хранилище, более доступным для отдельных разработчиков и малого и среднего бизнеса, предоставляя альтернативу часто сложным и дорогостоящим предложениям основных поставщиков гипермасштабируемых облаков.

Мы используем Linode Object Storage для доставки глобальных данных о высоте нашим клиентам за центы за доллар по сравнению с альтернативами. Когда мы искали способ надежно, эффективно и в глобальном масштабе обслуживать почти 2 ТБ растровых листов высот, мы обнаружили, что это идеальный баланс стоимости и эффективности. Ваши оптимизированные велосипедные маршруты могут поблагодарить Linode за то, что сделала это возможным
Люк Зеленбиндер, основатель Stadia Maps.

Посмотрите наше интервью с Люком о Craft of Code.
www.linode.com/spotlight/stadia-maps/

Как отмечает Меллор в своем сообщении, за вариантами гипермасштабируемого хранилища часто скрываются высокие исходящие затраты, которые могут привести к резкому увеличению счетов за облачную инфраструктуру. S3-совместимое хранилище Linode включает в себя большие объемы бесплатной передачи, что позволяет сэкономить 900% или более по сравнению с такими крупномасштабными поставщиками, как AWS и Google.

Если вы хотите узнать больше о том, как объектное хранилище Linode может помочь вашему приложению или организации в качестве альтернативы Amazon Simple Storage Service, загрузите нашу электронную книгу о сценариях использования S3-совместимого объектного хранилища.
us-east-1.linodeobjects.com/marketing-assets/ebook-object_storage_use_cases-031120-final.pdf

https://www.linode.com

Обновление продукта: Управляемые Базы данных в GA, Spaces расширяется





Управляемые базы данных для PostgreSQL теперь GA. Пробелы получает пользовательскую поддержку субдомен и расширяется во Франкфурте.

Здесь на DigitalOcean, мы прилагаем все усилия, чтобы улучшить нашу платформу, так что вы можете хранить и извлекать все виды данных — быстро и надежно.



Здесь, в DigitalOcean, мы прилагаем все усилия, чтобы улучшить нашу платформу, чтобы вы могли надежно и быстро хранить и извлекать все виды данных.

С тех пор, как мы запустили управляемые базы данных для PostgreSQL, многие клиенты выразили признательность за то, как легко раскрутить управляемые, беспроблемные кластеры баз данных. Благодаря таким функциям, как автоматическое переключение при сбое и резервное копирование, вам не нужно беспокоиться о проблемах, которые могут привести к катастрофическим последствиям с самоуправляемой базой данных.


Управляемые базы данных DigitalOcean изменили правила игры. Они проделали фантастическую работу по устранению сложности настройки, настройки и защиты баз данных для производственного использования. Мы не являемся администраторами баз данных, поэтому было очень приятно ориентироваться в простом пользовательском интерфейсе и уверенно выполнять задачи в несколько кликов, которые раньше требовали бы несколько дней исследований.
Брэд Килшоу, основатель, Nivel Technologies

За последние несколько месяцев некоторые из вас уже стали полагаться на наш управляемый сервис Postgres. Но для тех, кто все еще находится на грани, мы рады сообщить, что управляемые базы данных для PostgreSQL теперь готовы к работе и общедоступны. Кроме того, сегодня мы представляем новые функции, в том числе бесплатную интегрированную службу мониторинга, которая автоматически обеспечивает понимание и позволяет устанавливать оповещения для ваших баз данных.

Кроме того, что касается хранения данных, мы рады сообщить, что наша служба хранения объектов Spaces теперь доступна в нашем дата-центре во Франкфурте (FRA1).

Мониторинг и управление вашей базой данных, все в одном месте
Чтобы помочь вам поддерживать высокую производительность вашей базы данных PostgreSQL, DigitalOcean интегрировал бесплатную службу мониторинга прямо в панель управления управляемыми базами данных. Метрики производительности кластера базы данных помогают вам масштабировать и масштабировать базовую инфраструктуру вашей базы данных для удовлетворения текущих и будущих потребностей. Благодаря нашей интегрированной информации вы увидите агрегированное использование ресурсов для всего кластера:
  • использование процессора
  • 1-, 5- и 15-минутная средняя нагрузка
  • Использование памяти
  • Использование диска
Чтобы получать информацию о состоянии вашего кластера, вы также можете настроить политики предупреждений для этих же показателей с опциями электронной почты и уведомлений Slack.






Для поддержания максимальной производительности PostgreSQL также важно отслеживать шаблоны доступа к базе данных, чтобы знать, когда и как оптимизировать схему и конфигурацию. DigitalOcean избавляется от догадок при мониторинге шаблонов доступа, предоставляя ключевые показатели производительности базы данных, в том числе:
  • Соединения и ограничения соединения
  • Коэффициент попадания в кэш
  • Последовательное сканирование против сканирования индекса
  • Выборка строки, вставка, обновление и удаление пропускной способности
  • Скорость создания тупиковой ситуации
  • Задержка репликации





Если после мониторинга и оптимизации базы данных вы пришли к выводу, что вам необходимо увеличить масштаб базы данных, чтобы повысить производительность, или уменьшить масштаб базы данных, чтобы сократить расходы, DigitalOcean делает изменение размера кластера простым и безболезненным.


Полностью автоматизированная репликация, резервное копирование и другая конфигурация на уровне базы данных являются обязательными для нас. Так что мы были невероятно счастливы, когда DigitalOcean анонсировала свой сервис управляемых баз данных. Это плюс их предсказуемая цена и отличная поддержка сделали наш выбор поставщика облачных услуг простым.
Рафаэль Коста, технический директор @ Eficiência Fiscal

Обеспечить высокую производительность благодаря глобальному распределению данных
Чтобы обеспечить высокую производительность приложений, мы всегда рекомендуем размещать ваши капли и данные рядом с пользователями.

Управляемые базы данных обычно доступны в восьми местах
С сегодняшним запуском вы можете создавать управляемые базы данных для PostgreSQL во всех регионах нашего центра обработки данных: в Нью-Йорке, Амстердаме, Сан-Франциско, Сингапуре, Лондоне, Франкфурте, Торонто и Бангалоре.


Управляемые базы данных DigitalOcean дали нам готовый кластер PostgreSQL за несколько кликов. Наши клиенты заметили огромное изменение производительности нашего приложения, и наша команда разработчиков DevOps получила лучший способ управления базой данных.
Фернандо Руис, ведущий разработчик, OpenWebinars.net

Кроме того, Spaces, наше хранилище объектов со встроенным CDN, теперь доступно во Франкфурте, а также в Сан-Франциско, Амстердаме и Сингапуре.


В настоящее время Content Ignite использует почти все продукты DigitalOcean, но хранение объектов, предоставляемое DigitalOcean Spaces, и простота использования API DigitalOcean — это два качества, которые наша команда особенно ценит.
Ли Грумбридж, генеральный директор, Content Ignite

Гораздо больше впереди
Сегодня это важный этап в долгом путешествии по созданию широкого набора сервисов для хранения и извлечения данных. Наш следующий приоритет для управляемых баз данных — это поддержка возможности запуска ваших баз данных в частной сети, что позволяет пользователям изолировать связь на уровне учетной записи или команды. Кроме того, мы усердно работаем над поддержкой дополнительных механизмов баз данных, таких как MySQL и Redis.

Но если PostgreSQL является вашей реляционной базой данных, мы будем рады, если вы попробуете наши управляемые базы данных для PostgreSQL. И, как всегда, мы будем рады услышать ваши отзывы.
www.digitalocean.com/docs/networking/private-networking/overview/
cloud.digitalocean.com/databases/new




Теперь с пользовательскими субдоменами и доступны во Франкфурте
DigitalOcean Пробелы наш сервис для хранения объектов с встроенным CDN. С пробелами, вы можете легко хранить большие объемы данных, а затем автоматически распространять данные таким образом, чтобы пользователи могли получить доступ к нему быстро.
Вот что новые пространства:
  • Пользовательские субдомены
Теперь вы можете использовать свой собственный пользовательский поддомен URL для доставки активов, так что вам не нужно будет подвергать свой стек технологий. Это легко загрузить сертификат SSL для вашего собственного поддомена или использовать один свободный от Encrypt Давайте.
Пространства объектов хранения теперь доступна во Франкфурте
Пробелы теперь доступна во Франкфурте (FRA1), а также Сан — Франциско, Амстердаме и Сингапуре, так что вы можете хранить ваши данные еще ближе к своим клиентам.

В DigitalOcean мы всегда работаем над упрощением использования облака, чтобы вы могли сосредоточиться на создании великолепных вещей.

Часть пути к созданию облака разработчика включала запуск Spaces, S3-совместимого хранилища объектов, которое делает хостинг веб-ресурсов безболезненным. В сентябре 2018 года мы запустили встроенную функцию CDN для пространств, которая предоставляла возможность включить глобальное кэширование краев для пространства в любом из регионов, где были доступны пространства. Это позволило нашим клиентам быстрее доставлять ресурсы на свои веб-сайты и приложения до 70%.

Сегодня мы рады объявить о создании пользовательских поддоменов для ваших конечных точек Spaces CDN. Теперь клиенты могут использовать собственный URL-адрес субдомена для доставки ресурсов из пространства, совместимого с S3, и защитить его с помощью сертификата TLS. Эти сертификаты могут быть выданы центром сертификации, самостоятельно подписаны или автоматически сгенерированы с помощью интеграции LetOCrypt от DigitalOcean без каких-либо дополнительных затрат.


Как это работает?
Если у вас еще нет домена, вам необходимо приобрести его у регистратора доменных имен. Затем вам нужно настроить DNS-записи для вашего домена с помощью службы DNS-хостинга. Обратите внимание, что если вы планируете использовать интеграцию Let's Encrypt от DigitalOcean для создания сертификатов TLS для вашего поддоменов CDN, вам необходимо использовать службу DNS-хостинга DigitalOcean. Для самозаверяющих сертификатов вы можете использовать любой DNS-хостинг. Подробное руководство см. В нашей документации по продукту для пользовательских поддоменов.
www.digitalocean.com/docs/spaces/how-to/customize-cdn-endpoint

Добавьте запись DNS CNAME, такую как «assets», которая сопоставляется с конечной точкой CDN вашего Пространства, затем назначьте свой поддомен из меню «Настройки» для ранее существующего Пространства или при включении CDN для нового Пространства.

Зачем использовать пользовательские субдомены?
Есть несколько причин, по которым пользовательские субдомены могут быть полезны для вас.



Брендинг
Агентства и веб-разработчики, которые используют хранилище объектов Spaces для размещения своих активов, теперь могут использовать свой собственный поддомен. Это не только позволит избежать путаницы с конечными пользователями, но также сократит ваш технический стек. Никто, кроме вас, не должен знать, где вы размещаете свои цифровые активы.

Интегрированное управление SSL / TLS
Обеспечение вашего пространства является гибким и простым. Теперь вы можете загрузить сертификат для своего собственного субдомена или использовать бесплатный сертификат Let Encrypt, который можно легко получить всего несколькими щелчками мыши прямо из панели управления. Процесс создания сертификата Let Encrypt следует тем же простым принципам проектирования, которые использовались для создания сертификатов для балансировщиков нагрузки DigitalOcean.
www.digitalocean.com/products/load-balancer/

Простая конфигурация
Пользователям Spaces не нужно тратить дополнительные инженерные усилия на внедрение решения с обратным прокси-сервером для переадресации вызовов между *.cdn.digitaloceanspaces.com и *.myapp.com. Кроме того, при сопоставлении вашего собственного субдомена с конечной точкой CDN он автоматически добавляется в списки CORS, что экономит вам шаг. Теперь вы можете сосредоточиться на создании отличных приложений, а не на точной настройке инфраструктуры.

Нулевая стоимость
Пользовательские субдомены и интегрированное управление TLS включены в ваше пространство без каких-либо дополнительных затрат.

Что дальше
Хостинг веб-ресурсов — это только один вариант использования, который может использовать субдомен, подключенный к конечной точке CDN. Клиенты также просят размещать статические веб-сайты из своих пространств. Эта функция в настоящее время находится в стадии разработки и будет служить строительным блоком для фронт-энда как услуги, который использует некоторые из основных строительных блоков инфраструктуры хранения объектов и CDN, которые полюбились заказчикам.

Secure Block Storage (SBS) is now available - 50 GB Free



Secure, highly available, and scalable additional storage
We are excited to introduce Secure Block Storage (SBS) volumes, enabling you to easily attach additional storage to your Cloud Servers.

Volumes are replicated multiple times to protect your data from component failure, can be scaled on-the-fly, moved between Cloud Servers within the same region, and are automatically encrypted to ensure a secure environment for your data. SBS provides the ideal scalable storage for your files, databases, application data, and backups.

To help you get started using SBS, we are offering 50 GB of SBS free for one year. Each additional GB of SBS is just 7.9 cents per GB per month.

You have full control to build and scale your larger applications and storage needs, with automatic encryption, a simple pricing model, and 11x the performance of other providers.

Following the release of SBS, we plan to roll out SBS based snapshots, backup, off-site replication, and object storage in the coming months.

For more information on SBS, please visit www.atlantic.net/cloud-hosting/block-storage/

To get started with your free 50 GB, simply log into the Cloud Control Panel and begin using SBS!


Block Storage Comes to NYC3 and LON1; One More Datacenter on the Way

Today, we're excited to share that Block Storage is available to Droplets in NYC3 and LON1. With Block Storage, you can scale your storage independently of your compute and have more control over how you grow your infrastructure, enabling you to build and scale larger applications more easily. Block Storage has been a key part of our overall focus on strengthening the foundation of our platform to increase performance and enable our customers to scale.

We've seen incredible engagement since our launch last July. Users have created Block Storage volumes in SFO2, NYC1, FRA1, SGP1, TOR1, and BLR1 to scale databases, take backups, store media, and much more; NYC3 and LON1 are our seventh and eighth datacenters with Block Storage respectively.

As we continue to upgrade and augment our other datacenters, we'll be ensuring that Block Storage is added too. In order to help you plan your deployments, we've finalized the timeline for AMS3. Here is the schedule we're targeting for Block Storage rollout in 2017:
  • Singapore (SGP1): Now!
  • Toronto (TOR1): Now!
  • Bangalore (BLR1): Now!
  • New York City (NYC3): Now!
  • London (LON1): Now!
  • Amsterdam (AMS3): Q4



Inside LON1, our London datacenter region.
Additionally, Kubernetes now offers support for DigitalOcean Block Storage thanks to StackPointCloud. Learn more about it here.

Thanks to everyone who has given us feedback and used Block Storage so far. Please keep it coming. You can create your first Block Storage volume in NYC3 or LON1 today!

Please note: For our NYC3 region, we recommend that you add a volume at the time you create your Droplet to ensure access to Block Storage.

Product Update: May 2017


High CPU Droplets: Early Access
We are now offering early access to a new set Droplet Plans: High CPU Droplets.
Focused on reliable high performance, High CPU Droplets are backed by a more powerful, best-in-class CPU, and won’t have any overcommitment on the underlying physical resources.
We will be onboarding customers to private early access as we have capacity. Sign up here to request early access.
www.digitalocean.com/products/compute/high-cpu/


Block Storage in Singapore + Future Rollouts
Need more disk? You can now add Block Storage volumes up to 16TB in size to Droplets in Singapore! In order to help you plan your deployments, we've finalized the timelines for the next five regions. Here is the schedule we're targeting for Block Storage rollout in 2017:
  • Singapore (SGP1): Now!
  • Toronto (TOR1): June
  • Bangalore (BLR1): Late Q2/Early Q3
  • Amsterdam (AMS3): Late Q2/Early Q3
  • New York City (NYC3): Late Q3/Early Q4
  • London (LON1): Late Q3/Early Q4
We'll have more specific updates to share on SFO1, NYC2, and AMS2 in a future update. Read the full blog post here.
blog.digitalocean.com/block-storage-comes-to-singapore/


Monitoring is Generally Available
Since December, all new droplets have had the option of including the DigitalOcean Agent that enables more detailed metrics like CPU, Memory, and Disk Utilization and Top Processes. Now everyone can set up alert policies on these metrics using Monitoring. Best of all it’s free! What’s next for Monitoring?
  • API support for alert policies
  • Enhanced visualization of alerts
  • Webhooks to notify external services about alerts
  • See the Monitoring blog post for more details.
blog.digitalocean.com/introducing-monitoring/

Block Storage is now available in SGP1



We’re excited to announce that Block Storage is available in SGP1! Starting today, you can now create and attach Block Storage volumes to SGP1-hosted Droplets from the Control Panel or the API.

To learn more about Block Storage, review our “Getting Started with Block Storage” tutorial series or read up about Block Storage and the DigitalOcean API.

We also plan on adding Block Storage to five additional datacenters in the coming months. Read more about it here.

Block Storage is here! Scale storage independently of your

up to 16TB — $0.10/GB per month



Highly Available and Redundant
Block Storage stores data on hardware that is separated from the Droplet and replicated multiple times across different racks, reducing the chances of data loss in the event of hardware failure.

Scalable and Flexible
You can easily scale up and resize your Storage volumes from 1GB to 16TB and move them between Droplets via the control panel or API. As your storage needs grow, you can expand an existing volume or add more volumes to your Droplet.

Reliable and Secure
All the data is encrypted at rest and transmitted to the Droplets over isolated networks.

Multiple Regions
You can create Block Storage volumes right now in NYC1 and our new SFO2 region. FRA1 is next in line and will be available in the coming weeks. We’re working quickly to expand to other regions. More updates to come.

Getting Started
When you log in to your dashboard, you will see a new Volumes tab that has an overview of your volumes:


You will also be able to add volumes right from a Droplet’s page


Once you have a volume attached to your Droplet, use the simple copy and paste instructions displayed on your dashboard to configure it. For more information on working with your Block Storage volumes, read our community tutorials about Linux filesystems and tools and our introduction to Block Storage.

Like all DigitalOcean resources, you can also automate provisioning using our brand new volumes API or doctl, the official DigitalOcean command-line client.