Задачи хранения и доступа к данным являются болевой точкой для любой информационной системы. Даже у хорошо спроектированной системы хранения данных (далее СХД) в процессе эксплуатации выявляются проблемы, связанные со снижением производительности. Отдельного внимания заслуживает комплекс проблем масштабирования, когда количество задействованных ресурсов приближается к установленным лимитам, заложенным разработчиками СХД.

Фундаментальной причиной возникновения этих проблем является традиционная архитектура, основанная на жесткой привязке к аппаратным характеристикам используемых устройств хранения данных. Большинство клиентов до сих пор выбирают способ хранения и доступа к данным с учетом характеристик физических интерфейсов (SAS / SATA / SCSI), а не реальных потребностей используемых приложений.

Еще десяток лет назад это было логичным решением. Системные администраторы тщательно выбирали накопители информации с требуемой спецификацией, например SATA/SAS, и рассчитывали на получение уровня производительности, исходя из аппаратных возможностей дисковых контроллеров. Борьба шла и за объемы кэшей RAID-контроллеров и за опции, предотвращающие потерю данных. Сейчас такой подход к решению проблемы не является оптимальным.

В текущих условиях при выборе СХД имеет смысл отталкиваться не от физических интерфейсов, а от производительности, выраженной в IOPS (количество операций ввода-вывода в секунду). Использование виртуализации позволяет гибко использовать существующие аппаратные ресурсы и гарантировать требуемый уровень производительности. Мы со своей стороны готовы предоставить ресурсы с теми характеристиками, которые реально необходимы приложению.

Виртуализация СХД
С развитием систем виртуализации требовалось найти инновационное решение для хранения и доступа к данным, одновременно обеспечивая отказоустойчивость. Это стало отправной точкой для создания SDS (Software-Defined Storage). Чтобы удовлетворять бизнес-потребностям, такие хранилища проектировались с разделением программного и аппаратного обеспечения.

Архитектура SDS в корне отличается от традиционной. Логика хранения стала абстрагироваться на программном уровне. Организация хранения стала проще за счет унификации и виртуализации каждого из компонентов такой системы.

Что же является основным фактором, препятствующим внедрению SDS повсеместно? Этим фактором чаще всего оказывается некорректная оценка потребностей используемых приложений и неверная оценка рисков. Для бизнеса выбор решения зависит от затрат на внедрение, исходя из текущих потребляемых ресурсов. Мало кто думает — что будет, когда объем информации и требуемая производительность превысит возможности выбранной архитектуры. Мышление на базе методологического принципа «не следует множить сущее без необходимости», более известного как «лезвие Оккама», обуславливает выбор в пользу традиционных решений.

Лишь немногие понимают, что необходимость в масштабировании и надежности хранения данных важнее, чем кажется на первый взгляд. Информация это ресурс, а следовательно, риск ее потери необходимо страховать. Что будет, когда традиционная СХД выйдет из строя? Потребуется воспользоваться гарантией либо купить новое оборудование. А если СХД снята с производства или у нее закончился «срок жизни» (так называемый EOL — End-of-Life)? Это может стать «черным днем» для любой организации, которая не сможет продолжать использовать привычные собственные сервисы.

Не существует систем, которые бы не имели ни одной точки отказа. Зато есть системы, которые способны без проблем пережить отказ одного или нескольких компонентов. И виртуальные, и традиционные СХД создавались с учетом того, что рано или поздно произойдет сбой. Вот только «лимит прочности» традиционных СХД заложен аппаратно, а вот в виртуальных СХД он определяется в программном слое.

Интеграция
Кардинальные перемены в IT-инфраструктуре всегда нежелательное явление, чреватое простоями и потерей средств. Только плавное внедрение новых решений дает возможность избежать негативных последствий и улучшить работу сервисов. Именно поэтому Selectel разработал и запустил облако на базе VMware, признанного лидера на рынке систем виртуализации. Созданная нами услуга позволит каждой компании решить весь комплекс инфраструктурных задач, в том числе и по хранению данных.

Расскажем о том, как именно мы решили вопрос с выбором системы хранения данных, а также какие преимущества дал нам этот выбор. Разумеется, что рассматривались как традиционные системы хранения данных, так и SDS. Чтобы четко понимать все аспекты эксплуатации и риски, предлагаем детально углубиться в тему.

Еще на этапе проектирования к СХД предъявлялись следующие требования:

• отказоустойчивость;
• производительность;
• масштабирование;
• возможность гарантировать скорость работы;
• корректная работа в экосистеме VMware.

Использование традиционных аппаратных решений не могло обеспечить требуемый уровень масштабирования, поскольку невозможно постоянно наращивать объем хранилища из-за ограничений архитектуры. Также большую сложность представляло резервирование на уровне целого дата-центра. Именно поэтому мы обратили внимание на SDS.

На рынке SDS присутствует несколько программных решений, которые бы подошли нам для построения облака на базе VMware vSphere. Среди этих решений можно отметить:

• Dell EMC ScaleIO;
• Datacore Hyper-converged Virtual SAN;
• HPE StoreVirtual.

Указанные решения пригодны для использования c VMware vSphere, однако не встраиваются в гипервизор и запускаются отдельно. Поэтому выбор был сделан в пользу VMware vSAN. Рассмотрим детально, как выглядит виртуальная архитектура такого решения.

Архитектура


В отличие от традиционных СХД вся информация не хранится в какой-то одной точке. Данные виртуальных машин равномерно «размазаны» между всеми хостами, а масштабирование осуществляется добавлением хостов или установкой на них дополнительных дисковых накопителей. Поддерживается два варианта конфигурации:

• AllFlash-конфигурация (только твердотельные накопители, как для хранения данных, так и для кэша);
• Hybrid-конфигурация (магнитные накопители для хранения данных и твердотельные для кэша).

Процедура добавления дискового пространства не требует дополнительных настроек, например, создания LUN (Logical Unit Number, логических номеров дисков) и настройки доступа к ним. Как только хост добавлен в кластер, его дисковое пространство становится доступным для всех виртуальных машин. Такой подход имеет ряд существенных преимуществ:

• отсутствие привязки к производителю оборудования;
• повышенная отказоустойчивость;
• обеспечение целостности данных в случае сбоя;
• единый центр управления из консоли vSphere;
• удобное горизонтальное и вертикальное масштабирование.

Однако эта архитектура предъявляет повышенные требования к сетевой инфраструктуре. Для обеспечения максимальной пропускной способности, в нашем облаке сеть построена по модели Spine-Leaf.

Сеть
Традиционная трехуровневая сетевая модель (ядро / агрегация / доступ) имеет ряд существенных недостатков. Ярким примером являются ограничения Spanning-Tree протоколов.

В модели Spine-Leaf используется только два уровня, что дает следующие преимущества:

• предсказуемое расстояние между устройствами;
• трафик идет по наилучшему маршруту;
• легкость масштабирования;
• исключение ограничений протоколов уровня L2.

Ключевой особенностью такой архитектуры является то, что она максимально оптимизирована для прохождения «горизонтального» трафика. Пакеты данных проходят только через один хоп, что позволяет четко оценивать задержки.

Физическое соединение обеспечивается с помощью нескольких 10GbE-линков на каждый сервер, пропускная способность которых объединяется с помощью протокола агрегации. Таким образом, каждый физический хост получает высокую скорость доступа ко всем объектам хранилища.

Обмен данными реализуется с помощью проприетарного протокола, созданного VMware, позволяющего обеспечить быструю и надежную работу сети хранения на Ethernet-транспорте (от 10GbE и выше).

Переход к объектной модели хранения данных позволил гибко подстраивать использование хранилища в соответствие с требованиями заказчиков. Все данные хранятся в виде объектов, которые определенным образом распределяются по хостам кластера. Уточним значения некоторых параметров, которыми можно управлять.

Отказоустойчивость

• 1. FTT (Failures To Tolerate). Обозначает количество отказов хостов, которые кластер способен обработать, не прерывая штатной работы.
• 2. FTM (Failure Tolerance Method ). Метод обеспечения отказоустойчивости на уровне дисков.

Mirroring (зеркалирование)

Представляет собой полное дублирование объекта, причем реплики всегда находятся на разных физических хостах. Ближайшим аналогом такого метода является RAID-1. Его использование позволяет кластеру штатно обработать до трех отказов любых компонентов (диски, хосты, потеря сети и прочее). Этот параметр настраивается посредством задания опции FTT.

По-умолчанию эта опция имеет значение 1, при этом для объекта создается 1 реплика (всего 2 экземпляра на разных хостах). При увеличении значения, количество экземпляров будет составлять N+1. Таким образом, при максимальном значении FTT=3 на разных хостах будут находиться 4 экземпляра объекта.

Такой метод позволяет достичь максимальной производительности в ущерб эффективности использования дискового пространства. Допускается использование как в гибридной, так и в AllFlash-конфигурации.

Erasure Coding (аналог RAID 5/6)


Работа данного метода поддерживается исключительно на AllFlash-конфигурациях. В процессе записи каждого объекта вычисляются соответствующие блоки четности, позволяющие однозначно восстановить данные при возникновении сбоя. Такой подход существенно экономит дисковое пространство по сравнению с Mirroring.

Разумеется, работа подобного метода повышает накладные расходы, которые выражаются в снижении производительности. Тем не менее, с учетом производительности AllFlash-конфигурации, этот недостаток нивелируется, делая использование Erasure Coding приемлемым вариантом для большинства задач.

Кроме того, VMware vSAN вводит понятие «доменов отказа», представляющих собой логическое группирование серверных стоек или дисковых корзин. Как только необходимые элементы сгруппированы, это приводит к распределению данных по разным узлам с учетом доменов отказа. Это позволяет кластеру пережить потерю целого домена, поскольку все соответствующие реплики объектов будут располагаться на других хостах в другом домене отказа.

Минимальным доменом отказа является дисковая группа, представляющая собой логически связанные дисковые накопители. Каждая дисковая группа содержит в себе носители двух типов — cache и capacity. В качестве cache-носителей система позволяет использовать только твердотельные диски, а в качестве capacity-носителей могут выступать как магнитные, так и твердотельные диски. Кэширующие носители помогают ускорить работу магнитных дисков и уменьшить задержку при доступе к данным.

Реализация
Поговорим о том, какие ограничения существуют в архитектуре VMware vSAN и зачем они нужны. Вне зависимости от используемых аппаратных платформ, архитектура предусматривает следующие ограничения:

• не более 5 дисковых групп на хост;
• не более 7 capacity-носителей в дисковой группе;
• не более 1 cache-носителя в дисковой группе;
• не более 35 capacity-носителей на хост;
• не более 9000 компонентов на хост (включая witness-компоненты);
• не более 64 хостов в кластере;
• не более 1 vSAN-datastore на кластер.

Зачем это нужно? Пока указанные лимиты не превышены, система будет функционировать с заявленной производительностью, поддерживая баланс между производительностью и объемом хранения. Это позволяет гарантировать корректную работу всей виртуальной СХД в целом.

Помимо указанных ограничений следует помнить одну важную особенность. Не рекомендуется заполнять более 70% общего объема хранилища. Дело в том, что при достижении 80% автоматически запускается механизм ребалансировки, и система хранения начинает перераспределять данные по всем хостам кластера. Процедура достаточно ресурсоемкая и может серьезно сказаться на производительности дисковой подсистемы.

Чтобы удовлетворить потребности самых разных клиентов, нами было реализовано три пула хранения данных для удобства использования в различных сценариях. Давайте рассмотрим каждый из них по порядку.

Пул с быстрыми дисками
Приоритетом для создания этого пула было получить хранилище, которое обеспечит максимальную производительность для размещения высоконагруженных систем. Серверы из этого пула используют пару Intel P4600 в качестве кэша и 10 Intel P3520 для хранения данных. Кэш в этом пуле используется таким образом, чтобы чтение данных происходило напрямую с носителей, а операции записи происходили через кэш.

Для увеличения полезной емкости и обеспечения отказоустойчивости используется модель хранения данных под названием Erasure Coding. Такая модель схожа с обычным массивом RAID 5/6, но на уровне объектного хранилища. Чтобы исключить вероятность повреждения данных, vSAN использует механизм вычисления контрольных сумм для каждого блока данных, размером 4К.

Проверка осуществляется в фоновом режиме во время операций чтения/записи, а также для «холодных» данных, доступ к которым не запрашивался в течение года. При выявлении несовпадения контрольных сумм, а следовательно, повреждения данных, vSAN автоматически восстановит файлы путем перезаписи.

Пул с гибридными дисками
В случае с этим пулом, его основной задачей является предоставление большого объема данных, обеспечивая при этом хороший уровень отказоустойчивости. Для многих задач скорость доступа к данным не является приоритетной, гораздо более важен объем, а еще стоимость хранения. Использование твердотельных накопителей в качестве такого хранилища будет иметь необоснованно высокую стоимость.

Этот фактор и послужил причиной создания пула, который представляет собой гибрид из кэширующих твердотельных накопителей (как и в других пулах это Intel P4600) и жестких дисков корпоративного уровня, разработанные компанией HGST. Гибридная схема работы ускоряет доступ к часто запрашиваемым данным, за счет кэширования операций чтения и записи.

На логическом уровне данные зеркалируются для исключения потери в случае сбоя оборудования. Каждый объект разбивается на идентичные компоненты и система распределяет их по разным хостам.

Пул с Disaster Recovery


Основной задачей пула является достижение максимального уровня отказоустойчивости и производительности. Задействование технологии Stretched vSAN позволило нам разнести хранилище между дата-центрами Цветочная-2 в Санкт-Петербурге и Дубровка-3 в Ленинградской области. Каждый сервер из данного пула оснащен парой емких и высокоскоростных накопителей Intel® P4600 для работы кэша и по 6 штук Intel® P3520 для хранения данных. На логическом уровне это 2 дисковые группы на хост.

AllFlash-конфигурация лишена серьезного недостатка — резкого падения IOPS и увеличения очереди дисковых запросов при увеличенном объеме операций произвольного доступа к данным. Так же, как и в пуле с быстрыми дисками операции записи проходят через кэш, а чтение осуществляется напрямую.

Теперь о главном отличии от остальных пулов. Данные каждой виртуальной машины зеркалируются внутри одного дата-центра и при этом синхронно реплицируются в другой, принадлежащий нам, дата-центр. Таким образом, даже серьезная авария, такая как полное нарушение связности между дата-центрами не станет проблемой. Даже полная потеря дата-центра не затронет данные.

Авария с полным отказом площадки — ситуация достаточно редкая, однако vSAN с честью может ее пережить, не потеряв данные. Гости проводимого нами мероприятия SelectelTechDay 2018 смогли собственными глазами увидеть, как кластер Stretched vSAN пережил полный отказ площадки. Виртуальные машины стали доступны уже через одну минуту после того, как все серверы на одной из площадок были выключены по питанию. Все механизмы сработали именно так, как было запланировано, а данные остались нетронутыми.

Отказ от привычной архитектуры хранения данных влечет за собой массу изменений. Одним из таких изменений стало появление новых виртуальных «сущностей», к которым относятся и witness appliance. Смысл этого решения в том, чтобы отслеживать процесс записи реплик данных и определять, какая из них является актуальной. При этом самих данных на witness-компонентах не хранится, только метаданные о процессе записи.

Этот механизм вступает в действие в случае аварии, когда в процессе репликации происходит сбой, результатом которого является рассинхронизация реплик.

Чтобы определить, какая из них содержит актуальную информацию, используется механизм определения кворума. Каждый компонент обладает «правом голоса», и ему присваивается некоторое количество голосов (1 и более). Такое же «право голоса» имеют и witness-компоненты, играющие роль арбитров, при возникновении спорной ситуации.

Кворум достигается только в том случае, когда для объекта доступна полная реплика и количество текущих «голосов» составляет более 50%.

Заключение
Выбор VMware vSAN, как системы хранения данных, стал для нас достаточно важным решением. Этот вариант прошел нагрузочное тестирование и проверку отказоустойчивости, прежде чем был включен в проект нашего облака на базе VMware.

По результатам тестов стало ясно, что заявленный функционал работает как положено и удовлетворяет всем требованиям нашей облачной инфраструктуры.

https://selectel.ru

Мы долго думали, чем интересным можно поделиться с коллегами в День системного администратора. Решили сделать подборку любимой музыки сисадминов Selectel — в нашей компании работают 44 специалиста этой замечательной профессии. Пока собирали статистику, послушали кучу хорошей музыки и выяснили про самих себя много интересного. Поэтому кроме десятки лучших композиций для работы от сисадминов Selectel расскажем самые любопытные музыкальные факты о нас в честь профессионального праздника.

Наши любимые жанры
Здесь, пожалуй, без сюрпризов — самые популярные направления: всевозможные разновидности метала (nu, melodic, death и прочие) и классический западный рок разной степени древности. Следом с небольшим отрывом блюз, джаз и электронная музыка (например, dark techno или trance).

Сюрпризы в списке
Некоторые композиции удивили. Встречаются они не больше одного раза, но среди Cradle of Filth и Children Of Bodom, которые мы вполне ожидали увидеть, в списке любимых притаились «Русский Ковчег» новомодной Монеточки, «Не верь слезам» древнемодного Шуры и композиция Show me the way от немецких диско-звезд Bad Boys Blue. Песни, кстати, отличные.

Музыканты среди нас
Ровно половина из тех, кто ответил на вопросы анкеты, умеют — или умели раньше — играть на каком-нибудь музыкальном инструменте. Самый популярный — конечно же, гитара. Хотя почти вровень с гитаристами идут те, кто делает электронную музыку. Впрочем, нашлись и пианисты с барабанщиками. Ни один из наших администраторов не играет на рабочем месте, хотя как минимум у одного есть гитара в офисе. Скромные сисадмины объясняют это тем, что на музицирование не хватает времени и тем, что они не хотят заставлять страдать уважаемых коллег.

Музыка для работы
Не будем лукавить, лучший аккомпанемент для работы администраторов Selectel — тишина. По крайней мере, это самый популярный ответ: «Отвлекает», «Мешает сосредоточиться». Однако, если говорить именно о музыке — на уверенном первом месте олдскульный рок: от The Rolling Stones и Scorpions до Сатриани и Pink Floyd. В остальных предпочтениях огромный разброс: и приятные ненавязчивые композиции (Echos), и сербская эстрада (Toma Zdravković), и deathcore-мясорубка (Defiler), и второй концерт Рахманинова (фортепиано с оркестром, до минор).

Несколько человек посоветовали сервисы с фоновой музыкой: сайт musicforprogramming.net, прямой эфир lofi hip hop radio на YouTube-канале ChilledCow и сервис asoftmurmur.com — вместо музыки тут звуки вроде треска костра или шума ливня.


10 отличных композиций для работы от сисадминов Selectel
И, наконец, главное — рекомендуем лучшие композиции для работы, которые слушаем сами. Мы выбрали не самые очевидные треки и постарались собрать побольше разных жанров. Надеемся, кто-то пополнит свой трудовой плейлист любимыми песнями системных администраторов Selectel, чтобы работать было веселей — будем с вами на одной волне. Приятного прослушивания и с праздником, сисадмины.

In Extremo — Nur Ihr Allein
Задорные немецкие фолк-металисты.

Grimes — REALiTi
Канадская певица Граймс и её дрим-поп.

Blue Foundation — Eyes On Fire
Трек датской поп-рок группы, который использовали в «Сумерках», но вы на это не обращайте внимания — он классный.

Defiler — Cryomancer
Немного бодрящего живительного калифорнийского дэткора.

Poets Of The Fall — Sleep, sugar
Романтичный финский инди-рок.

Eric Dolphy — Naima
Приятный джаз от мультиинструменталиста Эрика Аллана Долфи.

Alex Adair — I Will
Успокаивающий трек британского диджея в стиле tropical house.

Klingande — Jubel
Мягкий house, на этот раз из Франции и с солирующим саксофоном.

New Order — Elegia
Спокойная инструментальная композиция от бывших участников Joy Division.

Manfred Mann’s Earth Band — For You
Классика рока из 70-х. Есть, и что послушать, и на что посмотреть.



Подбробнее blog.selectel.ru/na-volne-selectel-fm/

Мы пересмотрели ресурсы (CPU) для виртуальных серверов, теперь объем совершаемой нагрузки на процессор увеличен в несколько раз для тарифов VM-KVM. С обновленными тарифами Вы можете ознакомиться на странице host-i7u.com/vps-openvz

Вот что новое в UpCloud: обновления памяти, интеграция RunCloud, руководство от сообщества, и многое другое


Лето и отдых в полном разгаре, но это не будет замедлять нас вниз. Еще один месяц прошел с кучей новостей, чтобы поделиться! Читайте дальше, чтобы узнать больше о том, что происходит. И как всегда, мы будем рады услышать ваше мнение!

Предстоящие изменения масштабирования памяти
Наши свободно масштабируемые сервера всегда были одним из наших уникальных особенностей, и мы продолжаем развивающиеся компоненты, окружающие предложение. Для того чтобы будущие усовершенствования, мы изменяем способ, которым память конфигурируется путем перехода на основе значений для GigaByte. Таким образом, минимальный объем памяти для сервера облачного будет 1 Гб с дополнительной памятью, сконфигурированной с интервалом в 1 Гб. Любой в настоящее время работает облачные сервера с неровными объемами памяти связались с дальнейшими инструкциями и информацией.

Управление PHP-приложений с RunCloud
RunCloud является беспроблемным PHP веб-приложений и сервер панели управления, которая теперь работает с UpCloud! RunCloud в настоящее время поддерживает облачные сервера с Ubuntu 16.04 и 18.04 в широком диапазоне поставщиков для развертывания мульти-облака. Подробнее о RunCloud на своем веб — сайте и как приступить к работе с их свободного уровня. runcloud.io

Пример с Ruby-студии
Рубин Студия веб-агентство с полным спектром услуг, предлагая дизайн, разработка, хостинг и поддержка с предпринимательской ума и сильной эстетической позиции. Их стратегия способствует долгосрочных отношений с клиентами, и они стали идеальным партнером для многих интернет-компаний. Подробнее о том, как ruby-studio построить свой доверенный бренд на последнем кейса.

Мы нанимаем!
Если вы когда-либо хотели присоединиться пионерами облачных технологий, то теперь это ваш шанс. Мы нанимаем для ряда различных возможностей в Хельсинки и Лондоне. Проверьте открытые позиции и применить сегодня, чтобы сделать свой след среди лидеров отрасли!

Обновления сообщества
Мы приняли участие в поддержке WordCamp Нагпур в 2018 году конференцию, посвященную все, WordPress. Это открытое сообщество организованное мероприятие вместе взятые пользователями WordPress, чтобы позволить любому из случайных кодеров для профессиональных веб-разработчиков, чтобы принять участие, поделиться идеями и познакомиться друг с другом. Мероприятие было проведено в Chitnavis центре в Нагпур, Индия Сб 21 июля. Большое спасибо всем, кто присутствовал!

Открытый исходный прожектор
Источник сцена открыта всегда интересна для следующих новых технологий и интеграцию. Мы в UpCloud рады поддержать разработчиков с открытым исходным кодом и всегда рады видеть новые идеи взлетают. Вот некоторые интересные вещи, наши пользователи работают.

Развертывание Kubernetes с помощью терраформировать для управления контейнерами на UpCloud
Мы работаем вместе с нашими членами сообщества разработки плагина поставщика для терраформировать, чтобы кто — нибудь легко шифровать их инфраструктуру. Johannes из коллективного Krig написал удивительный блог серии о том, как они начали с использованием терраформировать на UpCloud. Проверьте свой блог в течение некоторого большого чтения и руководства, чтобы начать самостоятельно.

Настройка веб-сайта, расширенная версия
Fearby.com один супер активный блоггер с проницательностью в веб — хостинга. Их блог серии является интересным прочитать на опыте о переносе сайта на UpCloud и как получить максимальную отдачу от самых быстрых в мире серверов облачных! Убедитесь в том, чтобы проверить их последний пост, чтобы узнать больше.

Всего наилучшего, Команда UpCloud

Automatic Renewal Billing.
We are pleased to announce that the automatic renewal feature already available for all your servers.

You no longer need to worry about the expiry date of your servers and can now completely focus on your projects.

For existing servers, the automatic renewal can be activated directly from your customer interface.

This is a special promo code for our clients on any new Instant Servers
(valid until Aug 17, 2018):
35% OFF — the 1st month. Promo Code: CLN-35-1

Please feel free to contact us if you have any questions or comments.
gthost.com/instant-servers/

До 14 августа в RU-CENTER действует скидка 90% на имена в домене .ooo — тематической зоне для компаний, организованных в форме общества с ограниченной ответственностью. Стоимость регистрации — всего 299 рублей. Предложите вашим клиентам имя для бизнеса по выгодной цене.

Для держателей статусов в рамках Клубной программы предусмотрены дополнительные скидки.
www.nic.ru/catalog/domains/ooo/

Обещание и преимущество облака всегда были гибкостью, низкой стоимостью и оплатой за использование. С помощью Google Compute Engine пользовательские типы машин позволяют создавать экземпляры виртуальных машин любого размера и формы, и мы автоматически применяем скидки на использование и постоянное использование, чтобы снизить ваши затраты. Сегодня мы используем концепцию оплаты за использование в Compute Engine еще дальше с ценой на основе ресурсов.
Благодаря ценообразованию на основе ресурсов мы делаем несколько изменений за кулисами, которые выравнивают, как мы относимся к измерению пользовательских и предопределенных типов машин, а также к тому, как мы применяем скидки для скидок с постоянным использованием. Проще говоря, мы внесли изменения, чтобы автоматически предоставить вам больше сбережений и простой для понимания ежемесячный счет. Кто этого не любит?

Ценообразование на основе ресурсов рассматривает использование на гранулированном уровне. Вместо того, чтобы оценивать свое использование на основе используемых вами типов машин, он оценивает, сколько ресурсов вы потребляете за определенный период времени. Что это значит? Это означает, что ядро ​​является ядром, а ГБ ОЗУ — ГБ ОЗУ. Неважно, какая комбинация заданных типов машин вы используете. Теперь мы смотрим на них на уровне ресурсов — в совокупности. Это становится лучше, потому что скидки с постоянным использованием теперь рассчитываются на региональном уровне, а не только внутри зон. Это означает, что вы можете быстрее получать скидки на использование, поэтому вы можете экономить еще более автоматически.
Чтобы лучше понять эти изменения и получить представление о том, как вы можете сэкономить, давайте посмотрим, как работали сдержанные скидки на использование, и как они будут работать дальше.

Раньше, если вы использовали конкретный тип машины (например, n1-standard-4) с четырьмя vCPU в течение 50% месяца, вы получили эффективную скидку 10%. Если вы использовали его в течение 75% месяца, вы получили эффективную скидку в размере 20%. Если вы используете его в течение 100% месяца, вы получите эффективную скидку в размере 30%.

Хорошо. Теперь, что, если вы использовали разные типы машин?

Предположим, вы используете веб-сервис. Вы начали месяц с n1-standard-4 с четырьмя vCPU. На второй неделе пользовательский спрос на ваш сервис увеличился, и вы увеличили емкость. Вы начали запускать n1-standard-8 с восемью vCPU. Когда-либо растущий спрос заставлял вас снова увеличиваться. На третьей неделе вы начали запускать n1-standard-16 с шестнадцатью vCPU. Из-за вашего успеха вы снова закончили масштабирование, закончив месяц, когда n1-standard-32 с тридцатью двумя vCPU. В этом случае вы не получили бы скидку, потому что вы не запускали ни один из типов машин до 50% месяца.

С ценой на основе ресурсов мы больше не рассматриваем ваш тип машины, и вместо этого мы объединяем все ресурсы, которые вы используете на всех ваших компьютерах, в одну общую сумму, а затем применяете скидку. Вам не нужно предпринимать никаких действий. Вы автоматически сохраняете. Давайте снова рассмотрим пример масштабирования, но на этот раз с ценой на основе ресурсов.

Вы начали месяц, на котором было четыре vCPU, а затем были увеличены до восьми vCPU, шестнадцати vCPU и, наконец, тридцать два vCPU. Вы запускали четыре vCPU весь месяц или 100% времени, поэтому вы получаете 30% скидку на эти vCPU. Вы потратили еще четыре vCPU на 75% от месяца, так что вы получаете 20% скидку на эти vCPU. И, наконец, вы потратили еще восемь vCPU на половину месяца, так что вы получаете 10% скидку на эти vCPU. Шестнадцать vCPU выполнялись в течение одной недели, поэтому они не получили скидку. Давайте посмотрим, как это работает, чтобы укрепить то, что мы узнали.

И поскольку ценообразование на основе ресурсов применяется на региональном уровне, теперь вам будет легче пользоваться скидками на использование, независимо от типа используемой вами машины, или количеством зон в регионе, в котором вы работаете. В ближайшие месяцы вступит в силу ценовая политика на основе ресурсов. Посетите страницу ценообразования на основе ресурсов, чтобы узнать больше.

Если вы несете ответственность за производительность и доступность приложений, вы знаете, как трудно это увидеть глазами ваших клиентов и конечных пользователей. Мы думаем, что это действительно изменится после внедрения на прошлой неделе Stackdriver Service Monitoring, нового инструмента для мониторинга того, как ваши клиенты воспринимают ваши приложения, а затем позволяет вам перейти к базовой инфраструктуре, когда есть проблема.

Большинство инструментов ИТ-операций занимают мало внимания в отношении ИТ-систем: они смотрят на вычисления, хранилища и сетевые показатели, чтобы выявить опыт работы с клиентами. Средства управления эффективностью приложений (APM), такие как системы трассировки, отладчики и профилировщики, рассматривают приложение с уровня кода, но упускают из виду базовую инфраструктуру. Иногда решение аналитики журналов может обеспечить клей между этими двумя слоями, но часто с большими усилиями и расходами.

У ИТ-операторов отсутствует экономичный и простой в использовании инструмент общего назначения для мониторинга поведения своих приложений, ориентированного на клиента. Трудно понять, как конечные пользователи испытывают ваше программное обеспечение, и сложно стандартизовать службы и приложения. Персонал Ops рискует выгорать из всех ложных предупреждений. Результатом всего этого является то, что среднее время-разрешение (MTTR) больше, чем необходимо, и удовлетворенность клиентов ниже желаемого. Ситуация усугубляется с помощью микросервисных архитектур, где само приложение разбито на множество мелких кусочков, что затрудняет понимание того, как все части подходят друг другу и где начать расследование, когда есть проблема.
Все это происходит с выпуском Stackdriver Service Monitoring. Мониторинг сервисов использует сервисную, «укомплектованную» инфраструктуру, поэтому вы можете отслеживать, как конечные пользователи воспринимают ваши системы, позволяя вам, когда это необходимо, перейти на уровень инфраструктуры. Первоначально мы поддерживаем эту функциональность для Google App Engine и сервисов Istio, работающих в Google Kubernetes Engine. С течением времени мы будем расширяться до большего количества платформ.

С помощью Stackdriver Service Monitoring вы получаете ответы на следующие вопросы:

• Каковы ваши услуги? Какую функциональность предоставляют эти услуги для внутренних и внешних клиентов?
• Каковы ваши обещания и обязательства относительно доступности и эффективности этих услуг, а также ваши услуги, связанные с ними?
• Что такое межсервисные зависимости для приложений на основе микросервисов? Как вы можете использовать эти знания для двойной проверки новых версий кода и проблем с сортировкой в ​​случае ухудшения обслуживания?
• Можете ли вы посмотреть на все сигналы мониторинга для целостного сервиса, чтобы уменьшить MTTR?

Анатомия мониторинга службы стоп-приводов
Сервисный мониторинг состоит из трех частей: графика обслуживания, целей уровня обслуживания (SLO) и панелей мониторинга с несколькими сигналами. Вместе они дают вам список ваших услуг, визуально отображают зависимости между ними, позволяют устанавливать и оценивать возможности доступности и производительности, помогать вам устранять проблемы приложений, чтобы быстро найти основную причину и, наконец, помочь вам быстрее отлаживать сломанные услуги чем когда-либо. Давайте посмотрим на каждую часть по очереди.
Сервисный график: это представление о вашей инфраструктуре, относящееся к услугам. Он начинается с отображения верхнего уровня в реальном времени всех сервисов в сервисной сетке Istio и связей между ними. При выборе одной услуги отображаются графики с коэффициентами ошибок и метриками задержки. Двойной щелчок по сервису позволяет развернуть свою базовую инфраструктуру Kubernetes, обеспечивая длинную неуловимую связь между поведением приложения и инфраструктурой. Существует также ползунок времени, который позволяет вам видеть график в предыдущие моменты времени. Используя сервисный график, вы можете увидеть свою архитектуру приложения для справочных целей или для сортировки проблем. Вы можете изучить показатели поведения службы и определить, вызывает ли восходящий сервис проблемы с последующей службой. Наконец, вы можете сравнить график обслуживания в разные моменты времени, чтобы определить, было ли значительное архитектурное изменение прямо перед сообщением проблемы. Существует не более быстрый способ начать изучение и понимание сложных мультисервисных приложений.



SLO: внутренне в Google наша команда инженеров по надежности сайта (SRE) только предупреждает себя о проблемах, связанных с клиентами, и не во всех потенциальных причинах. Это лучше согласовывает их с интересами клиентов, снижает их трудность, освобождает их, чтобы делать надёжную инженерию с добавленной стоимостью и повышает удовлетворенность работой. Stackdriver Service Monitoring позволяет вам устанавливать, контролировать и предупреждать о SLO. Поскольку Istio и App Engine имеют укрупненный способ, мы точно знаем, что подсчет транзакций, количество ошибок и распределение задержек находятся между службами. Все, что вам нужно сделать, — установить целевые показатели доступности и производительности, и мы автоматически генерируем графики для индикаторов уровня обслуживания (SLI), соответствия вашим целям с течением времени и вашего оставшегося бюджета ошибок. Вы можете настроить максимально допустимую скорость снижения для бюджета ошибок; если эта ставка превышена, мы уведомляем вас и создаем инцидент, чтобы вы могли принять меры. Чтобы узнать больше о концепциях SLO, включая бюджет ошибок, мы рекомендуем вам прочитать главу SLO в книге SRE.



Service Dashboard: В какой-то момент вам нужно будет углубиться в сигналы службы. Возможно, вы получили оповещение SLO, и нет очевидной причины восходящего потока. Возможно, услуга связана с графиком обслуживания как возможная причина для оповещения SLO другого сервиса. Возможно, у вас есть жалоба клиента за пределами предупреждения SLO, которое вам нужно изучить. Или, может быть, вы хотите увидеть, как происходит развертывание новой версии кода.
Панель управления сервисов обеспечивает единый когерентный вывод всех сигналов для конкретной службы, причем все они привязаны к одному и тому же таймфрейму с одним элементом управления, предоставляя вам самый быстрый способ преодолеть проблему с вашим сервисом. Мониторинг сервиса позволяет вам глубоко погрузиться в поведение службы по всем сигналам, не отрываясь от разных продуктов, инструментов или веб-страниц для показателей, журналов и трасс. Панель управления дает вам представление о SLO на одной вкладке, показатели обслуживания (скорости транзакций, частоты ошибок и задержки) на второй вкладке, а также диагностику (трассировки, отчеты об ошибках и журналы) на третьей вкладке.



После того, как вы проверили отклонение бюджета на первой вкладке и изолированный аномальный трафик во второй вкладке, вы можете продолжить дальше на вкладке диагностики. Для проблем с производительностью вы можете развернуть длинные хвостовые следы, а оттуда легко попасть в Stackdriver Profiler, если ваше приложение приспособлено для этого. Для проблем с доступностью вы можете просматривать журналы и отчеты об ошибках, проверять трассировки стека и открывать отладчик Stackdriver, если приложение предназначено для этого.



Мониторинг служб Stackdriver дает вам совершенно новый способ просмотра архитектуры приложения, причины его поведения, ориентированного на клиента, и вникать в корень любых возникающих проблем. Он использует преимущества усовершенствования программного обеспечения в области инфраструктуры, которые Google отстаивает в мире с открытым исходным кодом, и использует трудно завоеванные знания наших команд SRE. Мы считаем, что это в корне преобразует опыт работы с операционными командами разработчиков облачных вычислений и микросервисов. Чтобы узнать больше, ознакомьтесь с презентацией и демонстрацией с Лабораториями Декарта на GCP. На прошлой неделе. Мы надеемся, что вы подпишетесь, чтобы попробовать и поделиться своими отзывами.

В начале года мы опубликовали наши планы на 2018 год и обязались постоянно совершенствовать опыт разработчиков с помощью DigitalOcean. Мы включили открытый призыв к разработчикам, которые хотели бы предоставить отзывы о новых функциях, направленных на упрощение управления всей инфраструктурой, необходимой для запуска приложений по шкале.

Пока в этом году вы узнали, что вы предоставили нам:

• Панель инструментов
• Сайт новой документации
• Вход в Google
• Поиск капель
• Автоматическое форматирование хранения блоков и
• Ряд улучшений пользовательского опыта

Один из последовательных отзывов, которые мы слышали, — это то, что вы хотели больше контролировать, как вы организовали свою инфраструктуру. Сегодня мы с гордостью объявляем о выпуске новых обновлений, включая новую навигацию и захватывающий набор функций, который мы называем проектами, которые расширяют возможности Dashboard, чтобы вы были организованы, даже когда ваши инфраструктурные потребности растут.

Почему проекты?
Мы создали DigitalOcean Projects, чтобы ваши системы были организованы и сфокусированы, чтобы сэкономить время на панели управления и согласовать с приложениями, средами, клиентами или проектами, которые вы используете для ведения бизнеса. Выпуск опыта Dashboard представил ваши капельки, балансировщики нагрузки, домены, плавающие IP-адреса и пространства в одном месте. Теперь с проектами мы поставили вас под контроль. Вы можете создавать структуры, которые имеют смысл для того, как вы и ваша команда работаете.

В этом новом выпуске все ваши существующие ресурсы начнутся в вашем проекте по умолчанию, который работает так же, как панель инструментов. По мере расширения вашей инфраструктуры из этого единого проекта вы сможете создавать больше проектов и свободно перемещать свои ресурсы между ними — во время создания, по одному или через опцию объемного перемещения. Вы можете быстро перемещаться между проектами через меню новых проектов, которое сортирует ваш проект по умолчанию вверху и ваши последние созданные проекты под ним. На вкладке «Настройки» вы можете вносить изменения в название, назначение и описание проекта или удалять неиспользуемые проекты.

Нет никаких ограничений на количество проектов, которые вы можете иметь, или количество ресурсов, которое вы можете иметь в них. Они масштабируются в соответствии с вашими потребностями.

Ознакомьтесь с нашей документацией для получения более подробной информации.


Это первая из многих итераций, которые мы планируем выпустить в этом году. В ближайшие месяцы мы будем расширять и использовать функциональность проектов в следующих направлениях:

Поддержка большего количества ресурсов, таких как Block Storage и предстоящие Kubernetes
API новых проектов для программного доступа и работы с вашими проектами
Использование биллинга для каждого проекта и
Улучшения удобства использования на основе ваших отзывов
дизайн
Как только вы войдете в систему, вы заметите некоторые изменения в дизайне. Нам нужно было внести изменения, чтобы поддерживать простой пользовательский опыт, который вы любите, тем более, что мы планируем добавить больше возможностей, таких как Kubernetes, DBaaS, VPC и Application Marketplace.

Наиболее очевидным изменением является обновленное главное меню панели управления. Новая левая навигация сосредоточена на ваших проектах. Ниже мы сохранили наши знакомые ссылки на Droplets, Spaces, Images, Networking, Monitoring и API, а также добавили данные вашей учетной записи — профиль или команды, биллинг и безопасность, чтобы они всегда были всего в одном клике. Наверху мы обеспечиваем быстрый доступ к вашим капелькам, делая поиск Droplet более заметным, и добавили использование вашего текущего месяца, чтобы вы могли следить за своими издержками с одного взгляда.


Для разработки и разработки проектов требовалось несколько итераций, частые тесты юзабилити и постоянная обратная связь с вами. Мы не могли бы сделать это без участия наших бета-добровольцев. Если вы хотите быть частью будущих исследовательских инициатив или бета-версий продуктов, см. Нашу страницу исследований и подпишитесь на исследовательскую программу. Мы с нетерпением ждем ваших отзывов, поскольку мы продолжаем совершенствовать панель управления.

Джош Виней, старший менеджер по продуктам, опыт разработчиков

Селия Маккуин, старший дизайнер продукции

Операция технического обслуживания планируется на площади BHS3 22 августа 2018 года, между 03:00 и 08:00 UTC-4. Это не должно привести к любым вопросам обслуживания для ваших экземпляров, но некоторые из API-интерфейсов в этой области будут недоступны, пока операция проводятся.

Следующий оконечный API будет на обслуживании:
compute.bhs3.cloud.ovh.net/v2/
network.compute.bhs3.cloud.ovh.net/
volume.compute.bhs3.cloud.ovh.net/v1/
volume.compute.bhs3.cloud.ovh.net/v2/
image.compute.bhs3.cloud.ovh.net/

Другие области будут оставаться доступными через API, а также с помощью панели управления OVH.

Мы проводим эту операцию, чтобы подготовиться к будущему. С этим обновлением OpenStack версии, мы можем продолжать совершенствовать наши решения Public Cloud, предлагая новые возможности в течение ближайших нескольких месяцев.

API вызовы, которые вы используете, не изменится, и эта новая версия имеет обратную совместимость со старым.