Компания SyncWeb.ru сообщает о доступной регистрации в доменной зоне .jobs, которая представляет собой домен верхнего уровня и, в первую очередь, предназначен для сайтов, которые занимаются трудоустройством, предлагают работу и т.д… Основной задачей зоны является облегчение поиска работы для соискателей и специалистов для Компаний.

Примеры для регистрации доменных зон — IBM.JOBS, MICROSOFT.JOBS

Два года назад Cloudflare развернула наш парк серверов 12-го поколения на базе процессоров AMD EPYC Genoa-X с их огромным 3D V-кэшем. Эта архитектура с большим объемом кэша идеально подходила для нашего уровня обработки запросов, на тот момент FL1. Но при оценке оборудования следующего поколения мы столкнулись с дилеммой — процессоры, обеспечивающие наибольший прирост пропускной способности, сопровождались значительным уменьшением объема кэша. Наш устаревший программный стек не был оптимизирован для этого, и потенциальные преимущества в пропускной способности ограничивались растущей задержкой.

В этом блоге описывается, как переход на FL2 — переписанный на Rust основной слой обработки запросов Cloudflare — позволил нам продемонстрировать весь потенциал Gen 13 и добиться повышения производительности, которое было бы невозможно на нашей предыдущей платформе. FL2 устраняет зависимость от большего кэша, позволяя масштабировать производительность в зависимости от количества ядер, сохраняя при этом наши соглашения об уровне обслуживания (SLA). Сегодня мы с гордостью объявляем о запуске Cloudflare Gen 13 на базе серверов AMD EPYC™ 5-го поколения Turin, работающих под управлением FL2, эффективно захватывая и масштабируя производительность на периферии сети.

Что предлагает AMD EPYCTurin?
Процессоры AMD EPYC 5-го поколения на базе архитектуры Turin обеспечивают не только увеличение количества ядер. Архитектура улучшает работу серверов Cloudflare по многим параметрам.Увеличено в 2 раза количество ядер: до 192 ядер против 96 ядер у 12-го поколения, при этом технология SMT обеспечивает 384 потока.Улучшенная производительность на такт: архитектурные улучшения Zen 5 обеспечивают более высокую частоту инструкций за цикл по сравнению с Zen 4.Повышенная энергоэффективность: несмотря на большее количество ядер, Turin потребляет до 32% меньше ватт на ядро ​​по сравнению с Genoa-X.Поддержка DDR5-6400: более высокая пропускная способность памяти для обеспечения работы всех этих ядер.
Однако процессоры Turin с высокой плотностью OPN намеренно идут на компромисс: приоритет отдается пропускной способности, а не кэшу на ядро. Наш анализ всей линейки Turin выявил этот сдвиг. Например, сравнение процессоров Turin с самой высокой плотностью OPN с нашими процессорами Gen 12 Genoa-X показывает, что 192 ядра Turin используют 384 МБ кэша L3. Это оставляет каждому ядру доступ всего к 2 МБ, что составляет одну шестую часть от объема кэша Gen 12. Для любой рабочей нагрузки, которая в значительной степени зависит от локальности кэша, как в нашем случае, это сокращение представляло серьезную проблему.



Диагностика проблемы с помощью счетчиков производительности.
Для нашего слоя обработки запросов FL1, основанного на NGINX и LuaJIT, это сокращение кэша представляло собой серьезную проблему. Но мы не просто предположили, что это будет проблемой; мы провели измерения.
В ходе оценки производительности процессоров 13-го поколения мы собрали данные счетчиков производительности и профилирования процессора, чтобы точно определить, что происходит «под капотом», используя инструмент AMD uProf. Полученные данные показали:
По сравнению с серверами 12-го поколения, оснащенными 3D V-кэш-процессорами, частота промахов в кэше L3 значительно возросла.Задержка при выборке данных из памяти определяла основное время обработки запроса, поскольку данные, которые ранее хранились в L3, теперь требовали обращения к DRAM.Увеличение задержки возрастало по мере роста загрузки ЦП и ухудшения конкуренции за кэш.
Попадание в кэш L3 завершается примерно за 50 циклов; промахи в кэше L3, требующие доступа к DRAM, занимают более 350 циклов, что на порядок больше. При в 6 раз меньшем объеме кэша на ядро, FL1 на процессорах 13-го поколения обращался к памяти гораздо чаще, что приводило к задержкам.

Компромисс: задержка против пропускной способности
Наши первоначальные тесты, проведенные на FL1 на процессорах 13-го поколения, подтвердили то, что уже указывали счетчики производительности. Хотя процессор Turin мог обеспечить более высокую пропускную способность, это сопровождалось значительными задержками.


Оценочный сервер Gen 13 с процессором AMD Turin 9965, показавший 60% прирост пропускной способности, оказался впечатляющим, а повышение производительности обеспечило наибольшее улучшение общей стоимости владения (TCO) для Cloudflare.

Однако увеличение задержки более чем на 50% неприемлемо. Рост задержки обработки запросов напрямую повлияет на качество обслуживания клиентов. Мы столкнулись со знакомым вопросом об инфраструктуре: принять ли решение без выгоды с точки зрения совокупной стоимости владения, смириться с увеличением задержки или найти способ повысить эффективность без увеличения задержки?

Постепенное повышение производительности за счет оптимизации параметров.
Чтобы найти путь к оптимальному результату, мы сотрудничали с AMD для анализа данных Turin 9965 и проведения целенаправленных экспериментов по оптимизации. Мы систематически тестировали множество конфигураций:
Настройка оборудования: корректировка аппаратных средств предварительной выборки и фильтров зондирования Data Fabric (DF), показавшая лишь незначительные улучшения.Увеличение количества рабочих: запуск большего количества рабочих уровня FL1, что повысило производительность, но привело к перераспределению ресурсов из других производственных служб.Привязка и изоляция ЦП: Настройка конфигураций изоляции рабочих нагрузок для поиска оптимального сочетания, с ограниченным успехом.
Конфигурация, которая в конечном итоге принесла наибольшую пользу, оказалась конфигурацией с поддержкой технологии AMD Platform Quality of Service (PQOS). Расширения PQOS позволяют осуществлять тонкую регулировку совместно используемых ресурсов, таких как кэш и пропускная способность памяти. Поскольку процессоры Turin состоят из одного кристалла ввода-вывода и до 12 кристаллов ядерных комплексов (CCD), каждый из которых использует кэш L3 на 16 ядрах, мы протестировали эту технологию. Вот как показали себя различные экспериментальные конфигурации.

Сначала мы использовали PQOS для выделения выделенной доли кэша L3 в рамках одного CCD для FL1, и прирост был минимальным. Однако, когда мы масштабировали концепцию до уровня сокета, выделив весь CCD исключительно для FL1, мы увидели значительный прирост пропускной способности при сохранении приемлемой задержки.



Возможность: работа над FL2 уже велась.
Настройка оборудования и конфигурация ресурсов обеспечили умеренный прирост производительности, но для того, чтобы по-настоящему раскрыть потенциал производительности архитектуры 13-го поколения, мы понимали, что нам придется переписать наш программный стек, чтобы коренным образом изменить способ использования системных ресурсов.

К счастью, нам не приходилось начинать с нуля. Как мы объявили во время Недели Дня рождения 2025 года, мы уже перестраивали FL1 с нуля. FL2 — это полная переработка нашего слоя обработки запросов на Rust, построенная на основе наших фреймворков Pingora и Oxy, заменяющая 15 лет кода NGINX и LuaJIT.

Проект FL2 не был инициирован для решения проблемы кэша 13-го поколения — он был обусловлен необходимостью повышения безопасности (безопасность памяти в Rust), ускорения темпов разработки (строгая модульная система) и повышения общей производительности (меньше ресурсов ЦП, меньше памяти, модульное выполнение).

Более чистая архитектура FL2, с улучшенными шаблонами доступа к памяти и меньшим количеством динамического выделения памяти, возможно, не будет зависеть от огромных кэшей L3 так, как это было в FL1. Это дало нам возможность использовать переход на FL2, чтобы доказать, можно ли реализовать прирост пропускной способности Gen 13 без увеличения задержки.

Проверка: FL2 на Gen 13
По мере развертывания FL2, показатели производительности наших серверов 13-го поколения подтвердили наши предположения.


Повышение эффективности работы нашей новой системы FL2 оказалось существенным еще до каких-либо оптимизаций. FL2 сократила задержку на 70%, что позволило нам повысить загрузку ЦП на процессорах 13-го поколения, строго соблюдая наши соглашения об уровне обслуживания (SLA) по задержке. В случае с FL1 это было бы невозможно.

Благодаря эффективному устранению узкого места в кэше, FL2 позволяет масштабировать пропускную способность линейно в зависимости от количества ядер. Влияние неоспоримо на высокопроизводительные процессоры AMD Turin 9965: мы добились двукратного прироста производительности, раскрыв истинный потенциал оборудования. Дальнейшая настройка системы позволит нам добиться еще большей мощности от нашего парка процессоров 13-го поколения.

Улучшение характеристик с появлением 13-го поколения.
Благодаря тому, что FL2 раскрыл огромный потенциал высокопроизводительных процессоров AMD Turin 9965 с большим количеством ядер, мы официально выбрали эти процессоры для развертывания в рамках 13-го поколения. Аппаратная квалификация завершена, и серверы 13-го поколения уже поставляются в больших объемах для поддержки нашего глобального развертывания.

Улучшения производительности


Влияние Gen 13 на бизнес
Увеличенная вдвое пропускная способность по сравнению с Gen 12 для бескомпромиссного качества обслуживания клиентов: удваивая пропускную способность при сохранении соответствия нашим соглашениям об уровне обслуживания (SLA) по задержке, мы гарантируем, что наши приложения останутся быстрыми и отзывчивыми, а также смогут выдерживать огромные пики трафика.

Повышение производительности на 50% на ватт по сравнению с 12-м поколением для устойчивого масштабирования: это повышение энергоэффективности не только снижает затраты на расширение центров обработки данных, но и позволяет нам обрабатывать растущий трафик со значительно меньшим углеродным следом на каждый запрос.

На 60% более высокая пропускная способность стоек по сравнению с Gen 12 для глобальных обновлений на периферии сети: Благодаря достижению такой плотности пропускной способности при сохранении постоянного энергопотребления стойки, мы можем беспрепятственно развертывать вычислительные мощности нового поколения в любой точке мира в рамках нашей глобальной сети на периферии сети, обеспечивая высочайшую производительность именно там, где это необходимо нашим клиентам.

Gen 13 + FL2: готовы к пределу возможностей
Наш устаревший уровень обработки запросов FL1 столкнулся с проблемой конкуренции за кэш на Gen 13, что вынудило нас пойти на неприемлемый компромисс между пропускной способностью и задержкой. Вместо того чтобы идти на компромисс, мы создали FL2.

Разработанная с использованием значительно более оптимизированной схемы доступа к памяти, технология FL2 устраняет зависимость от огромных кэшей L3 и обеспечивает линейное масштабирование в зависимости от количества ядер. Работая на платформе AMD Turin 13-го поколения, FL2 обеспечивает вдвое большую пропускную способность и 50% повышение энергоэффективности, при этом сохраняя задержку в пределах наших соглашений об уровне обслуживания (SLA). Этот прорыв является отличным напоминанием о важности совместной разработки аппаратного и программного обеспечения. Серверы 13-го поколения, не ограниченные лимитами кэша, теперь готовы к развертыванию для обработки миллионов запросов в глобальной сети Cloudflare.

Если вас интересует работа над инфраструктурными проектами глобального масштаба, мы нанимаем сотрудников www.cloudflare.com/careers/jobs

Несколько месяцев назад Cloudflare объявила о переходе на FL2, нашу переработанную на Rust версию основного уровня обработки запросов Cloudflare. Этот переход ускоряет нашу способность помогать создавать лучший Интернет для всех. Благодаря миграции в программном стеке, Cloudflare обновила конструкцию серверного оборудования, улучшив его возможности и повысив эффективность для удовлетворения меняющихся потребностей нашей сети и программного обеспечения. Серверы 13-го поколения оснащены 192-ядерным процессором AMD EPYC Turin 9965, 768 ГБ оперативной памяти DDR5-6400, 24 ТБ хранилища PCIe 5.0 NVMe и двумя сетевыми картами с портами 100 Гбит/с.

13-е поколение предлагает:
До 2 раз более высокая пропускная способность по сравнению с Gen 12 при сохранении уровня задержки в пределах SLA.Повышение производительности на ватт до 50%, что снижает затраты на расширение центров обработки данных.Увеличение пропускной способности на стойку до 60% при сохранении постоянного энергопотребления стойки.Вдвое больший объем памяти, в 1,5 раза больший объем хранилища, в 4 раза большая пропускная способность сети.В дополнение к шифрованию памяти, добавлена ​​поддержка аппаратного шифрования PCIe.Улучшена поддержка мощных, требующих интенсивного теплоотвода ускорителей PCIe, устанавливаемых без доработок.
В этой статье в блоге подробно рассматривается инженерное обоснование выбора каждого из основных компонентов: что мы оценивали, что выбрали и почему.





Процессор


На этапе проектирования мы протестировали несколько процессоров AMD EPYC™ 5-го поколения, получивших кодовое название Turin, в аппаратной лаборатории Cloudflare: AMD Turin 9755, AMD Turin 9845 и AMD Turin 9965. В таблице ниже приведены различия в характеристиках кандидатов для серверов 13-го поколения по сравнению с AMD Genoa-X 9684X, используемым в наших серверах 12-го поколения. Следует отметить, что все три кандидата предлагают увеличение количества ядер, но с меньшим объемом кэша L3 на ядро. Однако, благодаря переходу на FL2, новые рабочие нагрузки менее зависимы от кэша L3 и хорошо масштабируются с увеличением количества ядер, обеспечивая увеличение пропускной способности до 100%.

Три представленных процессора предназначены для разных сценариев использования: AMD Turin 9755 предлагает превосходную производительность на ядро, AMD Turin 9965 жертвует производительностью на ядро ​​ради энергоэффективности, а AMD Turin 9845 жертвует количеством ядер ради меньшего энергопотребления сокета. Мы протестировали три процессора в производственной среде.



Почему именно AMD Turin 9965?
Во-первых, FL2 положила конец проблеме нехватки кэша L3.

Кэш L3 — это большой кэш последнего уровня, разделяемый всеми ядрами ЦП на одном вычислительном кристалле для хранения часто используемых данных. Он заполняет пробел между медленной основной памятью, находящейся вне ЦП, и быстрым, но меньшим по размеру кэшем L1 и L2 на ЦП, уменьшая задержку доступа ЦП к данным.

Некоторые могут заметить, что у 9965 всего 2 МБ кэша L3 на ядро, что на 83,3% меньше, чем 12 МБ на ядро ​​у Genoa-X 9684X 12-го поколения. Зачем отказываться от того самого преимущества в кэше, которое дало Gen 12 его превосходство? Ответ кроется в том, как эволюционировали наши рабочие нагрузки.

Cloudflare перешла с FL1 на FL2, полностью переписав свой слой обработки запросов на Rust. Благодаря новому программному стеку конвейер обработки запросов Cloudflare стал значительно менее зависимым от большого кэша L3. Нагрузки FL2 масштабируются почти линейно с количеством ядер, а 192 ядра 9965 обеспечивают двукратное увеличение количества аппаратных потоков по сравнению с Gen 12.

Во-вторых, производительность на единицу общей стоимости владения (TCO). В ходе производственной оценки 192 ядра 9965 показали наибольшее суммарное количество запросов в секунду среди трех кандидатов, а его производительность на ватт благоприятно масштабировалась при TDP 500 Вт, обеспечивая превосходную общую стоимость владения на уровне стойки.



Во-третьих, простота в эксплуатации. Наши оперативные группы отдают предпочтение меньшему количеству серверов с высокой плотностью размещения. Управление парком машин с 192 ядрами означает меньшее количество узлов, которые необходимо выделять, обновлять и контролировать на единицу предоставленных вычислительных ресурсов. Это напрямую снижает операционные издержки в нашей глобальной сети.

Наконец, они обладают обратной совместимостью. Архитектура процессоров AMD поддерживает память DDR5-6400, PCIe Gen 5.0 и CXL 2.0 Type 3 во всех моделях. AMD Turin 9965 имеет наибольшее количество высокопроизводительных ядер на сокет в отрасли, что максимизирует вычислительную плотность на сокет, поддерживая конкурентоспособность и актуальность платформы на долгие годы. Переход с AMD Genoa-X 9684X на AMD Turin 9965 обеспечивает более длительную поддержку безопасности от AMD, продлевая срок службы серверов Gen 13 до того, как они устареют и потребуют обновления.

Память

Поскольку процессор AMD Turin имеет вдвое больше ядер, чем предыдущее поколение, ему требуется больше памяти, как по объему, так и по пропускной способности, для обеспечения увеличения производительности.

Максимальная пропускная способность при использовании 12 каналов.
Выбранный процессор AMD EPYC 9965 поддерживает двенадцать каналов памяти, и для 13-го поколения мы устанавливаем модули во все из них. Мы выбрали 64 ГБ памяти DDR5-6400 ECC RDIMM в конфигурации «один модуль на канал» (1DPC).

Эта конфигурация обеспечивает пиковую пропускную способность памяти 614 ГБ/с на сокет, что на 33,3% больше по сравнению с нашей серверной платформой 12-го поколения. Используя все 12 каналов, мы гарантируем, что процессор никогда не будет испытывать «нехватку» данных, даже при самых ресурсоемких параллельных нагрузках.

Использование сбалансированной конфигурации всех двенадцати каналов памяти — одинаковая емкость на канал, без смешанных конфигураций — является распространенной передовой практикой. Это важно с точки зрения эксплуатации: процессоры AMD Turin используют чередование памяти по всем каналам памяти с одинаковым типом DIMM, одинаковой емкостью памяти и одинаковой конфигурацией ранга. Чередование увеличивает пропускную способность памяти за счет распределения непрерывного доступа к памяти по всем каналам памяти в наборе чередующихся каналов, вместо того чтобы направлять весь доступ к памяти на один или небольшое подмножество каналов памяти.

Оптимальный объем памяти — 4 ГБ на ядро.
Наши серверы 12-го поколения имеют конфигурацию с 4 ГБ оперативной памяти на ядро. Мы пересмотрели это решение при проектировании серверов 13-го поколения.
Cloudflare ежемесячно запускает множество новых продуктов и услуг, и каждый новый продукт или услуга требует всё большего объёма памяти. Со временем это приводит к накоплению объёма памяти, что может стать проблемой нехватки памяти, если объём памяти не будет рассчитан должным образом.
Первоначально предполагалось соотношение памяти к ядру от 4 до 6 ГБ на ядро. При наличии 192 ядер на AMD Turin 9965 это соответствует диапазону от 768 ГБ до 1152 ГБ. Следует отметить, что при больших объемах шаг изменения емкости модуля DIMM обычно составляет 16 ГБ. При 12 каналах в конфигурации 1DPC доступны варианты 12x 48 ГБ (576 ГБ), 12x 64 ГБ (768 ГБ) или 12x 96 ГБ (1152 ГБ).
12 x 48 ГБ = 576 ГБ, или 1,5 ГБ на поток. Объем памяти в этой конфигурации слишком мал; это приведет к нехватке памяти для ресурсоемких задач и нарушению нижнего предела.12 x 96 ГБ = 1152 ГБ, или 3,0 ГБ/поток. Это означает увеличение емкости на ядро ​​на 50%, а также приведет к увеличению энергопотребления и существенному росту стоимости, особенно в нынешних рыночных условиях, когда цены на память в 10 раз выше, чем год назад.12 x 64 ГБ = 768 ГБ, или 2,0 ГБ/поток (4 ГБ/ядро). Эта конфигурация соответствует нашему соотношению памяти к ядрам в Gen 12 и представляет собой двукратное увеличение объема памяти на сервер. Сохранение объема памяти на уровне 4 ГБ на ядро ​​обеспечивает достаточную емкость для рабочих нагрузок, масштабируемых с увеличением количества ядер, таких как наша основная рабочая нагрузка, FL, и обеспечивает достаточный запас памяти для будущего роста без избыточного выделения ресурсов.
FL2 использует память более эффективно, чем FL1: наши внутренние измерения показывают, что FL2 использует менее половины ресурсов процессора, чем FL1, и значительно меньше половины памяти. Высвобожденные ресурсы, полученные в результате миграции программного стека, обеспечивают достаточный запас для поддержки роста Cloudflare в течение следующих нескольких лет.

Решение: 12 модулей по 64 ГБ, что в сумме составляет 768 ГБ. Это сохраняет проверенное соотношение 4 ГБ/ядро, обеспечивает двукратное увеличение общей емкости по сравнению с 12-м поколением и остается в оптимальном ценовом диапазоне модулей DIMM.

Повышение эффективности за счет двойного ранга
В Gen 12 мы продемонстрировали, что двухранговые модули DIMM обеспечивают заметно более высокую пропускную способность памяти, чем одноранговые модули, с преимуществами до 17,8% при соотношении чтения и записи 1:1. Двухранговые модули DIMM быстрее, потому что они позволяют контроллеру памяти обращаться к одному рангу, пока другой обновляется. Этот же принцип применим и здесь.

Наши требования также предусматривают пропускную способность памяти примерно в 1 ГБ/с на каждый аппаратный поток. При пиковой пропускной способности в 614 ГБ/с на 384 потоках мы обеспечиваем 1,6 ГБ/с на поток, что значительно превышает минимальный показатель. Анализ производственных условий показал, что рабочие нагрузки Cloudflare не ограничены пропускной способностью памяти, поэтому мы сохраняем этот запас как резерв для будущего роста нагрузки.

Выбрав модули памяти DDR5 RDIMM 2Rx4 с максимальной поддерживаемой частотой 6400 МТ/с, мы обеспечиваем минимальную задержку и наилучшую производительность в конфигурации памяти нашей платформы Gen 13.

Хранилище


В 12-м поколении наша архитектура хранения данных претерпела трансформацию, когда мы перешли от M.2 к EDSFF E1.S. В 13-м поколении мы увеличиваем емкость хранения и пропускную способность, чтобы соответствовать новейшим технологиям. Мы также добавили фронтальный отсек для накопителей, что обеспечивает гибкость и позволяет устанавливать до 10 накопителей U.2, чтобы идти в ногу с ростом продаж продуктов хранения Cloudflare.

Переход на PCIe 5.0
В Gen 13 используются накопители NVMe PCIe Gen 5.0. Хотя Gen 4.0 хорошо себя зарекомендовал, переход на Gen 5.0 гарантирует, что наша подсистема хранения данных сможет передавать данные с меньшей задержкой и справляться с возросшими требованиями к пропускной способности хранилища, предъявляемыми новым процессором.

от 16 ТБ до 24 ТБ
Помимо увеличения скорости, мы физически расширяем массив с двух до трех NVMe-накопителей. Наша серверная платформа 12-го поколения была разработана с четырьмя слотами для накопителей E1.S, но только два из них были заняты 8-терабайтными дисками. Серверная платформа 13-го поколения использует ту же конструкцию с четырьмя доступными слотами для накопителей E1.S, но три из них заняты 8-терабайтными дисками. Зачем добавлять третий диск? Это увеличивает емкость хранилища на сервер с 16 ТБ до 24 ТБ, обеспечивая расширение нашей общей емкости хранилища для поддержания и улучшения производительности кэша CDN. Это также поддерживает прогнозируемый рост для Durable Objects, Containers и сервисов Quicksilver.

Передний отсек для дисков для установки дополнительных накопителей.
Для Gen 13 шасси спроектировано с передним отсеком для накопителей, который может поддерживать до десяти накопителей U.2 PCIe Gen 5.0 NVMe. Передний отсек для накопителей позволяет Cloudflare использовать одно и то же шасси на вычислительных и хранилищных платформах, а также обеспечивает гибкость при необходимости преобразования вычислительной версии в версию для хранения данных.

Выносливость и надежность
Мы проектируем наши серверы с расчетом на 5-летний срок службы и требуем от накопителей ресурс в 1 операцию записи в день (DWPD) на протяжении всего срока службы сервера.

Как Samsung PM9D3a, так и Micron 7600 Pro соответствуют спецификации 1 DWPD с аппаратным резервированием (OP) приблизительно на 7%. Если в будущем потребуется более высокая ресурсоемкость, у нас есть возможность зарезервировать дополнительную пользовательскую мощность для увеличения эффективного OP.

Соответствие стандартам NVMe 2.0 и OCP NVMe 2.0
Как Samsung PM9D3a, так и Micron 7600 используют спецификацию NVMe 2.0 (вместо NVMe 1.4) и спецификацию OCP NVMe Cloud SSD Specification 2.0. Ключевые улучшения включают в себя зонированные пространства имен (ZNS) для более эффективного управления усилением записи, команду Simple Copy Command для перемещения данных внутри устройства без пересечения шины PCIe, а также улучшенную блокировку команд и функций для более жесткого контроля безопасности. Спецификация OCP 2.0 также добавляет расширенные возможности телеметрии и отладки, специально разработанные для работы в центрах обработки данных, что соответствует нашему акценту на управляемость всего парка устройств.

Тепловой КПД
Накопители по-прежнему будут выполнены в форм-факторе E1.S толщиной 15 мм. Большая площадь поверхности корпуса необходима для охлаждения новых контроллеров Gen 5.0, которые могут потреблять до 25 Вт при длительной интенсивной работе. Корпус высотой 2U обеспечивает достаточный воздушный поток над накопителями E1.S, а также отсеками для накопителей U.2, — преимущество, подтвержденное нами в Gen 12, когда мы приняли решение перейти от форм-фактора 1U к 2U.

Сеть


Более восьми лет два порта 25 Гбит/с Ethernet составляли основу нашего парка оборудования. С 2018 года они хорошо нам служили, но по мере совершенствования процессоров для обработки большего количества запросов и масштабируемости нашей продукции мы официально достигли предела своих возможностей. Для 13-го поколения мы вчетверо увеличиваем пропускную способность каждого порта.

Почему именно 100 Гбит/с Ethernet и почему именно сейчас?
Пропускная способность сетевых интерфейсных карт (NIC) должна соответствовать росту вычислительной производительности. При наличии 192 современных ядер наши каналы 25 Гбит/с Ethernet станут ощутимым узким местом. Данные, полученные в ходе недельной эксплуатации наших центров обработки данных по всему миру, показали, что на наших серверах 12-го поколения пропускная способность P95 на порт стабильно превышает 50% от доступной пропускной способности. Поскольку пропускная способность на каждом сервере 13-го поколения удваивается, мы рискуем перегрузить пропускную способность сетевых интерфейсных карт.



Решение перейти на 100 GbE вместо 50 GbE было продиктовано экономическими соображениями отрасли: объемы производства трансиверов 50 GbE остаются низкими, что делает их невыгодным вариантом для цепочки поставок. Два порта 100 GbE также обеспечивают суммарную пропускную способность 200 Гбит/с на сервер, что гарантирует готовность к росту трафика в ближайшие несколько лет.

Выбор оборудования и совместимость
Мы сохраняем нашу стратегию работы с двумя поставщиками, чтобы обеспечить устойчивость цепочки поставок — урок, который мы с трудом усвоили во время пандемии, когда закупка сетевых карт Gen 11 у одного поставщика привела к тому, что мы оказались в затруднительном положении.

Обе сетевые карты соответствуют форм-фактору OCP 3.0 SFF/TSFF со встроенной защелкой, что обеспечивает унифицированность шасси с Gen 12 и гарантирует, что полевым специалистам не потребуются новые инструменты или обучение для замены.

Распределение PCIe
Слот OCP 3.0 NIC на материнской плате имеет выделенные линии PCIe 4.0 x16, обеспечивающие двунаправленную пропускную способность 256 Гбит/с, чего более чем достаточно для двух интерфейсов 100 Гбит/с (суммарная скорость 200 Гбит/с) с запасом.

Управление


Мы сохраняем архитектурный сдвиг, введенный в Gen 12, заключающийся в разделении компонентов управления и безопасности от материнской платы на модуль Project Argus Data Center Secure Control Module 2.0.


Непрерывность работы с DC-SCM 2.0
Мы продолжаем развивать стандарт Data Center Secure Control Module 2.0 (DC-SCM 2.0). Разделяя функции управления и безопасности от материнской платы, мы гарантируем, что «мозг» системы безопасности сервера останется модульным и защищенным.

В модуле DC-SCM размещены наши наиболее важные компоненты:
Базовая система ввода-вывода (BIOS)Контроллер управления материнской платой (BMC)Аппаратный корень доверия (HRoT) и TPM (Infineon SLB 9672)Два флэш-чипа BMC/BIOS для резервирования
Почему мы продолжаем работу над DC-SCM 2.0
Решение сохранить эту архитектуру для 13-го поколения обусловлено доказанным повышением уровня безопасности, которое мы наблюдали в предыдущем поколении. Перенеся эти функции в отдельный модуль, мы сохраняем:
Быстрое восстановление: Двойное резервирование образов позволяет практически мгновенно восстановить прошивку BIOS/UEFI и BMC в случае обнаружения случайного повреждения или вредоносного обновления.Физическая прочность: В шасси 13-го поколения механизм обнаружения вторжений также смещен дальше от плоского края шасси, что затрудняет физический перехват.Шифрование PCIe: В дополнение к технологии TSME (Transparent Secure Memory Encryption) для шифрования данных между процессором и памятью, которая была включена еще в наших платформах 10-го поколения, процессор AMD Turin 9965 для 13-го поколения расширяет шифрование на трафик PCIe, что гарантирует защиту данных при передаче по каждой шине в системе.Операционная согласованность: Использование стека управления Gen 12 означает, что наши процедуры аудита безопасности, развертывания, предоставления ресурсов и операционных стандартов остаются полностью совместимыми.
Power


По мере модернизации вычислительных и сетевых возможностей серверов, их энергопотребление, естественно, также увеличилось. Серверы 13-го поколения оснащены более мощными блоками питания для обеспечения необходимой мощности.

Переход к мощности 1300 Вт
В то время как наши узлы 12-го поколения комфортно работали с резервным источником питания 800 Вт 80 PLUS Titanium CRPS (Common Redundant Power Supply), спецификация 13-го поколения требует более мощного источника питания. Мы выбрали резервный источник питания 80 PLUS Titanium CRPS мощностью 1300 Вт.

Потребляемая мощность процессоров Gen 13 в типичном режиме работы выросла до 850 Вт, что на 250 Вт больше, чем 600 Вт у Gen 12. Основными факторами являются процессор с TDP 500 Вт (вместо 400 Вт), удвоение объема памяти и дополнительный NVMe-накопитель.

Почему 1300 Вт вместо 1000 Вт? В существующей экосистеме блоков питания отсутствуют жизнеспособные высокоэффективные варианты мощностью 1000 Вт. Для обеспечения надежности цепочки поставок мы перешли к следующему отраслевому стандарту — 1300 Вт.

Регламент ЕС Lot 9 требует, чтобы серверы, развертываемые в Европейском Союзе, имели блоки питания с КПД при нагрузке 10%, 20%, 50% и 100%, равным или превышающим пороговое значение, указанное в регламенте. Это пороговое значение соответствует требованиям программы сертификации блоков питания 80 PLUS, предусматривающим использование блоков питания титанового класса. Для Gen 13 мы выбрали блоки питания титанового класса, чтобы обеспечить полное соответствие требованиям EU Lot 9 и гарантировать возможность развертывания серверов в наших европейских центрах обработки данных и за их пределами.

Тепловая конструкция: 2U снова приносит свои плоды.
Принятый нами в 12-м поколении форм-фактор 2U1N продолжает приносить свои плоды. В 13-м поколении используются 5 80-мм вентиляторов (против 4 в 12-м поколении) для компенсации возросшей тепловой нагрузки от процессора мощностью 500 Вт. Больший объем вентиляторов в сочетании с характеристиками воздушного потока в 2U-корпусе означает, что вентиляторы работают значительно ниже максимального рабочего цикла при типичных температурах окружающей среды, поддерживая энергопотребление вентиляторов в диапазоне < 50 Вт на вентилятор.

Поддержка ускорителя без дополнительных настроек


Сохранение модульности нашего парка серверов является ключевым требованием к их проектированию. Это требование позволило Cloudflare быстро модернизировать и развернуть графические процессоры по всему миру более чем в 100 городах в 2024 году. В 13-м поколении мы продолжаем поддерживать высокопроизводительные дополнительные карты PCIe.

В 13-м поколении обновлена ​​компоновка корпуса в форм-факторе 2U, адаптированная для поддержки более высоких требований к питанию и теплоотводу. Если в 12-м поколении использовалась только одна двухслотовая видеокарта, то архитектура 13-го поколения теперь поддерживает две двухслотовые карты PCIe.

Стартовая площадка для масштабирования Cloudflare и выведения его на новый уровень.
Каждое поколение серверов Cloudflare — это попытка сбалансировать противоречащие друг другу ограничения: производительность против энергопотребления, емкость против стоимости, гибкость против простоты. Серверы 13-го поколения имеют вдвое больше ядер, вдвое больший объем памяти, вчетверо большую пропускную способность сети, в 1,5 раза больший объем хранилища и обеспечивают перспективность для развертывания в ускоренном режиме — и все это при одновременном снижении общей стоимости владения и сохранении надежного набора функций управления и уровня безопасности, которые требуются нашему глобальному парку серверов.

Серверы 13-го поколения полностью сертифицированы и будут развернуты для обработки миллионов запросов в глобальной сети Cloudflare в более чем 330 городах. Как всегда, стремление Cloudflare к максимально эффективному предоставлению услуг в Интернете на этом не заканчивается. По мере начала развертывания 13-го поколения мы планируем архитектуру для 14-го поколения.

Если вас вдохновляет возможность внести свой вклад в создание лучшего интернета, присоединяйтесь к нам. Мы набираем сотрудников www.cloudflare.com/careers/jobs/

Примите участие в важнейших операционных процессах компании Aurologic и поддерживайте прямую связь с нашими клиентами.

Инженер по эксплуатации (м/ж/д)
В районе Ланген
На постоянной основе
63225 Ланген, Германия

В качестве инженера по эксплуатации (м/ж/д) в компании Aurologic вы будете играть ключевую роль в администрировании и оптимизации нашей обширной серверной инфраструктуры. Вы будете отвечать за наш сложный стек приложений и серверные системы в различных центрах обработки данных. Наша инфраструктура использует Debian Linux с Ceph, Kubernetes, Puppet, Ansible и Prometheus. У нас также есть развитая система собственных приложений, разработанных на C/Go, некоторые из которых интегрированы с XDP для защиты от DDoS-атак. Нашими клиентами являются преимущественно средние по размеру хостинг-провайдеры и поставщики сетевых услуг. Хотя предварительное знание этих технологий не является строгим требованием, мы ценим адаптивность и готовность учиться для приобретения ценных навыков.

Мы ищем мотивированного инженера по эксплуатации (м/ж/д) с инициативным подходом, ориентированного на продвижение интересов наших клиентов и выполнение миссии компании Aurologic. Эта должность предполагает регулярные дежурства по вызову, поэтому важно иметь возможность оперативно выезжать в район Франкфурта-на-Майне в эти периоды. Дежурства по вызову, разумеется, будут оплачиваться. Мы ценим долгосрочные, стабильные трудовые отношения в свободной атмосфере, где вы можете вносить свои собственные идеи.

Инженер по эксплуатации – непиковые часы (пн/ср/д)
В районе Ланген
Гибкий
63225 Ланген, Германия

В качестве инженера по эксплуатации в нерабочее время (м/ж/д) в компании aurologic вы будете играть ключевую роль в администрировании и оптимизации нашей обширной серверной инфраструктуры, особенно вне обычного рабочего времени. Вы будете отвечать за наш сложный стек приложений и серверные системы в различных центрах обработки данных. Наша инфраструктура использует Debian Linux с Ceph, Kubernetes, Puppet, Ansible и Prometheus. У нас также есть развитая система собственных приложений, разработанных на C/Go, некоторые из которых интегрированы с XDP для защиты от DDoS-атак. Нашими клиентами являются в основном средние хостинг-провайдеры и поставщики сетевых услуг. Хотя предварительные знания этих технологий не являются обязательными, мы ценим адаптивность и готовность учиться и приобретать ценные навыки.

Мы ищем мотивированного инженера по эксплуатации (м/ж/д) с инициативным подходом, ориентированного на продвижение интересов наших клиентов и выполнение миссии компании Aurologic. Для нас важны долгосрочные, стабильные трудовые отношения в свободной рабочей среде, где вы сможете вносить свои собственные идеи. Эта должность предполагает обработку запросов клиентов вне обычного рабочего времени, включая выходные дни, и основана на 40-часовой рабочей неделе.

Инженер-разработчик программного обеспечения
В районе Ланген
Гибкий
63225 Ланген, Германия

Активно участвуйте в формировании инженерно-ориентированной концепции aurologic. Ваши идеи будут способствовать развитию нашего программного стека и создавать реальную добавленную стоимость для международных клиентов, управляющих своей инфраструктурой. aurologic позиционирует себя как поставщик услуг для поставщиков услуг. Мы сосредоточены на разработке высокопроизводительных платформ собственными силами: контейнеризированных микросервисов на Kubernetes и приложений с ускорением XDP, которые обеспечивают как аналитику в реальном времени, так и эффективную защиту от DDoS-атак. Кроме того, как оператор общедоступной телекоммуникационной сети (KRITIS), мы эксплуатируем собственную инфраструктуру в соответствии с правилами Федерального сетевого агентства Германии (BNetzA) и Федерального управления информационной безопасности Германии (BSI), а также предлагаем размещение серверов и колокацию в нескольких центрах обработки данных. В основе нашей деятельности лежит разработка и эксплуатация собственных приложений на языках C и Go, с Apache Kafka и gRPC в качестве бэкэнда. Еще одним ключевым элементом является наша высокоавтоматизированная инфраструктура — от серверных до сетевых операций — на основе Ansible и Puppet, встроенная в сложную, масштабируемую среду.

Мы ищем мотивированного инженера-разработчика программного обеспечения (м/ж/д) с полным стековым мышлением и ориентацией на продвижение интересов наших клиентов и миссии компании Aurologic. Для нас важны долгосрочные, стабильные трудовые отношения в свободной рабочей среде, где вы сможете вносить свои собственные идеи.

Инженер технической поддержки
В районе Ланген
Гибкий
63225 Ланген, Германия

В качестве инженера технической поддержки вы обладаете необходимыми техническими знаниями, чтобы обеспечить нашим клиентам стабильно надежную и масштабируемую среду для работы их инфраструктуры. Вы оказываете поддержку как нашим клиентам, так и коллегам в повседневной работе и обеспечиваете структурированную, прозрачную и профессиональную обработку входящих запросов на поддержку. Для этой должности крайне важны глубокие технические знания систем Linux и работы сетей. Компания aurologic управляет общедоступными телекоммуникационными сетями и обслуживает растущее число критически важных клиентов, что требует высокой степени ответственности и надежности.

Мы ищем мотивированного инженера технической поддержки (м/ж/д) с внимательным отношением к клиентам и ориентацией на продвижение интересов наших клиентов и выполнение миссии компании Aurologic. Для нас важны долгосрочные, стабильные трудовые отношения в свободной атмосфере, где вы сможете вносить свои собственные идеи.

Наш современный офис расположен по адресу: Ланген, 63225, недалеко от станции метро Langen-Flugsicherung. В нем установлены регулируемые по высоте столы, эргономичные кресла и несколько плоских мониторов на каждом рабочем месте. В качестве сотрудника вы получите современный ноутбук Lenovo ThinkPad, iPhone (с возможностью личного использования), бесплатные напитки (вы можете выбрать сами), гибкий график работы и привлекательную заработную плату с 30 днями отпуска. Работа из дома для нас не в новинку; мы хорошо подготовлены к мобильной работе. Мы также с удовольствием предоставим дополнительные льготы, такие как абонемент в спортзал или домашний интернет. Пожалуйста, не стесняйтесь спрашивать нас об этих вариантах.

Пожалуйста, отправьте ваше резюме и заявку на адрес jobs@aurologic.com
Мы будем рады познакомиться с вами!

Свежие вакансии
Ниже список актуальных вакансий по разным направлениям. Можете оставить заявку и стать частью перспективной компании. Мы предлагаем достойную оплату, понятные задачи и дружный коллектив.

Руководитель медиа-отдела
Нужен руководитель, который возьмет на себя всю рекламную часть компании: от поиска новых площадок и предложений до контроля запусков и результатов. В зоне ответственности — аналитика эффективности, оптимизация бюджетов и постоянный поиск идей/каналов, которые реально двигают бренд и продажи. Нужен человек, который мыслит цифрами, умеет договариваться и системно масштабирует продвижение.

Сотрудник службы поддержки
Ищем внимательного и терпеливого специалиста, который будет заботиться о клиентах. Нужно быстро и грамотно отвечать на вопросы, помогать решать задачи и сопровождать на каждом шагу. Важно уметь спокойно общаться даже в сложных ситуациях и четко взаимодействовать с коллегами в компании, чтобы запросы закрывались без лишних кругов. Если вы уважаете людей, любите порядок в обращениях и умеете держать сервис на высоком уровне — будем рады познакомиться.

Технический (сетевой) администратор
Ищем сильного сетевика, который держит инфраструктуру в порядке: маршрутизация и связность, туннели (GRE), защита от атак и стабильная работа сервисов 24/7. В стеке — Arista, Cisco, FastNetMon, Zabbix и другие. Важен мониторинг, быстрая диагностика и аккуратная настройка без «костылей» и хаоса.

Обязательно: готовность работать в любых аварийных ситуациях (инциденты, сбои, внеплановые работы) и знание английского языка на уровне B2, достаточном для общения с зарубежными партнерами и техническими специалистами в ЦОДах.
Интересно? Отправьте свое резюме на jobs@spacecore.pro
Будем рады работать вместе и развивать компанию.

hestiacp.com/install.html
hestiacp.com/docs/introduction/getting-started.html

[1.9.0] — Feature / Major release
Примечания
Для повышения безопасности мы решили разрешить пользователям переименовывать администратора по умолчанию. И использовать нового пользователя «hestia-web», чтобы он стал пользователем по умолчанию для запуска Hestia.
Функции
Добавить поддержку релиза Ubuntu 24.04 Noble (#4411 #4451)
Добавить поддержку Jailed SSH (#4052 #4245) @rjd222
Внедрить CLI для приложений быстрой установки (#4443)
Добавить поддержку импорта Directadmin / Cpanel (#4177 #4415 #4426 #4252 #4241)
Добавить поддержку инкрементальных резервных копий через Restic
Добавить поддержку триггеров в v-add-mail-domain / v-add-delete-mail-domain #4416 (см. Документацию)
Добавить приложение быстрой установки Joomla (#4433)
Добавить поддержку ограничения ЦП и ОЗУ для каждого пользователя с помощью cgroup (#4372 #4325)
Добавить веб-терминал (#3859)
Улучшить макет боковой панели учетной записи электронной почты (#4154)
Ошибка исправления
Разрешить перевод filegator (#4382 #4275)
Исправление ошибки, вызванной новым выпуском robthree/twofactorauth (#4410)
Создание папки .wp-cli при создании нового пользователя (#4403)
Исправление проблемы маршрутизации SMTP Relay (#4389)
Исправление разрешений Roundcube (#4387)
Исправление v-add-dns-record при добавлении записей TLSA (#4376)
Исправление обработки Snappymail (#4349)
Добавлено создание dovecot.log и настройка разрешений на шаг установки dovecot (#4352)
Исправление в валидаторе Localpart Mail, чтобы он мог принимать псевдонимы, начинающиеся и заканчивающиеся на (#4351)
Apache2: включить mod_headers по умолчанию. (#4350)
Обновить MediaWiki до версии 1.41.1 (#4344)
Добавить поддержку сжатия через GZ или ZSTD (#4300 #4322)
Упростить стили счетчика (#4319)
Анимировать удаление уведомлений (#4316)
Обновить v-run-cli-cmd (#4310)
Показывать порт сервера базы данных в уведомлении по электронной почте (#4301)
Исправлена ​​проблема с разрешениями, связанная с проблемой #4248 (#4268)
Удалить код PHP и исправить предупреждение установщика (#4279)
Запретить * расширяться в команде (#4085)
Удалить v-generate-debug-report (#4266)
Исправить отсутствующие резервные копии файлов dot
vsftpd use_localtime Нет #4261
Исправить сломанную установку mysql v8 в Debian (#4259)
Использовать стандартный формат y/N в установщике для указания значения по умолчанию (#4251)
Исправление неработающего HTML на страницах входа/сброса (#4247)
Проверка имен пользователей, начинающихся с буквенного символа. (#4195 #4181)
Исправление форматирования каталога пользователя (#4098)
Добавление mjs в качестве файла для статического обслуживания (#4240)
Отображение системного времени на страницах cron (#4236)
Исправление установщика Dokuwiki для проблемы #3889 (#4229)
Исправленный путь к сертификатам ssl (#4202)
Добавление значения к тексту типа ввода (#4193)
Правильное получение сеансового cookie для веб-терминала (#3969)
Зависимости
Обновите hestia-nginx до 1.27.0
Обновите hestia-php до 8.3.9
Обновите Roundcube, Filegator, Snappy mail до последней версии

Читать дальше →

Судя по тому, что это июньский дайджест, 30% лета уже пройдено. И пройдено не зря — за нашими плечами множество выполненных задач, написанных статей и запланированных проектов.



Остался один нерешённый вопрос: успеют ли эти плечи загореть до конца лета. Но об этом мы расскажем вам в конце августа.

Статьи и инструкции


10 лучших конструкторов сайтов в 2024 году
Для создания сайта с нуля нужно много времени и ресурсов — найти специалистов, продумать структуру, выбрать стиль, разместить сайт на домене и подключить сервисы оплаты. Если нужна простая страница для рекламы или акции, лучше использовать современные конструкторы сайтов, где можно быстро и легко создать сайт без навыков веб-дизайна и разработки.
В статье расскажем о лучших, по нашему мнению, конструкторах сайтов — опишем их плюсы, минусы, особенности и стоимость.
firstvds.ru/blog/top-luchshikh-konstruktorov-saytov

В конце месяца истекла поддержка ОС Centos 7
Официальная оболочка от компании 1С-Битрикс — «1С-Битрикс: Веб-окружение» (BitrixEnv) и «1С-Битрикс: Битрикс24» (BitrixCRM) при этом доступна только для Centos 7. На сегодняшний день анонсов о выпуске оболочки для других операционных систем не публиковалось.
Поэтому мы добавили свой рецепт — Bitrix Setup. С его помощью вы сможете установить всё необходимое ПО для работы сайтов на CMS Битрикс. Рецепт доступен на Debian 11 и 12 версий.
Больше полезных статей и инструкций вы можете найти в нашей Базе знаний.
firstvds.ru/technology

Habr: самое интересное за июнь
Несмотря на сезон отпусков, наши авторы продолжают радовать вас новыми материалами на Хабре. Лучшие, как всегда, попадают в дайджест.
Колонизация Марса: 10 проблем, с которыми столкнется человечество
Самый дешёвый радиоконструктор с Али
Wolfenstein 3D: Начало эры шутеров от первого лица

Стань автором FirstVDS
Ищем технических писателей для блога на Хабре
Откликнуться firstvds.ru/blog/ischem-avtorov-dlya-bloga-firstvds-na-habr-i-vc

Новости мая
Кешбэк 10% на платежи с рекомендованной суммой
До 11 июля на платежи с рекомендованными суммами и выше будет начисляться кешбэк 10%. Пополнить баланс можно любым доступным способом, количество платежей в течение акции не ограничено.
firstvds.ru/actions/kanikuly-s-keshbekom
Кешбэк зачислится на баланс аккаунта сразу же после поступления основных средств.

DNS-хостинг: изменение условий предоставления
25 июня изменились условия размещения доменов на наших серверах имён. Теперь бесплатно можно разместить до 10 доменов, а каждый следующий домен будет стоить 2 рубля в месяц.
Максимальный лимит на одном сервере — 1000 доменов. У пользователей с большим количеством доменов лимит был автоматически увеличен.
firstvds.ru/services/dns-hosting

Новости из мира IT
Как говорят, предупреждён — значит, вооружён. Поэтому счастье неведения оставим для кого-то другого. А для тех, кто согласен с поговоркой, собрали топ новостей об уязвимостях июня. На десерт — приятная новость об OpenSSH, так что советуем дочитать до конца.

Уязвимость в PHP позволяет выполнить код при работе в режиме CGI
В PHP найдена уязвимость (CVE-2024-4577), которая позволяет выполнить собственный код на сервере или просмотреть исходный код PHP-скрипта в режиме CGI на Windows (mod_php, php-fpm и FastCGI не затрагивает). Сама уязвимость связана с проблемой CVE-2012-1823, которая была исправлена в 2012 году. Правда, добавленной защиты от атак на Windows оказалось в этот раз недостаточно. Атака основана на подмене аргумента командной строки при запуске PHP-интерпретатора через запрос к скрипту. Старая уязвимость позволяла указывать опции командной строки вместо параметров запроса, новая использует автоматическое преобразование символов в Windows, что позволяет обойти защиту и использовать запросы с символами, заменяемыми на "-", для атаки.
Проблема в конфигурации проявляется по умолчанию в XAMPP и других Apache-конфигурациях с php-cgi в качестве обработчика CGI-скриптов. В обновлениях PHP 8.3.8, 8.2.20 и 8.1.29 устранены уязвимости CVE-2024-5458, CVE-2024-5585 и CVE-2024-1874.
www.opennet.ru/opennews/art.shtml?num=61332

Уязвимость в UEFI-прошивках Phoenix затрагивает устройства с CPU Intel
В UEFI-прошивках Phoenix SecureCore на устройствах с процессорами Intel обнаружена уязвимость (CVE-2024-0762), позволяющая выполнить код на уровне прошивки и установить бэкдор, обходящий защиту ОС. Уязвимость вызвана некорректным использованием переменной TCG2_CONFIGURATION в конфигурации TPM, что приводит к переполнению буфера и выполнению кода на уровне SMM. Проблема проявляется в прошивках Phoenix SecureCore на устройствах с процессорами Intel, включая семейства AlderLake, CoffeeLake, CometLake, и другие. Уязвимость устранена в последних обновлениях прошивок от Technologies и Lenovo.
www.opennet.ru/opennews/art.shtml?num=61432

Уязвимость в GitLab позволяет запустить pipeline-работы под другим пользователем
Опубликованы обновления GitLab 17.1.1, 17.0.3, 16.11.5, и другие, устраняющие 14 уязвимостей, включая CVE-2024-5655. Эта уязвимость, начиная с версии 15.8, позволяет запускать pipeline jobs от имени другого пользователя, что может привести к доступу к внутренним репозиториям и закрытым проектам. Информацию об уязвимости обещают раскрыть через 30 дней после публикации исправления. Также в обновлениях устранены три уязвимости с высоким уровнем опасности: XSS-атаки, CSRF и утечка данных через использование поиска в открытых проектах.
www.opennet.ru/opennews/art.shtml?num=61445

OpenSSH получила встроенную защиту от автоматизированных атак по подбору паролей
В файл конфигурации sshd_config добавлен параметр PerSourcePenalties для блокировки IP-адресов с множеством неудачных попыток соединения. Новый механизм защиты будет включен по умолчанию в OpenBSD 7.6. Процесс sshd теперь отслеживает статус завершения дочерних процессов для обнаружения подбора паролей и эксплуатации уязвимостей. Параметр PerSourcePenalties задает минимальный порог аномальных событий для блокировки IP-адресов, а PerSourceNetBlockSize позволяет блокировать целые подсети. Для исключения блокировки определенных подсетей предлагается параметр PerSourcePenaltyExemptList.
www.opennet.ru/opennews/art.shtml?num=61331

Что нового в Scaleway?
Привет! В преддверии сенсационного лета мы в Scaleway продолжаем усердно работать над тем, чтобы представить вам самые последние и лучшие облачные инновации. Новое в этом месяце: выберите инстансы в нашей новой зоне доступности в Амстердаме; Виртуальное частное облако для более надежной инфраструктуры, чем когда-либо; новая управляемая база данных со встроенными выделенными ресурсами; и многое другое кроме этого! Включая совершенно новый раздел, ориентированный на клиента, в этом месяце с участием Sentium Consulting; и уникальные идеи об экологически чистых ИТ, открытом исходном коде и истории происхождения Elastic Metal, рассказанные впервые!

Обновления продукта
Экземпляры теперь доступны в нашем новом AMS-3 AZ.
Мы открыли новую зону доступности (AZ) в Амстердаме! AMS-3 в Нидерландах теперь открыт, предлагая улучшенную доступность и близость к вашим операциям в скандинавских странах. Scaleway по-прежнему стремится предоставлять суверенную и избыточную облачную среду. Испытайте непревзойденную производительность, надежность и суверенность данных благодаря развертывание ваших экземпляров в AMS-3.

VPC теперь общедоступен для защиты всей вашей инфраструктуры!
Виртуальное частное облако поможет вам распределить ресурсы по зонам доступности в одной изолированной сети. Идеальный способ максимально повысить надежность инфраструктуры без ущерба для безопасности. Ваша архитектура станет более надежной за счет распределения ресурсов по зонам доступности в каждом регионе (PAR-AMS-WAW) и обмена данными в одной и той же частной сети. Настройте свой VPC прямо сейчас и защитите свою инфраструктуру Scaleway!
Теперь доступны управляемые базы данных с выделенными ресурсами!

Откройте для себя нашу новую управляемую базу данных DB-POP2 для PostgreSQL и MySQL с включенными выделенными ресурсами (виртуальный ЦП и ОЗУ). Этот новый модельный ряд готов поддерживать самые интенсивные рабочие нагрузки баз данных и обеспечивать душевное спокойствие изо дня в день.

Kubernetes Kapsule и Kosmos теперь изначально интегрированы с Cockpit!
Отслеживайте показатели и журналы уровня управления с помощью Cockpit, чтобы обнаруживать инциденты Kubernetes и диагностировать сбои, пока не стало слишком поздно. Воспользуйтесь новой информацией об использовании плоскости управления и рабочих узлов, от ЦП до памяти, чтобы оптимизировать распределение ресурсов. Прочтите нашу справочную документацию Cockpit, чтобы узнать, какие другие продукты Scaleway теперь интегрированы в Cockpit.

Новая бета-версия
Хранилище данных теперь в Discovery!
Хранилище данных обеспечивает бесшовную аналитику больших наборов данных, поддерживая SQL, Apache Spark, ​​хранилище S3 и многое другое, а также автоматизирует масштабирование и администрирование для не отвлекающей разработки приложений. В августе мы выпустим первый прототип в раннем доступе для пользователей, подписавшихся на бета-версию.

Присоединяйтесь к обнаружению бессерверных заданий
Serverless Jobs — это полностью управляемое решение для планирования, планирования, постановки в очередь и запуска рабочих нагрузок пакетной обработки, не беспокоясь о выделении ресурсов и масштабировании.

Клиентоориентированность
Масштабируемость Scaleway помогает клиентам Sentium Consulting достичь новых высот
«Стремление Scaleway к надежности и масштабируемости действительно помогло нашим клиентам добиться выдающихся успехов», — говорит Генри Смит, генеральный директор Sentium Consulting, которая предоставляет передовые решения в области искусственного интеллекта и анализа данных для таких секторов, как здравоохранение, недвижимость, фармацевтика, финансы. и гостеприимство www.scaleway.com/en/customer-testimonials

Новые ресурсы
Как инженеры могут сделать ИТ более устойчивым? Часть 3. Тематические исследования экологически чистых ИТ
Зеленые ИТ могут снизить потребление энергии до 30%… но это еще не все! Это также может вдвое сократить требования к серверу и сэкономить огромное количество CO2 и воды.
www.scaleway.com/en/blog/how-can-engineers-make-it-more-sustainable-part-3

Скейлеры выходят на открытый исходный код: «Вы не знаете, сколько вы приносите на стол».
Вот как Лейла Марабезе, один из младших инженеров DevOps Scaleway, стала участвовать в разработке открытого исходного кода. В этом видеоинтервью она делится трудностями, досадными неудачами и, конечно же, успехами.
www.scaleway.com/en/blog/open-source-leila-marabese

Нерассказанная история Elastic Metal
Как выделенные серверы, устаревший продукт Scaleway, переместились в общедоступное облако, чтобы стать Elastic Metal, нашим уникальным предложением для «голого железа»?
www.scaleway.com/en/blog/elastic-metal-story

Шифрование в состоянии покоя для экземпляров
В этом сообщении блога мы расскажем вам о процессе реализации шифрования в состоянии покоя для разделов на сервере и о том, как легко интегрировать его в среду приложения. www.scaleway.com/en/blog/encryption-at-rest-for-instances

Помогите нам создать шлюз API, который вы хотите видеть в облаке
Мы выпускаем прототип будущего продукта API Gateway, и нам нужна ваша помощь! Присоединяйтесь к нашей фазе раннего доступа, пока мы разрабатываем этот захватывающий новый продукт под открытым небом. www.scaleway.com/en/blog/api-gateway-early-access/
И, как всегда, вы можете присоединиться к нашему сообществу Slack, чтобы пообщаться с нашим сообществом инженеров. Увидимся там!
До следующего месяца,
Команда Скейлвей

Вычисления
Файловые системы Access Amazon EFS на инстансах EC2 Mac поддерживают macOS Big Sur Инстансы Amazon EC2 Mac теперь поддерживают macOS Big SurПредставляем инстансы Amazon EC2 T4g на базе процессоров AWS Graviton2 в регионах Азия и Тихий океан (Гонконг) и Европа (Стокгольм)Представляем инстансы Amazon EC2 T4g на базе процессоров AWS Graviton2 и программу бесплатного пробного доступа для T4g в регионе Азия и Тихий океан (Сеул) Amazon EC2 Auto Scaling теперь отображает историю масштабирования удаленных группХранилище данных
Упрощенная консоль управления Amazon Elastic File System теперь доступна в регионах AWS GovCloud (US)
Базы данных
Обновления Amazon Aurora PostgreSQL Patches 1.8.1/2.6.2/3.3.2 теперь доступны Сервис Amazon CloudWatch Contributor Insights для Amazon DynamoDB теперь поддерживает AWS CloudFormation Поддержка PostgreSQL 13 в Amazon RDS Amazon RDS для SQL Server теперь поддерживает группы доступности Always On для Standard Edition Amazon RDS для Oracle теперь поддерживает обновления выпусков (RU) Amazon RDS публикует новые события для развертываний в нескольких зонах доступностиAmazon Redshift Query Editor теперь поддерживает кластеры с расширенной маршрутизацией VPC, увеличенным временем выполнения очередей и всеми типами узловAWS Database Migration Service теперь поддерживает MongoDB версии 10.5Новый цифровой курс обучения: создание современных приложений со специализированными базами данныхМиграция
Сервис AWS Transfer Family теперь доступен в регионах Ближний Восток (Бахрейн), Азия и Тихий океан (Гонконг) и Африка (Кейптаун)
Сеть и доставка контента
Сервис AWS Network Firewall Deployment Automations для AWS Transit Gateway стал коммерчески доступнымНовая реализация решений AWS: статические IP-адреса для Интернета вещей
Инструменты для разработчиков
AWS CodeBuild поддерживает рабочие нагрузки на базе Arm с использованием AWS Graviton2 Назначение делегированного администратора для управления AWS CloudFormation StackSets в AWS Organization Amazon CloudWatch Synthetics поддерживает канареечные события в Amazon EventBridgeИнструменты управления
Поддержка шифрования KMS в корзинах S3, используемых AWS ConfigAWS Control Tower теперь поддерживает выбор региона
Мультимедийные сервисы
Представляем два новых цифровых курса по требованию, посвященных мультимедийным сервисам
Машинное обучение
Создание предварительно подписанных URL-адресов Amazon SageMaker Studio с настраиваемым сроком действияАвтоматизация проверки качества с помощью Amazon Lookout for Vision – теперь коммерчески доступно
Аналитика
Amazon ElasticSearch Service теперь поддерживает сводки, снижая расходы на длительное хранение Amazon Elasticsearch Service теперь поддерживает функцию Reporting в KibanaВ Amazon Elasticsearch Service добавлена новая функция Trace Analytics для распределенной трассировкиЗадания AWS Glue Studio теперь могут обновлять таблицы AWS Glue Data CatalogВзаимодействие с клиентами
Amazon Connect теперь предоставляет причину отключения голосовых вызовов и задач
Интернет вещей
Новая функция устранения неполадок стала общедоступной для AWS IoT Events
Партнерская сеть AWS (APN)
Представляем новые курсы по решениям для партнеров: курсы по продажам Обновленные цифровые курсы по вычислительным возможностям для конечных пользователей и машинному обучению для партнеров AWS

Вычисления
Инстансы M6g, C6g и R6g на основе AWS Graviton2 теперь доступны в регионе ЕС (Стокгольм), инстансы M6gd, C6gd и R6gd теперь доступны в регионах Запад США (Северная Калифорния) и Азия и Тихий океан (Токио)Инстансы Amazon EC2M5zn с высокочастотными процессорами и поддержкой сетевого подключения 100 Гбит/с теперь доступны в регионах Азия и Тихий океан (Сингапур) и Азия и Тихий океан (Сидней)Amazon EKS теперь поддерживает Kubernetes 1.19Кластеры Amazon EKS теперь поддерживают аутентификацию пользователей с помощью поставщиков идентификации, совместимых с OIDC В AWS Fargate сервисные квоты на число ресурсов по умолчанию увеличены до 1000Хранилище данных
В Amazon S3 on Outposts добавлен уровень хранилища меньшего размера Упрощенная консоль управления Amazon Elastic File System теперь доступна в регионах AWS GovCloud (US)Базы данных
Amazon Aurora Global Database поддерживает управляемую запланированную обработку отказаAmazon DynamoDB Accelerator (DAX) теперь поддерживает универсальные типы инстансов Amazon EC2 T3 нового поколения с резервной производительностью Amazon Keyspaces (для Apache Cassandra) теперь поддерживает требования PCI DSS, чтобы вы могли проще обрабатывать платежные рабочие нагрузки Amazon RDS for MySQL и MariaDB поддерживает фильтрацию репликации Amazon Redshift Query Editor теперь поддерживает кластеры с расширенной маршрутизацией VPC, увеличенным временем выполнения очередей и всеми типами узловМиграция
AWS Glue DataBrew теперь позволяет настраивать размер набора данных при автоматической генерации статистики качества данных
Сеть и доставка контента
В AWS Direct Connect представлены выделенные подключения со скоростью 100 Гбит/с в избранных расположенияхИнструменты для разработчиков
AWS CloudFormation StackSets теперь доступен в регионе Япония (Осака)Инструменты управления
AWS Config теперь поддерживает сохранение расширенных запросов в регионах AWS GovCloud (US) AWS Identity и Access Management теперь поддерживают теги для дополнительных ресурсовМультимедийные сервисы
AWS Elemental MediaLive теперь поддерживает перенос региона для AWS PrivateLink AWS Elemental MediaLive расширяет возможности автоматического ввода отработки отказа AWS Elemental Link теперь доступен в регионе Европа (Париж)Безопасность, идентификация и соответствие требованиям
Представляем адреса VPC Amazon для AWS CloudHSMВ AWS WAF добавлена поддержка синтаксического анализа и проверки JSONМашинное обучение
Инстансы Amazon ml.Inf1 теперь доступны в Amazon SageMaker в 14 дополнительных регионах AWS Возможность запуска Amazon SageMaker Studio в AWS CloudFormationAWS Glue DataBrew поддерживает преобразование семи дополнительных типов данных
Аналитика
В Amazon Elasticsearch Service добавлена новая функция Trace Analytics для распределенной трассировкиЗадания AWS Glue Studio теперь могут обновлять таблицы AWS Glue Data Catalog AWS Glue Studio теперь поддерживает чтение некаталогизированных данных из Amazon S3 и вывод их схемы
Мобильные сервисы
Amazon Pinpoint теперь поддерживает 10DLC и бесплатные номера Объявление о коммерческом выпуске Amplify Flutter с поддержкой новых данных и аутентификации Интеграция приложений
Amazon SNS теперь поддерживает отправку SMS-сообщений в США с использованием 10-разрядных кодов и бесплатных номеров
Взаимодействие с клиентами
В Amazon Simple Email Service представлена обновленная сервисная консоль
Эффективность бизнеса
Обновление контента входящих и исходящих сообщений электронной почты с использованием AWS Lambda в Amazon WorkMail

Вычисления
Инстансы Amazon EC2 P4d теперь доступны в регионе Европа (Ирландия) Инстансы Amazon EC2 X1 и X1e теперь доступны в дополнительных регионах AWSAmazon ECS теперь поддерживает политики VPC Endpoint AWS Wavelength теперь соответствует требованиям PCI DSS Amazon CloudWatch Container Insights теперь доступен в AWS Graviton2Хранилище данных
Представляем три новых цифровых курса по Amazon S3Базы данных
В сервис Amazon DocumentDB (совместимом с MongoDB) добавлены шесть операторов агрегации и улучшенные возможности индексации Amazon RDS for PostgreSQL поддерживает расширение pg_cron для планирования заданий баз данных Представляем обновление архитектуры приложений с поддержкой множества регионов Amplify DataStore теперь поддерживает сортировку и выборочную синхронизацию данных приложений
Сеть и доставка контента
Новая статья в Amazon Builders’ Library: безопасные повторные попытки с помощью идемпотентных API Новый цифровой курс: настройка и развертывание VPC с несколькими подсетямиИнструменты для разработчиков
AWS SDK for Go версии 2 стал общедоступным Графический пользовательский интерфейс Porting Assistant для .NET теперь предоставляется с открытым исходным кодомИнструменты управления
В Amazon CloudWatch Application Insights добавлена поддержка мониторинга баз данных Oracle Представляем федеративные кластеры Amazon EKS в AWS
Безопасность, идентификация и соответствие требованиям
Amazon Cognito Identity Pools позволяет применять атрибуты пользователей поставщиков идентификации для контроля доступа и упрощения управления разрешениями в AWS Частный центр сертификации AWS Certificate Manager теперь поддерживает дополнительную настройку сертификатаМашинное обучение
Amazon Rekognition Custom Labels теперь доступен в таких Азиатско-Тихоокеанских регионах AWS, как Сингапур, Сидней, Сеул и ТокиоАналитика
В Amazon MSK добавлена поддержка Apache Kafka версии 2.6.1Мобильные сервисы
Представляем новые возможности сегментации для Amazon PinpointОбучение и ресурсы, сертификация
В edX и Coursera доступен новый курс по проектированию озер данных для самостоятельного изучения Новый цифровой курс и лабораторное занятие: AWS Cloud Development Kit (CDK) Primer Доступны новые публичные наборы данных в AWS от Illumina, Аляскинского университета в Фэрбенксе, IntelinAir и других

Вычисления
AWS Compute Optimizer дополняет рекомендации по выбору типа инстанса EC2 метриками Amazon EBS » Fluent Bit поддерживает Amazon S3 в качестве цели при маршрутизации журналов контейнеров » Amazon EKS теперь поддерживает Kubernetes 1.18 » AWS Lambda Extensions: новый способ интеграции Lambda с операционными инструментами (ознакомительная версия) » Представляем Amazon CloudWatch Lambda Insights (ознакомительная версия) »База данных
Сервис Database Activity Streams для Amazon Aurora доступен еще в четырех регионах » Сервис Amazon ElastiCache теперь поддерживает инстансы M6g и R6g на основе процессоров Graviton2 » Сервис Amazon ElastiCache в Outposts уже доступен » Удобное восстановление базы данных Amazon RDS for MySQL из резервной копии MySQL 8.0 » Объявляем о новых цифровых курсах обучения: переход на управляемые базы данных в AWS »Сеть и доставка контента
AWS Cloud Map упрощает обнаружение сервисов с использованием необязательных параметров »Инструменты для разработчиков
Сервис AWS CodeArtifact теперь поддерживает AWS CloudFormation » Новое предложение AWS Solutions Consulting: Infosys Data Testing Workbench »Инструменты управления
CloudWatch Application Insights теперь предлагает усовершенствованный пользовательский интерфейс » Интеграция Amazon EMR с AWS Lake Formation стала общедоступной »Мультимедийные сервисы
В AWS Elemental MediaLive Statmux добавлена поддержка MPEG2 и других возможностей »Безопасность, идентификация и соответствие требованиям
В Amazon Inspector расширена поддержка операционных систем: теперь сервис поддерживает Red Hat Enterprise Linux (RHEL) 8, Ubuntu 20.04 LTS, Debian 10 и Windows Server 2019 »Машинное обучение
Сервис Amazon SageMaker Studio теперь доступен в регионе AWS Европа (Франкфурт) » Сервис Amazon Connect поддерживает боты Amazon Lex на испанском языке (США) » Объявление о выходе усовершенствований для сервиса Amazon Personalize, которые уменьшают время обучения моделей до 40 %, а задержку при составлении рекомендаций — до 30 % » В сервис Amazon Rekognition добавлена поддержка шести новых категорий модерации контента » Сервис Amazon Rekognition Custom Labels теперь помогает клиентам исправлять ошибки, связанные с набором данных, обеспечивая ускоренное создание пользовательского API логических выводов высокого качества » В сервисе Amazon Transcribe доступна поддержка пакетных API через AWS PrivateLink »Аналитика
Сервис Amazon EMR теперь поддерживает размещение главных узлов EMR в раздельных стойках с целью снижения риска одновременного сбоя » Amazon Kinesis Data Analytics теперь поддерживает принудительную остановку и новый статус Autoscaling» Сервис AWS Glue поддерживает чтение из самоуправляемого брокера сообщений Apache Kafka » ETL-задания в сервисе AWS Glue Streaming поддерживают обнаружение и развитие схем » Сервис AWS Lake Formation теперь поддерживает обмен базами данных между разными аккаунтами »Интеграция приложений
Сервис Amazon EventBridge теперь поддерживает очереди необработанных сообщений»Взаимодействие с клиентами
В чате Amazon Connect теперь доступны возможности автоматизации и персонализации с помощью подсказок »Интернет вещей
Сервис AWS IoT SiteWise теперь доступен в регионах AWS Азия и Тихий океан (Сингапур) и Азия и Тихий океан (Сидней) »Управление затратами на AWS
Сервис AWS Cost Categories теперь поддерживает иерархии и отслеживание состояния »Обучение и ресурсы, сертификация
Доступны новые публичные наборы данных AWS от Массачусетского технологического института, First Street Foundation, Ookla и других организаций »

Domains weekly: спор за «украинский TikTok», отчёт за второй квартал от VeriSign и топовые сделки7 шагов для создания блога WordPress с личным доменом4 полезных сервиса REG.RU для владельцев сайтов и не толькоDomains weekly: новая «крипта» Facebook, 52 регистратора в .RU, рост национальных зон и «коронавирусные» доменыЧто такое SEO-продвижение сайта в поисковых системах?Domains weekly: самый дорогой домен 2020 года, конфискация террористических доменов и спор за 1919.COM.PRO .IT: подборка фильмов о жизни айтишниковDomains weekly: продолжение коронавирусного бума, день рождения .SU и попытка захвата SPASE.COMОсновы SEO-продвижения сайта: Базовая оптимизация сайтаDomains weekly: продажа WILLYOUSHUTUPMAN.COM и кража ‎Go-доменовНайти нишу для онлайн-бизнеса за 6 шаговDomains weekly: свобода зоны .JOBS, вторая волна «коронадоменов» и суд за POCKETBOOK.COMЗачем использовать видео для бизнеса?Спасайте данные пока не поздно: бэкап пользовательских файловDomains weekly: пять новых зон XYZ, успех .FOX и Digital Twins от .ARTIT-словарь: о чём говорят айтишникиDomains weekly: самый дорогой домен в зоне .TRAVEL, вакцина, теория заговора и отчёт от GoDaddyЧто такое SEO-аудит (анализ сайта) и как его проводить?Domains weekly: делегирование зоны .SPA, невезучий домен и продажа .BOXСтрашно интересно: Хэллоуин-домены

Инновации на всех уровнях — ключевая часть идентичности OVHcloud. Наша сила заключается в том, чтобы постоянно ставить перед собой задачу лучше отвечать на вызовы наших клиентов. Новые функции, которые ждут их в Premium Bare Metal Cloud, являются результатом нашего стремления к изменениям и внимательного отношения к потребностям наших клиентов. Но чтобы бросить вызов этому рынку, нам нужно было разработать прочную стратегию, включающую радикальные внутренние преобразования.



Начало революции
OVHcloud предлагает широкий портфель облачных продуктов и решений для четырех вселенных (веб-облако, Bare Metal Cloud, публичное облако и размещенное частное облако). Облако, которое мы предоставляем, всегда проектируется и разрабатывается с учетом потребностей наших клиентов, и мы всегда стараемся понять их бизнес, чтобы иметь лучшее представление об их проблемах.



Мы начали наши обсуждения рынка Premium Bare Metal Cloud еще в 2016 году. В то время мы получили отзывы от нескольких клиентов относительно нашего ценового позиционирования на этот конкретный диапазон мощных серверов, которые соответствуют очень высоким требованиям к хранению. Наши изделия из чистого металла были слишком дорогими по сравнению с тем, за что они были готовы платить. Затем мы работали, в частности, с двумя клиентами. Поскольку они были готовы разделить с нами свои расходы, мы смогли спроецировать их экономическую модель на нашу бизнес-модель. Эти два клиента размещали свои собственные услуги через колокацию, без круглосуточной поддержки местной команды, и у них была небольшая интернет-сеть. Они инвестировали в свои собственные серверы, рассчитав свои цены за 5-летний период. Проведя этот анализ, мы поняли, что можем предложить им эти мощные серверы по более низкой, гораздо более конкурентоспособной цене. Но для решения этой задачи нам потребуется проделать серьезную работу, которая, вероятно, займет несколько лет.

Новая бизнес-модель
Наш первый проект включал полную реструктуризацию математической основы нашей бизнес-модели, которую мы использовали для расчета наших цен. Мы начали это в 2017 году, и это заняло три года.


В первый год мы реорганизовали компанию и создали Подразделения. Каждое из Подразделений — это своего рода малый бизнес в OVHcloud. Он способствует нашему коллективному успеху, управляя обязанностями, соответствующими его опыту, и вносит свой вклад в наш стратегический план. Его возглавляет руководитель подразделения, и у него есть план действий.

На второй год мы создали отчеты о прибылях и убытках для каждого подразделения, чтобы они могли моделировать проекты в своей дорожной карте с помощью реальных затрат по сравнению с ожидаемыми выгодами. Чтобы предоставить им эту аналитическую основу, нам пришлось реструктурировать наши финансы. Это включало разделение общих прибылей и убытков компании на несколько микро прибылей и убытков. Это означало, что мы могли распределить затраты по нужным единицам и создать внутренний рабочий процесс выставления счетов. Затем мы смогли рассчитать доход каждой единицы, сверяя доход, полученный от выставления счетов клиентам, с доходом, полученным от внутреннего возвратного платежа для других единиц, при интеграции связанных затрат (команды, лицензии и т. Д.). После этого каждое подразделение выпустило маржу.

На третий год мы связали все эти показатели с финансовой отчетностью и сделали их KPI доступными для подразделений в режиме реального времени. Целью развертывания этих финансовых панелей мониторинга было лучшее управление эффективностью компании, но, что более важно, расширение возможностей команд. Согласовав инструменты финансового мониторинга с новой организацией, подразделения смогли составить более надежные прогнозы, лучше прогнозировать риски и лучше прогнозировать свои инвестиции и расходы на заработную плату. Для компании это был также способ обеспечить, чтобы каждый проект создавал ценность для OVHcloud, а также продолжал обеспечивать, чтобы наше развитие оставалось прибыльным, сбалансированным и устойчивым для нашей конкурентоспособности и независимости. С точки зрения потребителя, такая культура сознательного отношения к ценам в основном приведет к еще большему снижению цен.

В цифровом мире экономика также полагается на два сдвига: сокращение постоянных затрат (за счет увеличения объема продаж) и сокращение переменных затрат (за счет автоматизации задач с помощью программного обеспечения, роботизированных систем и искусственного интеллекта). Массовые вложения в автоматизацию — серьезная проблема для такого поставщика облачных услуг, как мы. Благодаря огромным инвестициям мы повысили качество (меньше ошибок, упростили процедуры, ускорили предоставление услуг) и смогли выполнять больше операций в день без увеличения размера Подразделений. Это означало, что Подразделениям больше не приходилось выполнять повторяющиеся задачи, и вместо этого они могли сосредоточиться на добавленной стоимости, которую они должны были принести нашим клиентам. Мы делаем это, следуя принципам BFLNT, которые я описал в предыдущем сообщении блога.

Наконец, это сочетание операционной и финансовой эффективности, а также уровня автоматизации в подразделениях помогает нам разрабатывать все более рентабельные решения и обеспечивать нашим клиентам еще большее соотношение цены и качества.

CAPEX — это ценность
Чтобы поддержать свои амбиции, компании, которые несут высокие капитальные затраты, тратя большие суммы на инвестиции в недвижимость или оборудование, никогда не получают высокой оценки на финансовом рынке. Чтобы обезопасить эти крупные инвестиции, они часто используют сложные — даже непрозрачные — финансовые схемы, которые воспринимаются как слишком большой риск.

Для OVHcloud эти большие суммы являются основой нашей действенной модели — инвестирования в строительство и улучшение наших центров обработки данных, обновление производственного оборудования и приобретение новых производственных помещений. Наша бизнес-модель полностью демистифицирует эти масштабные инвестиции, поскольку она изначально обеспечивает возврат инвестиций. Наша способность инвестировать за счет повышения прибыльности позволила нам привлечь капитал в 2016 году (279 миллионов долларов от KKR и TowerBrook) и даже привлечь долг в конце 2019 года (976 миллионов долларов). CAPEX — это наш основной вектор создания стоимости. Мы должны постоянно инвестировать в будущие инновации и инфраструктуру, чтобы обеспечить нашу устойчивость и конкурентоспособность.

Благодаря всей работе, проделанной за последние три года, мы также смогли внести огромные изменения в нашу бизнес-модель. С помощью сложного анализа, который мы получили, теперь мы можем рассчитать цену сервера на основе нескольких переменных, таких как время выполнения обязательств, объем заказа, тип сервера и инвестиционные затраты на инфраструктуру и сам бизнес. Эта новая финансовая модель внутри компании называется «Джекпот», так как любое сокращение наших капитальных или операционных расходов (операционных расходов), безусловно, снизит цену для наших клиентов. И в случае, если мы не предоставляем ожидаемую цену — а это означает, что наши решения CAPEX или OPEX недостаточно оптимизированы — мы всегда ищем, где мы можем внедрять инновации и на каком уровне нам нужно изменить. Потому что, если мы уменьшим наши затраты, мы снизим наши цены, а не увеличим маржу. Эта постоянная самоанализа через инновации позволяет нам предлагать клиентам более выгодные цены, как мы скоро сделаем это с Premium Bare Metal Cloud.

T3-96-6KW-W
96 серверов на стойку мощностью 6 кВт
при 4 уровнях стоек у нас 384 сервера типа ADV-1/2/3
Все серверы имеют водяное охлаждение.
PUE = 1,07
Это означает лишь 7% потерь энергии!


Новые методы использования ресурсов
Наша цель — стать мировым экспертом в Premium Bare Metal Cloud. Мы хотим встряхнуть рынок с 350 до 2500 долларов в месяц (для серверов премиум-класса высшего класса) и стать эталоном, как мы уже делаем для серверов начального и среднего уровня. Клиенты, которым нужна максимальная мощность и мощность, начнут замечать первые результаты нашей стратегии. Чтобы лучше выполнять свои задачи, к концу 2020 года наши публичные цены упадут. Но мы сохраним такую же высокую производительность. В дополнение к нашей промышленной модели, которая уникальна в плане полного контроля и позволяет нам постоянно адаптироваться, в последние месяцы именно наша новая бизнес-модель «Джекпот» помогла нам пойти еще дальше. И на основе этой новой модели мы рассмотрели все — серверы, сеть, энергоснабжение и водяное охлаждение. Сейчас, более чем когда-либо, мы являемся лидером по цене по своему замыслу.

POC HGv2 / FSv2 T5 2U 2x25G+2x50G


Новая финансовая модель, позволяющая нам более точно отслеживать жизненный цикл продуктов, также позволяет нам пересмотреть наши модели обязательств. До конца года мы предложим более конкурентоспособные цены по долгосрочным обязательствам. В дополнение к уже доступным моделям ежемесячной оплаты, то есть без обязательств или с обязательством на 6, 12 или 24 месяца, мы также предложим планы с обязательствами на 3, 4 или 5 лет. Наши цены будут еще лучше для клиентов, которые могут использовать как объем (3 или 12 стоек с 48 или 96 серверами), так и продолжительность (3, 4 или 5 лет). В будущем наши клиенты также смогут получать почасовые расценки на Bare Metal с посекундной оплатой.

Наконец, для клиентов, которым требуется много серверных стоек и которые не хотят управлять своей инфраструктурой, мы уже можем предоставить частные помещения в наших центрах обработки данных с 12, 24 или 48 стойками *, оборудованными камерами, значками и журналами. Этот вариант использования удовлетворяет потребности не только клиентов Bare Metal Cloud, но также клиентов Public Cloud и Hosted Private Cloud в режиме «частного региона». Начиная со 100 стоек, мы можем поставить настоящие частные центры обработки данных в зданиях третьих сторон (в помещениях клиентов) *, где бы они ни находились. Это значительно снижает их затраты. Для этих центров обработки данных мы применяем наш промышленный и технический опыт, в том числе нашу эксклюзивную технологию водяного охлаждения, и все наши аппаратные инновации, включая самые последние технологии на рынке. Мы также управляем всеми уровнями программного обеспечения и их жизненными циклами.

Глобальное воздействие
Цель этого сообщения в блоге — не детализировать наши будущие предложения, а объяснить долгий путь, который привел к снижению цен на Premium Bare Metal Cloud. Но если вы подписаны на мою учетную запись в Twitter (@olesovhcom), вы, возможно, видели некоторые их превью, потому что я регулярно делюсь информацией о нашей работе.

«We need GPUs. Lot of GPUs.»
New POC: AI Training, Inference, (Software in VDI)aaS.
OVHcloud will offer a large range of the products AI/DL+ML based on GPU/CPU/FPGA/Optical.




Всего OVHcloud скоро предложит около 300 моделей Bare Metal Cloud! Это очень широкий диапазон, и наши маркетинговые команды взяли на себя впечатляющую задачу, предложив упрощенный просмотр, чтобы вы могли найти именно то, что вам нужно. В конце октября 2020 года название меню изменится с «Сервер» на «Bare Metal Cloud». Это будет первым шагом в переходе, который произойдет в ближайшие месяцы, с гораздо более ориентированным на использование подходом, таким как виртуализация, хранение, глубокое обучение, базы данных и т. Д. Цель состоит в том, чтобы упростить ваше путешествие, и поможет вам легко выбрать модели, наиболее соответствующие вашим потребностям.

Как внутренние клиенты, наши три других облачных юниверса (веб-облако, общедоступное облако, размещенное частное облако), которые все полагаются на наши инфраструктуры Bare Metal Cloud, также получат выгоду от этих инноваций и новых цен. Прежде чем оказывать такое глобальное влияние, нам нужно было изучить основы облака. Ожидайте отличных анонсов в 2020-2021 годах!

working on BETA Public Cloud IAaaS Deep Learning for training and inference… deploying 2 clusters (> 5M cores each) in FR and CA… the technology PaaS will allow to reduce the cost by 50% vs hyperscalers and change the mindset: run the jobs, not VMs



Чтобы узнать больше, отправляйтесь на OVHcloud EcosystemExperience, наше новое виртуальное мероприятие, которое состоится 3, 4 и 5 ноября.

Мы докажем вам конкретными словами, что, нестандартно мыслящие через разрушение и создавая прочную экосистему, мы ежедневно помогаем сделать OVHcloud подлинной альтернативой в облачной индустрии.

Вычислительные ресурсы
Функция резервирования ресурсов Amazon EC2 по запросу теперь поддерживает групповой таргетинг » Компоненты EC2 Image Builder теперь можно разрабатывать локально » Вышел протокол NICE DCV версии 2020.1 с функцией перенаправления принтеров и поддержкой инстансов Amazon EC2 6-го поколения на основе Graviton2 » Функция гибернации EC2 теперь доступна в регионах AWS Африка (Кейптаун) и Европа (Милан) » API-интерфейсы прямого доступа Amazon EBS для снимков состояния теперь доступны в регионах Европа (Милан) и Африка (Кейптаун)» В AWS AppSync теперь доступны прямые сопоставители Lambda для API-интерфейсов GraphQL » В агенте AWS CodeDeploy улучшена совместимость для Amazon Linux 2, Windows и Ubuntu » В Amazon EMR теперь доступно больше возможностей диверсификации заявок на спотовые инстансы и получения значительных скидок » В AWS Fargate появились метрики использования и обеспечена видимость Service Quotas » Amazon ECS объявляет о поддержке CloudFormation для томов Amazon EFS » Квотами Amazon EKS теперь можно управлять через AWS Service Quotas » Менеджер сети AWS Transit Gateway теперь доступен в регионах AWS Африка (Кейптаун) и Европа (Милан) » AWS Fargate для Amazon ECS теперь поддерживает балансировку нагрузки UDP с помощью Network Load Balancer »Хранилище данных
В Amazon GuardDuty расширена область обнаружения угроз для более эффективной защиты данных, хранящихся в Amazon S3 » Функции Amazon S3 теперь доступны в инструментариях AWS Toolkit for Visual Studio Code » AWS Storage Gateway теперь обеспечивает доступ к адресам, соответствующим требованиям FIPS 140-2, во всех регионах Северной Америки »Базы данных
Amazon Aurora поддерживает местное обновление PostgreSQL 10 до версии 11 » Amazon Aurora поддерживает PostgreSQL 11.7 в регионах AWS GovCloud (США) » Объявление об ознакомительной версии типов инстансов Amazon RDS M6g и R6g на основе процессоров AWS Graviton2 » Amazon RDS for PostgreSQL поддерживает новые дополнительные версии 12.3, 11.8, 10.13, 9.6.18 и 9.5.22 в регионах AWS GovCloud (США) »Организация сети и доставка контента
В AWS App Mesh появилась новая конфигурация сетки по умолчанию » Elastic Load Balancing упрощает учет расходов на AWS благодаря новому разделу счетов » Групповая адресация IP в AWS Transit Gateway теперь доступна в регионах AWS Европа (Франкфурт), Южная Америка (Сан-Паулу), Ближний Восток (Бахрейн), Азия и Тихий океан (Гонконг) и Азия и Тихий океан (Сеул) »Инструменты для разработчиков
CodeGuru Reviewer теперь поддерживает полный анализ репозитория » AWS CodeBuild поддерживает отчетность о покрытии кода» AWS CodeBuild теперь поддерживает параллельное и координированное выполнение проекта сборки »Мультимедийные сервисы
Live Streaming on AWS с MediaPackage теперь включает в себя кодировку QVBR »Безопасность, идентификация и соответствие требованиям
Сервис Amazon GuardDuty теперь доступен в регионах AWS Африка (Кейптаун) и Европа (Милан) » Private Certificate Authority в AWS Certificate Manager теперь поддерживает адреса PrivateLink » AWS Firewall Manager теперь поддерживает централизованное ведение журналов AWS WAF » Централизованное управление доступом к AWS для пользователей OneLogin с использованием AWS Single Sign-On » Новое консалтинговое предложение для решений AWS — Fog360 Security »Машинное обучение
Представляем третичный геномный анализ и машинное обучение с использованием Amazon SageMaker » В AWS Step Functions добавлена поддержка обработки в Amazon SageMaker » В Amazon Forecast добавлены календари праздничных дней для 66 стран с целью повышения точности прогнозов » В Amazon Personalize улучшены фильтры рекомендаций благодаря фильтрации по метаданным элементов » В AWS DeepComposer представлен новый учебный модуль, в котором подробно рассматривается обучение авторегрессивной модели CNN »Аналитика
Amazon Elasticsearch Service теперь поддерживает интеграцию с Tableau и Microsoft Excel » AWS Data Exchange теперь поддерживает добавление наборов данных в существующие продукты »Интернет вещей (IoT)
В AWS IoT Device Management увеличен лимит одновременно активных заданий до 1000 на каждый аккаунт AWS на регион »Обучение и ресурсы, сертификация
Новое консалтинговое предложение для решений AWS — Knowledge Work Automator »

Вычисления
Инстансы Amazon EC2 X1e самого большого размера теперь доступны в регионе AWS Южная Америка (Сан-Паулу) » ECR теперь поддерживает PrivateLink в регионе AWS GovCloud (Восток США) » Amazon ECS поддерживает (в ознакомительной версии) обновление стратегии размещения и ограничений для существующих сервисов ECS » Сервис Amazon ECS Cluster Auto Scaling теперь доступен в регионах AWS GovCloud (США)» В Amazon EKS добавлено конвертное шифрование секретов с AWS KMS » Amazon EKS теперь поддерживает Kubernetes 1.15 » AWS Batch теперь поддерживает новые энергонезависимые файловые системы и файловые системы временного хранения FSx for Lustre » В AWS Elastic Beanstalk теперь можно использовать Docker на платформе AL2 (бета-версия) » В AWS Serverless Application Repository добавлена поддержка общего доступа организаций AWS к приложениям » Amazon VPC Flow Logs теперь поддерживает добавление тегов к ресурсам и добавление тегов при создании » В AWS App Mesh появилась поддержка комплексного шифрования » Теперь клиенты могут самостоятельно включать локальные зоны в AWS » Шлюз Amazon VPC NAT Gateway теперь поддерживает добавление тегов во время создания »Хранение данных
В Amazon S3 теперь поддерживается добавление тегов для заданий S3 Batch Operations » Сервис AWS Backup теперь доступен в регионе AWS Китай (Пекин) при поддержке Sinnet и в регионе AWS Китай (Нинся) при поддержке NWCD » Сервис AWS Storage Gateway теперь доступен в регионе AWS GovCloud (Восток США) » В Amazon Data Lifecycle Manager (DLM) добавлена поддержка часовых интервалов резервного копирования »База данных
Сервис Amazon Aurora, совместимый с PostgreSQL, поддерживает местное обновление PostgreSQL от версии 9.6 к версии 10 » Сервис Amazon Aurora, совместимый с PostgreSQL, поддерживает Amazon Aurora Global Database » Теперь можно обновлять свои глобальные таблицы Amazon DynamoDB с версии 2017.11.29 до новейшей всего несколькими нажатиями на консоли DynamoDB » Режим выделения ресурсов Amazon DynamoDB по требованию теперь доступен в регионе Азия и Тихий океан (Осака – местное отделение) » Amazon ElastiCache for Redis объявляет о появлении глобального хранилища данных » Сервис Amazon Managed Cassandra Service (ознакомительная версия) теперь доступен в 18 регионах AWS » Сервис Amazon Managed Cassandra Service теперь помогает управлять доступом к вашим пространствам ключей и таблицам с помощью ролей IAM и федеративных удостоверений AWS » Сервис Amazon Neptune теперь доступен в регионе AWS ЕС (Париж) » Сервис Amazon RDS Performance Insights поддерживает Amazon RDS for MySQL версии 8.0 » Amazon RDS for MySQL теперь поддерживает дополнительные версии MySQL 5.6.46, 5.7.28 и 8.0.17 » Представляем контроль доступа на уровне столбцов для Amazon Redshift » В Amazon Redshift добавлена функция приостановки и возобновления » В Amazon Redshift реализована поддержка материализованных представлений (в общем доступе) » Новая сертификация AWS Certification предназначена для проверки знаний в области данных AWS » Представляем Bottlerocket, новую операционную систему с открытым исходным кодом на базе Linux, предназначенную для выполнения контейнеров »Сеть и доставка контента
API-шлюзы обеспечивают частные интеграции с AWS ELB и AWS CloudMap в рамках коммерческого выпуска API-интерфейсов HTTP » Сервис AWS App Mesh теперь доступен в регионе Азия и Тихий океан (Гонконг) »Инструменты для разработчиков
Представляем пользовательские настройки для решения AWS Control Tower » Распределение конфигураций чатбота AWS Chatbot с использованием AWS CloudFormation » Объявление об интеграции сервиса AWS AppConfig с Amazon S3 »Инструменты управления
Обнаружение аномалий в составе Amazon CloudWatch теперь доступно в регионах AWS GovCloud (США)» Функции выявления отклонений и импорта ресурсов AWS CloudFormation теперь доступны в семи новых регионах AWS » Поддержка AWS Config для Amazon SNS теперь доступна в коммерческих регионах AWS и регионе AWS GovCloud (США)» AWS Config теперь поддерживает агрегирование из множества аккаунтов и регионов, а также расширенный запрос в регионе Европа (Стокгольм) » Сервис AWS Control Tower теперь доступен в регионе Азия и Тихий океан (Сидней) » Выпущена новая версия мобильного приложения Консоли AWS для Android » В AWS Security Hub появились новые поля и ресурсы для формата AWS Security Finding »Мультимедийные сервисы
Доступна функция тонального отображения из HDR в SDR для сервиса AWS Elemental MediaConvert » AWS Elemental MediaConvert теперь поддерживает кодировку в формате AV1 »Безопасность, идентификация и соответствие требованиям
Снижение цен на Amazon GuardDuty » Сервис AWS Directory Service для Microsoft Active Directory и AD Connector теперь доступны в регионе AWS Ближний Восток (Бахрейн) » AWS Resource Access Manager теперь доступен в регионе Азия и Тихий океан (Гонконг) » AWS Resource Access Manager теперь доступен в регионе Ближний Восток (Бахрейн) » В AWS WAF добавлен анонимный список IP-адресов для управляемых правил AWS »Машинное обучение
Amazon SageMaker Ground Truth теперь поддерживает классификацию изображений и текста на основе множества меток и Amazon CloudWatch Events » Amazon Elastic Inference позволяет уменьшить затраты на обнаружение и вычисление правил в PyTorch в рамках машинного обучения » Сервис Amazon Forecast теперь доступен еще в трех регионах: Азия и Тихий океан (Сидней и Мумбаи) и Европа (Франкфурт) » Amazon Lex теперь поддерживает добавление тегов к ресурсам » Представляем Amazon Personalize Optimizer с событиями Amazon Pinpoint » Новые возможности AMI глубокого обучения AWS с обновленной поддержкой платформ: Tensorflow (версии 1.15.2 и 2.1.0), PyTorch 1.4.0, MXNet 1.6.0 и Elastic Inference с Pytorch 1.3.1 »
Аналитика
В Amazon Athena добавлена поддержка управления рабочими группами Athena с использованием AWS CloudFormation » Сервис Amazon Athena теперь публикует события CloudWatch для изменений состояния запросов Athena » Amazon Elasticsearch Service теперь поддерживает Elasticsearch 7.4 » Сервис Amazon Kinesis Data Firehose теперь поддерживает AWS PrivateLink в регионах AWS GovCloud (США) »Мобильные сервисы
На консоль Amplify добавлен интерфейс командной строки для настройки непрерывного развертывания и размещения »Интеграция приложений
Приложения, использующие Amazon SNS для отправки SMS, теперь можно размещать в регионах Азия и Тихий океан (Мумбаи) и Европа (Франкфурт) »Взаимодействие с клиентами
В сервис Amazon Connect добавлены номера телефонов в 12 новых странах »Разработка игр
Представляем схему обучения AWS Game Tech »Технологии блокчейн
Сервис Amazon Managed Blockchain теперь доступен в регионе Азия и Тихий океан (Сингапур) » Сервис Amazon Managed Blockchain теперь доступен в регионе Азия и Тихий океан (Токио) »Робототехника
AWS RoboMaker теперь поддерживает потоковую передачу графического интерфейса пользователя при моделировании для приложений для роботов и имитационного моделирования »

COMPUTE
Compute Engine — изменить название памяти, оптимизированные виртуальные машины: GA
Для того, чтобы более четко определить экземпляры VM в качестве членов машины типа семейства памяти оптимизированных все n1-ultramem и n1-megamem виртуальных машины имели их префикс «n1» изменен на «m1». Документация
Compute Engine — постоянные дисковые запланированные моментальные снимки: GA
Используйте SNAPSHOT расписание регулярно и автоматически создавать резервные копии ваших рабочих нагрузок Compute Engine, а также ваши зональные и региональные упорные дисков. И определить, как долго держать снимки с политикой хранения снимков. Документация
Compute Engine — пользовательский контроллер интерфейса виртуальной сети: бета
Включите более высокую пропускную способность сети с более эффективной сетью доставки для отправки трафика и от ваших экземпляров виртуальных машин. Специально разработанный для Compute Engine, то gVNIC устройство и драйвер будет работать на всех Google Cloud виртуальных машин, кроме памяти оптимизированных типов машин. Документация
Kubernetes двигателя — контейнер родной балансировки нагрузки: GA
Повышение видимости трафика, производительность и масштабируемость за счет создания услуг с использованием сети оконечных групп (NEGS). NEGS обеспечить запросы к вашим услугам распределены непосредственно в контейнеры, обслуживающих запросы. Документация | Блог
Kubernetes двигатель — дозирующее использование: GA
Просмотр профилей использования кластеров Kubernetes двигателя и связать использование отдельных команд, бизнес-единица, приложения или среды в вашей организации на основе имен и ярлыков. дозирующее Использование облегчает принятие Kubernetes в среде многопользовательской. Документация
Kubernetes двигателя — containerd: GA
Использование containerd вместо Докер в качестве контейнера для выполнения Kubernetes на контейнерном оптимизированным OS и Ubuntu для выполнения приложений внутри контейнеров и ручка взаимодействия с базовой операционной системой. Документация
Kubernetes двигатель — окна обслуживания: бета
Поддерживайте больший контроль над вашими кластерами Kubernetes Engine с возможностью настройки времени автоматического обслуживания кластера, например, когда авто-обновление может и не может произойти. Документация
Kubernetes двигатель — доступ частный мастер кластера из локальных: беты
Поддерживать строгую безопасность и соблюдение, позволяя родную связь между сетью локальных и Google принадлежащей сетью VPC, что Саваофа мастером-кластером. Документация
Облако Run — метки: бета
Установить, изменять и удалять ярлыки на вашей службы и пересмотров Cloud Run. Используйте метки для фильтра счетов, журналов, метрики и других данных для идентификации ресурсов, используемых отдельными владельцы, командами или центры затрат для распределения затрат и выставления счетов срывов. Документация
Облако Run — расширение отчетов об ошибках и масштабирования метрик: бета
Используйте Stackdriver, чтобы отслеживать, сколько экземпляров активно служу трафик для службы с новой схемой «Billable контейнера времени экземпляра», и просматривать лучшие ошибки приложения в этой службе с таблицей «Error Reporting». Документация
Облако Run — одинарный поддержка КПГР: бета
Развертывание КПГР услуги Cloud Run — теперь с поддержкой одинарных КПГР вызовов. КПГР является высокопроизводительным, с открытым исходным кодом рамки универсальной RPC. Документация
Compute Engine — N2 типа общего назначения машины: GA
Создать широкий спектр предустановленных или пользовательских экземпляров VM с нашими новыми типами N2 машин. На основе процессоров второго поколения Intel Xeon масштабируемой, типы машин N2 предлагают до 80 виртуальных ЦП и в общей сложности 640 Гб памяти, на базовой частоте 2,8 ГГц, и пролонгированное все-жильный турбо до 3,4 ГГц. Документация
Compute Engine — зональные оговорки: GA
Убедитесь, что ваш проект имеет ресурсы для будущего спроса, в том числе дорожных шипов, большие миграции, резервного копирования и аварийного восстановления, а также запланированного роста. Резервные ресурсы, включая местные, виртуальные ЦП твердотельных накопителей, а также графические процессоры в определенной зоне — и добавить совершенное использование скидки для большей экономии. Документация
Compute Engine — повышенная производительность системы хранения данных блока: GA
SSD упорные диски теперь предлагают удвоить пропускную способность от записи для экземпляров VM с 16 или более ядер и 100K IOPS чтения для экземпляров VM с 64 или более ядер. Документация
Compute Engine — увеличение общей емкости для постоянных дисков: GA
Приложить до 257 ТБ постоянной памяти на диске для каждого экземпляра VM — значительный прирост по сравнению с предыдущим лимитом 64 ТБ. Документация
Compute Engine — OS Войти Политика и ведение журнала аудита: GA
Управление доступом к экземплярам с политикой организации и ведения журнала аудита для обеспечения того, чтобы все новые проекты, а также экземпляры виртуальных машин, созданных в них, имеют OS Логин включен. Отслеживание событий и мероприятий, как добавление, удаление или обновление ключа SSH, или удаление информации POSIX. Документация
Google Kubernetes Engine — Rapid, Regular, и стабильные каналы выпуска: бета
Создание новых кластеров с помощью Rapid, Regular, или стабильный канал выхода. Каналы представляют уровень стабильности и свежесть версий GKE, и вы можете выбрать канал наиболее выровненный с профилем риска и потребностями бизнеса. Документация
GKE — вертикальный стручок автомасштабирование: GA
Получить более стабильной, эффективной стручки автоматически. Если эта функция включена, вертикальная черта стручок автомасштабирования рекомендует, и может автоматически обновлять, память и процессор запросы и ограничение для контейнеров в ваших стручках на основе наблюдаемого использования. Документация
GKE — узел автоматической инициализации: GA
Создать новый пул узла в кластере GKE autoscaler, если ни один из существующих пулов узлов не может вместить в ожидании стручков или при работе стручков на новом пуле узлов значительно дешевле. Документация
App Engine — Java 11 на стандартной среде App Engine: GA
Создание и развертывание приложения с Java 11, который работает надежно под нагрузкой тяжелой и с большими объемами данных. Запустите приложение в своей собственной безопасной, надежной среде, независимо от аппаратного обеспечения, операционной системы, или физического местоположения сервера. Документация
Google Kubernetes Engine — Пакетное на GKE: бета
Запустите пакетные нагрузки в облаке с использованием Kubernetes с гибкими средствами, которые динамически размещаемыми в соответствии с вашими потребностями и бюджет. Создание очередей, расставить приоритеты заданий и зависимости ручки с функциями и фамильярности традиционного пакетного задания планировщика. Документация
Compute Engine — расширение EGRESS ограничения на малых случаях VM: GA
Наслаждайтесь повышенной пропускной способностью для ваших маленьких экземпляров VM автоматически. Мы увеличили максимальную скорость исходящего трафика для всех новых и существующих виртуальных машин с двумя и четырех до 10 виртуальных ЦП Gbps — без дополнительных действий, требуемых от вас. Документация
Compute Engine — 100 Gbps виртуальные машины: бета
Достижение 50-100 Гбит пропускной способности сети VM для экземпляров V100 и Т4 ГПУ VM с помощью виртуальной сетевой интерфейс Compute Engine (gVNIC). Документация
Compute Engine — operations.wait: GA
Снизить частоту опроса состояния операции и помогают более эффективно использовать ваши запросы-за-вторых квот. Глобальные, региональные и зональные operations.wait методы ждать указанной операции ресурс для возврата, как это сделано, или для запроса, чтобы поразить двухминутный срок, а затем получить его. Документация
Compute Engine — отключить или ограничить автомасштабирование в управляемых группах экземпляра: GA
Возьмите под свой контроль над размером ваших зональных или региональных управляемых групп например, путем временного отключения или ограничений направления автомасштабирования только масштабы, все, сохраняя при этом своей конфигурации, так что он может быть включен снова. Документация
Compute Engine — единственный арендатор VM аренда миграция: GA
Перемещение между многопользовательским и единственным арендатором узлами, или между узловыми группами единственным арендатора корректировать договор аренды на основании требований рабочей нагрузки. Документация
Compute Engine — принести вам собственную лицензию (бель) V2: бета
Запустите рабочую нагрузку для Windows — и использовать существующие лицензии ОС Windows — на Compute Engine. Новые функции включают в себя объединение ресурсов единственного нанимателем узлов и способность к экземплярам бели жить Migrate для событий технического обслуживания для других узлов в бассейне без каких-либо простоев. Документация
Compute Engine — единоличный-арендатор autoscaler: бета
Автоматически управлять размером ваших групп узлов единственным арендатора. Настройка группы узлов autoscaler для создания дополнительных экземпляров виртуальных машин, когда есть недостаточная пропускная способность и удаление пустых узлы, чтобы уменьшить затраты. Документация
Compute Engine — сохраняющие состояние управляемых групп экземпляров: бета
Построить высокодоступные развертываний с состоянием рабочих нагрузок, таких как базы данных, по обработке данных приложений, унаследованных монолитные приложения, и долго выполняющиеся пакетные вычисления с контрольной точки. Улучшение работоспособности и устойчивости при сохранении уникального состояния каждого экземпляра. Документация
Compute Engine — управляемый экземпляр группа свитки проверка: GA
Проверить, является ли обновление свитка была завершена с gcloud инструментом командной строки или API. Или использовать Cloud Console интерфейс Google, чтобы увидеть текущее и планируемое количество экземпляров обновляются. Документация
Compute Engine — настроить региональный управляемый экземпляр группы перебалансирование: GA
Контроль следует ли сохранить или отключить поведение перераспределения региональных групп управляемых экземпляров — балансирует ли региональная управляемый экземпляр группа экземпляры активно, как это делает сейчас по умолчанию, или оппортунистический, при изменении размера группы. Документация

DATA АНАЛИТИКА
Облако Dataproc — поддержка GPU: GA
Повышение производительности рабочих нагрузок, в том числе машинного обучения и обработки данных, путем присоединения графических процессоров (GPU) для ведущего и рабочих узлов Compute Engine в кластере Облако Dataproc. Выберите один из вариантов, включая NVIDIA Tesla P100, V100, и Р4 графических процессоров. Документация
BigQuery ML — K-средства кластеризации поддержки: GA
Используйте неконтролируемое обучение для агрегирования данных в кластеры и идентифицировать естественные группировки. К-средства алгоритм используется для всего, от понимания сегментации клиентов в области компьютерного зрения и астрономии. Документация
Облако Dataprep по Trifacta — API и улучшенной функции: GA
Управление и мониторинг заданий подготовки данных программно поставить воспроизводимые результаты данных с API Cloud Dataprep. И подготовка делают данные более интуитивной с новыми функциями, включая макросы, преобразование примера, и кластер чистые. Документация
Облако Dataflow — Python потоковый режим: GA
Исследуйте новейшее Облако DataFlow потокового вариант для трубопровода Python, включая AutoScale, процедить, обновление Streaming Engine и обновление счетчика. Документация
поддержка Python 3 — Cloud Dataflow: GA
Автор ваших трубопроводов Apache Beam в Python 3 и запустить на облаке DataFlow. Apache Beam прекратит поддержку Python 2 в новых версиях, начиная с 1 января 2020. Мы рекомендуем пользователям Облако DataFlow перенести свои трубопроводы на Python 3. Документация
BigQuery — аудит журналы v2: GA
Получить более полное представление о ваших ресурсах BigQuery с BigQueryAuditMetadata, более новым форматом журнал аудита сообщений. Понимание взаимодействия ресурсов и определить, какие таблицы были прочитаны и записаны с помощью данного задания запроса и таблицы, которые истекли. Документация
BigQuery и BigQuery ML — новый регион: GA
BigQuery и Biguery ML теперь доступны в Южной Каролине (США) Восток1 региона. Примечания к выпуску
Облако Dataflow — Гибкое ресурсов Планирование: GA
Сокращение затрат пакетной обработки — без изменения коды трубопровода. FlexRS использует передовые методы планирования, DataFlow Перемешать и сочетание Preemptible экземпляров виртуальных машин и регулярных виртуальных машины, чтобы сократить расходы рабочих до 40%. Документация
BigQuery Transfer Data Service — учетная запись службы поддержки: бета
Настройка запланированного запроса для проверки подлинности с помощью аккаунта Google, связанного с проектом Google Cloud Platform. Затем учетная запись может выполнять задания, связанные со своими учетными данными службы, а не учетные данные конечного пользователя, таких как запланированная запроса. Документация
BigQuery — целое число, на основе диапазона разделение: бета
Создание и использование таблиц секционированных целого числа столбец в BigQuery. Просто указать диапазон целого числа на основе и таблица будет разделена в соответствии с целочисленных значений в этом столбце. Документация
Облако данных Fusion: GA
Оцифровка, чистят, преобразования и интеграции данных из SAP HANA, Teradata, MongoDB, Salesforce, и многое другое. Выберите из широкой библиотеки предварительно настроенных коннекторов и преобразований, используя визуальный интерфейс точки и нажмите для кода свободного развития ETL и ELT трубопроводов. Документация
Cloud Storage — BigQuery Передача данных Услуга: GA
Расписание повторяющихся нагрузок данных от Cloud Storage в BigQuery. Теперь вы можете загрузить данные по установленному графику — и загружать только новые данные в таблицу назначения. Документация
Облако Dataproc — SparkR типы заданий: GA
Использование dplyr подобные операциям на наборах данных практически любого размера, хранящихся в Cloud Storage с помощью SparkR, пакет, который обеспечивает легкий конец переднего использовать Apache искру от R. SparkR также поддерживает распределенные машинное обучение с использованием MLlib. Документация
BigQuery ML — предварительная обработка данных: GA
Streamline и упростить вашу модель машинного обучения строит — и поддерживать преобразования в соответствии между обучением и умозаключениями. Preprocess и преобразование данных с помощью простых функций SQL и автоматически применить эти преобразования на этапе прогнозирования. Блог | Документация | Руководство
Потоковый — наблюдаемость: GA
Просмотр трубопровода, а также любую другую работу, с интерфейсом мониторинга Dataflow веб-основе. См и взаимодействовать со списком заданий DataFlow. Проверка состояния, выполнения и SDK версии задания, выполните. И найти ссылки на информацию об услугах, работающих под управлением вашим трубопровод. Блог | Документация

БАЗА ДАННЫХ
Облако Datastore — удалось экспорта и импорта услуги: GA
объекты экспорта и импорта Облако Datastore с помощью облачной консоли, инструмент gcloud командной строки, или API Cloud Датастор. Используйте службу, чтобы оправиться от случайного удаления данных и экспорта данных для автономной обработки. Документация
Облако Bigtable — новый регион: GA
Облако Bigtable теперь доступен в Франкфурте, Германия, (Европа-west3) регион — и каждый текущем регион GCP — дает вам доступ к Cloud Bigtable в регионе по вашему выбору. Документация
Облако SQL — ключи шифрования клиент-управляемых (CMEK): GA
Зафиксируйте ваши конфиденциальные или регулируемые данные с CMEK, чтобы управлять своими собственными ключами шифрования данных в состоянии покоя. С поддержкой CMEK, Cloud SQL использует ключ клиента для доступа к данным. Документация
Облако SQL — политика организации связи: GA
Централизованное управление настройками публичных IP для Cloud SQL, чтобы уменьшить поверхность атаки безопасности экземпляров Cloud SQL из Интернета. Ограничение доступа к экземплярам Cloud SQL: разрешить только частный доступ к IP или разрешить только Cloud SQL прокси доступ к IP-адрес. Документация
Облако Bigtable — идентичность на уровне таблиц и управления доступом: GA
Используйте таблицу уровня IAM контролировать уровень каждого пользователя доступа к отдельным таблицам Cloud Bigtable. Документация
Cloud Storage — Архив Класс хранения: GA
Хранить практически любой объем данных на нашей нижайшую стоимости услуги хранения с 11 девяток долговечности — и поддерживать доступ с миллисекундой латентностью. Используйте его для хранения холодных данных, аварийного восстановления, или для данных, которые вы планируете получить доступ менее чем один раз в год. Блог | Документация

МИГРАЦИЯ
Migrate для Anthos: бета
Автоматическое преобразование и перенос экземпляров виртуальных машин — будь то на территории, на Google Cloud Platform, или на другие облака — к контейнерам в Kubernetes Engine. Перенесенные рабочие нагрузки полностью совместимы с GCP услуг, в том числе решений Stackdriver, Istio и Kubernetes в ГКП Marketplace. страница продукта
Migrate для Anthos: GA
Миграция существующих VMware, Amazon EC2, Microsoft Azure, и Compute Engine виртуальных машин для контейнеров непосредственно на GKE в течение нескольких минут, свести к минимуму время простоя с потоковым миграции хранения, и автоматически преобразует рабочие нагрузки, как контейнеры в GKE стручков. заметки о выпуске
Перенесите для V4.8 Compute Engine: GA
Миграция Microsoft Azure экземпляры в Compute Engine с повышенным масштабом, снижением первоначального простоем и способностью контролировать окружающую среду источника облака во время миграции. Дополнительные функции включают возможность управления обновлением системы и установку исправлений с помощью пользовательского интерфейса системы. заметки о выпуске

AI & МАШИНА ОБУЧЕНИЯ
AI Платформа — пользовательские контейнеры: GA
Запускайте приложения в виде Докер изображения, создавая свой собственный контейнер для выполнения заданий на AI Platform. Использование машин рамок обучения и версий — а также не-ML зависимостей, библиотеки и двоичные файлы не иначе поддерживаются AI Platform. Документация
AI Platform — использовать предопределенные имена машины типа для конфигурирования учебной работы: GA
Получите большую гибкость при распределении вычислительных ресурсов для машинного обучения рабочих мест, используя имена некоторых предопределенных типов машин Compute Engine. Вы также можете настроить свои графические процессоры использует работу, когда обучение с TensorFlow или используя пользовательские контейнеры. Документация
Облако Video Intelligence API — обнаружение Логотип: бета
Обнаружить, отслеживать и распознавать присутствие более 100 000 марок и логотипов в видео-контенте. Документация
Dialogflow — проверка агента: бета
Автоматически проверять ваш агент на наличие ошибок, когда вы тренируете его. Доступ к результатам из Dialogflow консоли или API, и игнорировать или исправлять ошибки, управлять качеством и производительностью вашего агента. Документация
Dialogflow — регулярные выражения (регулярные выражения) для юридических лиц: GA
Теперь вы можете обеспечить регулярные выражения для создания агентов, структуры данных соответствуют друг другу — например, национальные идентификационные номера или номерных знаков — а не специфических терминов. Документация
Dialogflow — нечеткое соответствие: GA
Тратьте меньше времени и усилий построения объектов — и упростить разработку. Объект согласование требует точного совпадения для одной из записей сущностей. Нечеткие соответствия позволяют компаниям идентифицировать матчи значения или синоним независимо от порядка слов. Документация
AI Платформа Ноутбуки — поддержка CMEK для ноутбуков: бета
Использование ключей шифрования для клиента удалось зашифровать настойчивые диски на экземплярах ноутбуков. Документация
Облако AutoML Vision — классификация изображений: бета-обновление
Единая инфраструктура теперь поддерживает как объект классификации и обнаружение, и имеет встроенный интерфейс. Планируйте заранее и подготовить модели классификации для общедоступности AutoML Видения планируется провести в этом году. Используйте следующие шаги для обновления существующих моделей. Примечания к выпуску | Документация
Облако AutoML Vision — пакетный прогноз: бета
Использование пакетного прогнозирования для снижения затрат на умозаключения и более высокую пропускную способность, чем синхронный (онлайн) прогнозирования. Доступно как для классификации и обнаружения объектов. заметки о выпуске
Облако AutoML Видение — TensorFlow.js интеграция: бета
Модели Экспорт AutoML Зрение Пограничные как TensorFlow.js пакетов. Модель край может быть развернут в различных платформах с поддержкой TensorFlow.js, включая все основные браузеры — и на стороне сервера в Node.js. Доступно как для классификации и обнаружения объектов. заметки о выпуске
AutoML Таблица — ординатура данные для ЕС: бета
AutoML таблица теперь обеспечивает полную поддержку для пользователей с цензом оседлости данных ЕС. Документация
Контактный центр AI: GA
Автоматизация взаимодействия центра обработки вызовов и обеспечение бесшовной передачи обслуживания для человека агентов с виртуальным агентом. Использование агент Assist транскрибировать вызовы в режиме реального времени, идентифицировать клиент намерения, а также обеспечить в режиме реального времени, шаг за шагом помощь ваших живых агентов. Страница Решения
AutoML Natural Language — текст и классификация документов, анализ настроений, и экстракция организации: GA
Построение и развертывание пользовательских машинного обучения модели, анализирующие документы для того, чтобы классифицировать их, а также идентифицировать объекты и чувства в них. Блог | Документация
Облако Зрение API — мульти-региональная поддержка оптического распознавания символов (OCR): GA
Доступ OCR функции и выбрать, где ваши данные будут обрабатываться в двух новых регионах: США и Европейского Союза. Документация
AI Platform — встроенные классификации изображений и алгоритмы обнаружения объекта: бета
Поезд модели без написания кода с помощью встроенного в классификации изображений и обнаружения объектов алгоритмов. Используйте настройки гиперпараметра для большей точности, используйте TPUs для быстрой подготовки и экспорт моделей для прогнозирования, либо локально, либо развернуты AI Platform прогнозирования. Документация
Virtual Private Cloud (VPC) — использование VPC Service управления с обучением AI Платформа: бета
Снизить риск эксфильтрации данных из ваших учебных заданий, выполнив их из проекта внутри службы по периметру с помощью элементов управления VPC Service, чтобы гарантировать, что Ваши данные не покидает периметр — в том числе обучающих данных ваших заходов рабочих мест и артефакты, которые он создает. Документация
TensorFlow Enterprise — поддержка TensorFlow 2,1 на AI Платформа Deep Learning VM изображения: GA
Исследовать TensorFlow 2.1 функции, включая улучшение поддержки Cloud TPU, поддержку Intel MKL, смешанную точность подготовку для графических процессоров и TPU, и заплаток безопасности и исправления ошибок. Начало работы с TensorFlow предприятия на Deep Learning VM. страница продукта

ЗДРАВООХРАНЕНИЕ И НАУКИ О ЖИЗНИ
Облако Науки о жизни API: бета
Процесс, анализировать и аннотировать геномика и биомедицинские данные в масштабе с использованием контейнерных рабочих процессов с Cloud Life Sciences. Ранее известный как Google Genomics, платформа теперь доступна в регионе Iowa (нам-central1), с другими регионами в ближайшее время. Документация
Куратор решения теперь доступны в здравоохранении Marketplace: GA
Доступ к API Cloud Life Sciences и API Cloud Healthcare, а также широкий спектр решений, доступных на Google Cloud для медицинских и биологических наук, в здравоохранении Marketplace — и запустить их в облаке консоли с помощью всего лишь нескольких щелчков мыши. Здоровье Marketplace

API ПЛАТФОРМЫ & ECOSYSTEMS
Apigee Край для частной облачной 4.19.06: GA
Исследуйте несколько юзабилити, производительности, безопасности и улучшения стабильности в последнем обновлении. Обширный список новых функций включает в себя вставную аналитику и поддержку развертывания HTTP и Cassandra стеллажи. Страница продукта | Документация

CLOUD COMMERCE
GCP Marketplace — поддержка виртуальных машин с несколькими сетевыми интерфейсными платами: GA
несколько сетевых интерфейсов Настройка с пользовательским интерфейсом, который интегрирует Compute Engine и GCP Marketplace и добавляет новые развертывания Менеджер Autogen особенности упростить и автоматизировать создание виртуальных машин с несколькими сетевыми картами. Документация

БЕЗОПАСНОСТЬ
Облако Предотвращение потери данных — новый Google Cloud Platform Console пользовательский интерфейс: GA
Получите большую прозрачность и контроль над конфиденциальными данными с новым Cloud DLP UI. Проверьте и классифицировать данные в облачном хранилище, BigQuery и облачное DATASTORE хранилищ с несколькими щелчками мыши. Управление инспекции рабочих мест, создание шаблонов, а также изучить результаты в консоли. Документация
Облако Asset Inventory — Организация политика и поддержка политика доступа: GA
Просмотр и оценка больше ресурсов и политических типов в одной централизованной, управляемой службы инвентаризации с вновь onboarded политики. Документация
Идентичность Платформа поддержка мульти-аренда: бета
Создание уникальных элеваторов пользователей и конфигураций в рамках одного проекта Идентичность платформы для настройки границ данных изоляции. Бункеры могут представлять различные клиенты, бизнес-подразделения, дочерние компании или другие идентифицирующие признаки. Документация
Менеджер ресурсов — новые ограничения организации политики: GA
Управление и безопасное обслуживание счетов в рамках вашей организации более эффективно с двумя новыми ограничениями политики, которые позволяют ограничить использование учетной записи службы: Создание Отключить Service Account и отключение учетной записи службы создания ключа. Документация
Облако Управление идентификацией и доступом — описание учетной записи службы: GA
Добавить дополнительное описание для учетной записи службы для дальнейшей организации, выявления и дифференциации ваших счетов друг от друга. Документация
Service Cloud Key Management — Cloud Внешний Key Manager: бета
Защитить данные в состоянии покоя в BigQuery и Compute Engine с использованием ключей шифрования, хранящихся и управляемых в системе управления ключами третьих сторон развернуты за пределами инфраструктуры Google. Блог | Документация
Облако идентификация и управление доступом — Cloud IAM Условие: бета
Определение и соблюдение условного, атрибуты на основе контроля доступа к Google Cloud ресурсов. Установка времени на основе условий для запланированного, перерыв стекла, или временного доступа, а также условий на базе ресурсов для доступа с использованием сервиса, тип и имя ресурса соответствия приставки. Документация
Секретный менеджер: бета
Надежно и удобно хранить и извлекать ключи API, жетоны, пароли, сертификаты и другие конфиденциальные данные. Документация
FedRAMP добавляет Высокий и дополнительное Умеренное разрешение на Google Cloud Platform: GA
Запуск совместимых рабочих нагрузок на самом высоком уровне гражданской классификации с FedRAMP высокого разрешения для 17 продуктов Google Cloud в пяти облачных регионах. Кроме того, FedRAMP Умеренная авторизация расширилась до 64 продуктов в 17 облачных регионах. Блог
Облако Asset Inventory — сервис уведомлений в режиме реального времени: GA
Создание подписки для непрерывных обновлений в режиме реального времени об изменениях ресурсов и политики для мониторинга диапазон поддерживаемых типов ресурсов — а также политики Облако управления идентификацией и доступом в организации, папки проекта или конкретного ресурса для Google Cloud Platform и Anthos. Документация
Управление VPC Service — новые интеграции услуг: GA
Исследуйте весь спектр поддерживаемых продуктов и услуг, которые в настоящее время включают в себя облако ТПА, Облако Vision, и облако трассировку. Документация

Читать дальше →

Data Proc Jobs — это способ удаленного запуска задач (jobs) на кластерах Yandex Data Proc. Запускать задачи можно с использованием HTTP или gRPC Data Proc API, а так же через Yandex Cloud SDK или YC CLI.
cloud.yandex.ru/services/data-proc
cloud.yandex.ru/docs/data-proc/api-ref/Job/
cloud.yandex.ru/docs/ydb/sdk/index
cloud.yandex.ru/docs/cli/operations/install-cli

Data Proc поддерживает четыре типа задач:
sparkJob — Apache SparkpysparkJob — Python API для Apache SparkmapreduceJob — Apache HadoophiveJob — Apache Hive
Зачем нужны задачи Data Proc Jobs?
Задачи позволяют упростить использование Hadoop-стека технологий. Data Proc Jobs разделяет процесс обработки данных на задачи и позволяет запускать их без непосредственного доступа на хосты в Облаке. Data Proc Jobs подходит как для выполнения разовых операций, так и для построения ETL-процессов и запуска регулярных аналитических расчётов.

Для каких версий поддерживается создание задач?
Запуск заданий доступен для кластеров, созданных с версией образа v1.1 и выше. Всю диагностическую информацию о запущенных и выполненных задачах можно найти в истории операций над кластером, а также в бакете сервиса Object Storage, который был указан при создании кластера.
cloud.yandex.ru/services/storage

В версии образа 1.1 компоненты обновились до следующих версий:
Hadoop 2.10.0Tez 0.9.2Hive 2.3.6Zookeeper 3.4.14HBase 1.3.5Sqoop 1.4.7Oozie 4.3.1Spark 2.4.4Flume 1.8.0Zeppelin 0.8.2Подробнее об использовании задач Spark и PySpark читайте в документации.
cloud.yandex.ru/docs/data-proc/solutions/run-spark-job

Вычисления
Теперь в AWS CloudFormation можно включить гибернацию Amazon EC2 для зарезервированных инстансов и инстансов по требованию » Инстансы Amazon EC2 I3en и C5 теперь доступны и в других регионах » Гибернация EC2 теперь поддерживает Ubuntu 16.04 LTS » Лимиты инстансов по требованию на основе виртуальных ЦП Amazon EC2 теперь доступны в регионах GovCloud (US) » Amazon EC2 Auto Scaling теперь поддерживает включение и выключение политик масштабирования » AMI Linux 2, оптимизированные для Amazon ECS, теперь поставляются с предустановленным агентом AWS Systems Manager » Amazon ECR увеличивает квоты для API образов и упрощает работу с ними, чтобы вы могли быстрее выполнять рабочие нагрузки » Amazon EKS объявляет о выпуске VPC CNI версии 1.6 » В AWS Elastic Beanstalk теперь можно использовать Python 3.7 на платформе AL2 (бета-версия) » AWS Lambda участвует в Compute Savings Plans » AWS Lambda теперь поддерживает Ruby 2.7 » Метрика AWS Lambda для параллельных вычислений теперь поддерживает все функции, версии и псевдонимы » Представляем решение для асинхронной репликации объектов с поддержкой нескольких регионов » Сервис Amazon EBS Multi-Attach теперь доступен в томах io1 Provisioned IOPS » AWS Firewall Manager теперь поддерживает AWS CloudFormation » URL-адреса Amazon VPC и сервисы URL-адресов теперь поддерживают добавление тегов при создании »
Хранение данных
Сервис AWS Storage Gateway теперь доступен в регионе AWS Китай (Нинся) »База данных
Aurora PostgreSQL поддерживает машинное обучение, экспорт в Amazon S3 и новые дополнительные версии Теперь можно восстанавливать резервные копии таблиц Amazon DynamoDB в виде новых таблиц в других регионах AWS » Сервис Amazon Managed Cassandra теперь позволяет оптимизировать расходы на оплату пропускной способности прогнозируемых рабочих нагрузок » Amazon Neptune теперь поддерживает остановку и запуск кластеров баз данных » В Amazon Neptune теперь принудительно используются SSL-подключения » Amazon RDS on VMware может сообщать о состоянии отсутствия подключения » Amazon RDS for SQL Server теперь поддерживает инстансы Z1d » Amazon RDS for SQL Server теперь поддерживает подключение к домену с разных аккаунтов AWS и виртуальных частных облаков с использованием управляемого Microsoft AD » Amazon RDS for Oracle теперь поддерживает Oracle OLAP » Amazon RDS for Oracle теперь поддерживает стандарт FIPS 140-2 для протокола SSL » Amazon RDS для PostgreSQL поддерживает новые дополнительные версии 11.6, 10.11, 9.6.16 и 9.5.20 » Amazon RDS for PostgreSQL теперь поддерживает дополнительные размеры для классов инстансов db.m5 и db.r5 » Объявляем о поддержке Microsoft Azure Active Directory для Amazon Redshift »Сеть и доставка контента
Сервис AWS App Mesh теперь доступен в регионах Европа (Стокгольм), Южная Америка (Сан-Паулу) и Ближний Восток (Бахрейн) »Инструменты для разработчиков
Правила уведомлений для AWS CodeCommit, AWS CodeBuild и AWS CodeDeploy теперь доступны в Гонконге и Бахрейне » Теперь можно получать уведомления об утверждениях запросов на вывод в AWS CodeCommit » В AWS AppSync теперь доступна интеграция с AWS X-Ray и поддержка информационных объектов GraphQL » В AWS AppConfig теперь доступна поддержка AWS CloudFormation »Инструменты управления
В AWS CloudFormation StackSets стали доступны автоматические развертывания для разных аккаунтов и регионов с использованием AWS Organizations » Поддержка AWS Config для Amazon SQS теперь доступна в коммерческих регионах AWS и регионе AWS GovCloud (US) » В мобильном приложении консоли AWS теперь поддерживаются новые сервисы в iOS » В AWS Systems Manager теперь можно автоматически утверждать обновления по дате » AWS Managed Services (AMS) поддерживает дополнительные сервисы AWS » Инструмент AWS Well-Architected Tool теперь поддерживает AWS Serverless Lens » В AWS Security Hub появились проверки безопасности на соответствие стандарту PCI DSS »
Мультимедийные сервисы
Теперь в AWS Elemental MediaConnect поддерживается до 50 выходов на поток »Безопасность, идентификация и соответствие требованиям
Сервис Amazon Cognito User Pools теперь поддерживает ввод псевдонимов пользователей без учета регистра » AWS Directory Service повышает уровень безопасности взаимодействия приложений AWS и Active Directory, используя усовершенствования LDAP в области безопасности » AWS Shield Advanced теперь поддерживает обнаружение атак с учетом работоспособности » Доступно новое краткое руководство по развертыванию референсной архитектуры IRAP PROTECTED в облаке AWS для соблюдения нормативных требований » В Amazon Elasticsearch Service теперь можно настроить детализированный доступ к данным »Машинное обучение
Сервис Amazon Comprehend теперь доступен в регионах AWS Азия и Тихий океан (Сеул), Азия и Тихий океан (Токио) и Азия и Тихий океан (Мумбаи) » Amazon Forecast теперь использует данные о государственных праздниках из более 30 стран для повышения точности прогнозирования » Amazon Personalize теперь может использовать в 10 раз больше атрибутов элементов с целью повышения актуальности рекомендаций » Amazon Rekognition теперь распознает текст в видео и позволяет фильтровать результаты по региону, объединяя размер полей и степень уверенности »Аналитика
Amazon MSK увеличивает лимит брокеров на кластер по умолчанию до 30 брокеров » В AWS Data Exchange появились уведомления по электронной почте для запросов на подписку »Мобильные сервисы
Amazon Pinpoint обеспечивает соответствие стандарту HIPAA для СМС-канала »
Интеграция приложений
Представляем фильтрацию контента для Amazon EventBridge »Взаимодействие с клиентами
Доступно новое краткое руководство по развертыванию интегрированной с Poly панели управления Amazon Connect CCP в AWS »Потоковая передача приложений для рабочего стола
Новый выпуск клиента Amazon WorkSpaces »Интернет вещей
Доступен сервис AWS IoT Device Tester версии 1.7.0 для FreeRTOS »Разработка игр
Сегментарные системные обновления и NVIDIA Cloth Gem доступны в бета-версии Lumberyard 1.23 »Робототехника
AWS RoboMaker теперь поддерживает пакетное создание заданий моделирования с помощью одного API-вызова »Партнерская сеть AWS (APN)
Уже доступны: обновленные версии двух цифровых курсов для партнеров APN »

Каждая компания видит, что объем данных растет экспоненциально, и кажется, что нет способа уменьшить количество данных, на которые мы полагаемся каждый день. Но в то же время мы должны извлечь ценность из этих данных, чтобы оптимизировать, улучшить и ускорить наш бизнес и то, как мы работаем. Для этого необходимо хранить, вычислять и расширять большое количество данных, для чего нужны конкретные решения. В частности, для больших баз данных, распределенных баз данных, кластеров больших данных и других ресурсоемких рабочих нагрузок требуются серверы с высокопроизводительными устройствами хранения, предназначенными для выполнения операций чтения / записи с оптимальной скоростью.



В OVHcloud мы любим прагматичные решения. В этом духе несколько месяцев назад мы начали предлагать графические процессоры в нашем публичном облаке, то есть предоставлять виртуальные машины с графическими процессорами. Но виртуализация GPU в настоящее время не может обеспечить требуемый уровень производительности, поэтому мы решили связать GPU напрямую с виртуальными машинами, избегая уровня виртуализации. KVM — гипервизор нашего Public Cloud — использует libvirt, которая имеет функцию PCI passthrough, которая оказалась именно тем, что нам нужно для этой цели.


Чтобы обеспечить наилучшую производительность хранилища, мы работали с рядом наших клиентов на PoC, который использовал ту же функцию PCI Passthrough, чтобы включить самое быстрое устройство хранения в наши экземпляры Public Cloud: карты NVMe с 1,8 ТБ места.

Когда дело доходит до хранения и данных о клиентах, мы должны быть уверены, что когда клиент удаляет и выпускает экземпляр, мы должным образом очищаем устройство, прежде чем передать его другому экземпляру. В этом случае мы установили патч OpenStack Nova, чтобы полностью стереть устройство. Короче говоря, когда клиент выпускает экземпляр IOPS, он помещается в карантин, где внутренние инструменты будут запускать необходимые действия по удалению на устройстве. После того, как это сделано и проверено, устройство и слот экземпляра возвращаются в Nova как «доступные».


Вы говорите быстро, но как быстро?
Давайте рассмотрим некоторые конкретные примеры и потратим время, чтобы оценить потрясающую скорость этих новых экземпляров! Мы будем использовать самую большую модель экземпляра и запустим стенд ввода-вывода на RAID 0. Таким образом, мы увидим, каковы ограничения, когда мы нацелены на самое быстрое решение для хранения данных на простом экземпляре Public Cloud.

Сначала создайте экземпляр i1-180, используя CLI OpenStack.
$ openstack server create --flavor i1-180 --image "Ubuntu 19.04" \ --net Ext-Net --key-name mykey db01
Проверьте устройства NVMe на экземпляре.
$ lsblk | grep nvme nvme2n1 259:0 0 1.8T 0 disk nvme1n1 259:1 0 1.8T 0 disk nvme0n1 259:2 0 1.8T 0 disk nvme3n1 259:3 0 1.8T 0 disk
У нас есть четыре устройства NVMe, поэтому давайте создадим RAID 0 с ними.
$ mdadm --create /dev/md1 --level 0 --raid-devices 4 \ /dev/nvme0n1 /dev/nvme1n1 /dev/nvme2n1 /dev/nvme3n1 mdadm: Defaulting to version 1.2 metadata mdadm: array /dev/md1 started
Теперь мы отформатируем рейдовое устройство.
$ mkfs.xfs /dev/md1 meta-data=/dev/md1 isize=512 agcount=32, agsize=58601344 blks = sectsz=512 attr=2, projid32bit=1 = crc=1 finobt=1, sparse=0, rmapbt=0, reflink=0 data = bsize=4096 blocks=1875243008, imaxpct=5 = sunit=128 swidth=512 blks naming =version 2 bsize=4096 ascii-ci=0 ftype=1 log =internal log bsize=4096 blocks=521728, version=2 = sectsz=512 sunit=8 blks, lazy-count=1 realtime =none extsz=4096 blocks=0, rtextents=0
После монтирования файловой системы в / mnt мы готовы запустить тест.

Читать тест
Мы начнем с теста чтения, используя блоки 4k, и, поскольку у нас 32 vCores для этой модели, мы будем использовать 32 задания. Пойдем!
$ fio --bs=4k --direct=1 --rw=randread --randrepeat=0 \ --ioengine=libaio --iodepth=32 --runtime=120 --group_reporting \ --time_based --filesize=64m --numjobs=32 --name=/mnt/test /mnt/test: (g=0): rw=randread, bs=® 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=libaio, iodepth=32 [...] fio-3.12 Starting 32 processes Jobs: 32 (f=32): [r(32)][100.0%][r=9238MiB/s][r=2365k IOPS][eta 00m:00s] /mnt/test: (groupid=0, jobs=32): err= 0: pid=3207: Fri Nov 29 16:00:13 2019 read: IOPS=2374k, BW=9275MiB/s (9725MB/s)(1087GiB/120002msec) slat (usec): min=2, max=16031, avg= 7.39, stdev= 4.90 clat (usec): min=27, max=16923, avg=419.32, stdev=123.28 lat (usec): min=31, max=16929, avg=427.64, stdev=124.04 clat percentiles (usec): | 1.00th=[ 184], 5.00th=[ 233], 10.00th=[ 269], 20.00th=[ 326], | 30.00th=[ 363], 40.00th=[ 388], 50.00th=[ 412], 60.00th=[ 437], | 70.00th=[ 465], 80.00th=[ 506], 90.00th=[ 570], 95.00th=[ 635], | 99.00th=[ 775], 99.50th=[ 832], 99.90th=[ 971], 99.95th=[ 1037], | 99.99th=[ 1205] bw ( KiB/s): min=144568, max=397648, per=3.12%, avg=296776.28, stdev=46580.32, samples=7660 iops : min=36142, max=99412, avg=74194.06, stdev=11645.08, samples=7660 lat (usec) : 50=0.01%, 100=0.02%, 250=7.41%, 500=71.69%, 750=19.59% lat (usec) : 1000=1.22% lat (msec) : 2=0.07%, 4=0.01%, 10=0.01%, 20=0.01% cpu : usr=37.12%, sys=62.66%, ctx=207950, majf=0, minf=1300 IO depths : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=100.0%, >=64=0.0% submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0% complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.1%, 64=0.0%, >=64=0.0% issued rwts: total=284924843,0,0,0 short=0,0,0,0 dropped=0,0,0,0 latency : target=0, window=0, percentile=100.00%, depth=32 Run status group 0 (all jobs): READ: bw=9275MiB/s (9725MB/s), 9275MiB/s-9275MiB/s (9725MB/s-9725MB/s), io=1087GiB (1167GB), run=120002-120002msec Disk stats (read/write): md1: ios=284595182/7, merge=0/0, ticks=0/0, in_queue=0, util=0.00%, aggrios=71231210/1, aggrmerge=0/0, aggrticks=14348879/0, aggrin_queue=120, aggrutil=99.95% nvme0n1: ios=71231303/2, merge=0/0, ticks=14260383/0, in_queue=144, util=99.95% nvme3n1: ios=71231349/0, merge=0/0, ticks=14361428/0, in_queue=76, util=99.89% nvme2n1: ios=71231095/0, merge=0/0, ticks=14504766/0, in_queue=152, util=99.95% nvme1n1: ios=71231096/4, merge=0/1, ticks=14268942/0, in_queue=108, util=99.93%
2,370 тыс. Операций ввода-вывода в секунду Это потрясающие фигуры, не так ли?

Написать тест
Готов к тесту записи?
$ fio --bs=4k --direct=1 --rw=randwrite --randrepeat=0 --ioengine=libaio --iodepth=32 --runtime=120 --group_reporting --time_based --filesize=64m --numjobs=32 --name=/mnt/test /mnt/test: (g=0): rw=randwrite, bs=® 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=libaio, iodepth=32 [...] fio-3.12 Starting 32 processes Jobs: 32 (f=32): [w(32)][100.0%][w=6702MiB/s][w=1716k IOPS][eta 00m:00s] /mnt/test: (groupid=0, jobs=32): err= 0: pid=3135: Fri Nov 29 15:55:10 2019 write: IOPS=1710k, BW=6680MiB/s (7004MB/s)(783GiB/120003msec); 0 zone resets slat (usec): min=2, max=14920, avg= 6.88, stdev= 6.20 clat (nsec): min=1152, max=18920k, avg=587644.99, stdev=735945.00 lat (usec): min=14, max=18955, avg=595.46, stdev=736.00 clat percentiles (usec): | 1.00th=[ 21], 5.00th=[ 33], 10.00th=[ 46], 20.00th=[ 74], | 30.00th=[ 113], 40.00th=[ 172], 50.00th=[ 255], 60.00th=[ 375], | 70.00th=[ 644], 80.00th=[ 1139], 90.00th=[ 1663], 95.00th=[ 1991], | 99.00th=[ 3490], 99.50th=[ 3949], 99.90th=[ 4686], 99.95th=[ 5276], | 99.99th=[ 6521] bw ( KiB/s): min=97248, max=252248, per=3.12%, avg=213714.71, stdev=32395.61, samples=7680 iops : min=24312, max=63062, avg=53428.65, stdev=8098.90, samples=7680 lat (usec) : 2=0.01%, 4=0.01%, 10=0.01%, 20=0.86%, 50=11.08% lat (usec) : 100=15.35%, 250=22.16%, 500=16.34%, 750=6.69%, 1000=5.03% lat (msec) : 2=17.66%, 4=4.38%, 10=0.44%, 20=0.01% cpu : usr=20.40%, sys=41.05%, ctx=113183267, majf=0, minf=463 IO depths : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=100.0%, >=64=0.0% submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0% complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.1%, 64=0.0%, >=64=0.0% issued rwts: total=0,205207842,0,0 short=0,0,0,0 dropped=0,0,0,0 latency : target=0, window=0, percentile=100.00%, depth=32 Run status group 0 (all jobs): WRITE: bw=6680MiB/s (7004MB/s), 6680MiB/s-6680MiB/s (7004MB/s-7004MB/s), io=783GiB (841GB), run=120003-120003msec Disk stats (read/write): md1: ios=0/204947351, merge=0/0, ticks=0/0, in_queue=0, util=0.00%, aggrios=0/51301962, aggrmerge=0/0, aggrticks=0/27227774, aggrin_queue=822252, aggrutil=100.00% nvme0n1: ios=0/51302106, merge=0/0, ticks=0/29636384, in_queue=865064, util=100.00% nvme3n1: ios=0/51301711, merge=0/0, ticks=0/25214532, in_queue=932708, util=100.00% nvme2n1: ios=0/51301636, merge=0/0, ticks=0/34347884, in_queue=1089896, util=100.00% nvme1n1: ios=0/51302396, merge=0/0, ticks=0/19712296, in_queue=401340, util=100.00%

1710 тыс. Операций ввода-вывода в секунду при операции записи… Представьте себе, что вы могли бы сделать с таким решением для ваших баз данных или других высокоинтенсивных транзакционных сценариев использования.

Конечно, мы представляем оптимальный сценарий для этого примера. RAID 0 изначально опасен, поэтому любой сбой на одном из устройств NVMe может повредить ваши данные. Это означает, что вы обязательно должны создавать резервные копии для ваших важных данных, но это само по себе открывает много новых возможностей. Так что мы на 100% уверены, что ваши базы данных полюбят эти экземпляры! Вы можете найти более подробную информацию о них на нашем веб-сайте Public Cloud.
www.ovh.ie/public-cloud/iops/