Google Cloud Platform

Предприятия ускоряют цифровую трансформацию, перемещая все больше и больше рабочих нагрузок в облако. Однако облако часто может быть сложным с незнакомыми инструментами для управления большим парком виртуальных машин (ВМ) и управления им. В частности, управление безопасностью инфраструктуры и видимость соответствия в облачном масштабе может быть сложной задачей для администраторов инфраструктуры и операций. Клиенты говорят нам, что им нужны упрощенные облачные инструменты для работы и управления своими облачными ресурсами, аналогичные их знакомым инструментам управления локальной инфраструктурой.

Сегодня мы рады анонсировать VM Manager, набор инструментов управления инфраструктурой, который упрощает и автоматизирует обслуживание большого парка виртуальных машин Compute Engine. Это облачное решение ориентировано на инфраструктуру масштаба Google и предоставляет упрощенный набор инструментов для автоматизированной отчетности о соответствии требованиям и масштабного развертывания программного обеспечения.

Автоматизированные функции VM Manager упрощают и сокращают сложность обеспечения соответствия, наблюдаемости и поддержания безопасности большого парка виртуальных машин. Он оснащен единой информационной панелью для повышения прозрачности соблюдения нормативных требований и отслеживания данных инвентаризации в реальном времени для получения полезных аналитических данных и поддержания максимальной производительности инфраструктуры. Пакет поддерживает наиболее распространенные среды операционных систем Windows и Linux и включает следующие службы:

• Управление исправлениями: эта услуга поддерживает ваши системы в актуальном состоянии от уязвимостей, позволяя применять исправления ОС к набору виртуальных машин, получать данные о соответствии исправлений в средах вашей ОС и автоматизировать установку исправлений ОС на виртуальных машинах — все из одной централизованной расположение.
• Служба управления исправлениями состоит из двух основных компонентов: отчетов о соответствии исправлений, которые предоставляют информацию о состоянии исправлений ваших виртуальных машин в дистрибутивах Windows и Linux; и развертывание исправлений, которое автоматизирует процесс обновления исправлений ОС и программного обеспечения. Развертывание исправлений планирует задания исправлений.
• Управление конфигурацией: эта служба позволяет развертывать, запрашивать и поддерживать согласованные конфигурации для ваших виртуальных машин. Он поставляется с функциями автоматического исправления, чтобы уменьшить ручные усилия и поддерживать соответствие вашего парка. Гостевые политики на каждой виртуальной машине Compute Engine обеспечивают согласованность конфигураций программного обеспечения.

С инфраструктурой, которая поддерживает сотни миллионов игроков по всему миру, поддержание согласованных конфигураций наших экземпляров виртуальных машин имеет решающее значение. Управление конфигурацией сократило ручные усилия, связанные с этим процессом, благодаря функциям, которые позволяют King управлять нашими ресурсами в любом масштабе

Мартин Данко, старший инженер DevOps, King.com

• Управление инвентаризацией позволяет собирать информацию о вашей ОС и пакете. Вы можете определить, на каких виртуальных машинах работает определенная версия системы ОС, просмотреть пакеты, установленные на виртуальной машине, создать список обновлений пакетов, доступных для каждой виртуальной машины, и определить отсутствующие пакеты, обновления или исправления для виртуальной машины.
• Управление запасами интегрировано с другим продуктом Google Cloud, Cloud Asset Inventory, чтобы упростить просмотр, мониторинг и анализ данных вашего парка Google Cloud.

В дополнение к вышесказанному у VM Manager есть четкая дорожная карта интересных возможностей, которые будут запущены в ближайшие месяцы, так что следите за обновлениями.
cloud.google.com/asset-inventory/docs/overview

С легкостью управляйте крупнейшим автопарком
VM Manager снижает сложность, улучшает отчетность по безопасности и соответствию, а также упрощает мониторинг ресурсов в большой облачной среде. Используя преимущества автоматизированных инструментов для поддержания систем в актуальном состоянии, снижения риска простоев и повышения производительности внутренних пользователей, первые пользователи VM Manager сообщают нам, что это позволяет их ИТ-администраторам сосредоточиться на других критически важных для бизнеса задачах.

Мы очень рады запуску VM Manager в Google Cloud. Управление облачной инфраструктурой является проблемой для предприятий любого размера, и мы уже добились повышения эффективности с помощью автоматизированных функций Patch и Configuration Manager как для себя, так и для наших клиентов. Atos рада предоставить клиентам дополнительную ценность с помощью облачного решения Google Cloud для управления большим парком виртуальных машин

Овидиу Хулеан, архитектор башни, Atos

В 2021 году мало что можно сказать наверняка, но на что вы можете рассчитывать, так это на приверженность Google Cloud нашим клиентам и лидерство в области открытого облака. Поддержка нескольких рабочих нагрузок и встречи с клиентами там, где они находятся, является частью этого обязательства по открытому облаку, как и Bare Metal Solution, наше решение для выполнения рабочих нагрузок баз данных Oracle в Google Cloud.

Поскольку мы продолжаем разработку Bare Metal Solution для удовлетворения ваших потребностей и удовлетворения ваших потребностей там, где вы находитесь, мы объявляем о трех усовершенствованиях Bare Metal Solution:

• Доступность в Монреале, нашем 10-м регионе;
• Новый 8-ядерный сервер меньшего размера;
• Поддержка PCI DSS и HIPAA.

В 2021 году мы продолжим наращивать динамику решения Google Cloud Bare Metal, которое позволяет предприятиям запускать базы данных Oracle рядом с Google Cloud с чрезвычайно низкой задержкой. Посмотрите, как StubHub использует Bare Metal Solution, чтобы уменьшить свою зависимость от Oracle, снизить общие затраты и повысить производительность.

Новые регионы, чтобы встретить вас там, где вы находитесь
В прошлом году мы запустили Bare Metal Solution в пяти регионах и за год добавили еще четыре. Запустив сегодня Bare Metal Solution в Монреале, мы начинаем этот год с доставки Bare Metal Solution в Канаду, чтобы обеспечить наших клиентов доступностью на местном уровне. Мы запустим Bare Metal Solution во множестве других новых регионов в 2021 году (и даже в некоторых регионах, где доступны два региона). Мы понимаем, что для наших клиентов необходимы местные варианты, поэтому, если вы заинтересованы в Bare Metal Solution, обратитесь к своему торговому представителю, и мы поможем вам ознакомиться с нашей дорожной картой. Ниже зеленым цветом показаны 10 регионов GA:


Сервер меньшего размера, чтобы помочь вам сэкономить на лицензировании и затратах на оборудование
Чтобы помочь вам оптимизировать рабочие нагрузки и сократить расходы, мы добавили новый 8-ядерный сервер меньшего размера в нашу линейку во всех регионах. Этот новый 8-ядерный сервер, в котором используются наши современные вычислительные ресурсы, хранилище и сеть, означает, что переход на Bare Metal Solution может помочь уменьшить объем вашего оборудования и, таким образом, потенциально снизить затраты на лицензирование Oracle, которые часто зависят от количество ядер. Вот наша полная линейка серверов Bare Metal, доступных во всех наших регионах:


PCI DSS и HIPAA для поддержки рабочих нагрузок вашего предприятия
И последнее, но не менее важное: решение Bare Metal Solution теперь может помочь клиентам обеспечить соответствие требованиям PCI DSS и HIPAA. Поддержка PCI DSS позволит нашим розничным партнерам передавать данные кредитных карт своих клиентов и выполнять свои рабочие нагрузки в соответствии со Стандартами безопасности данных индустрии платежных карт (PCI DSS). Поддержка HIPAA также означает, что наши партнеры в сфере здравоохранения могут предоставлять медицинские данные своих клиентов и выполнять свои рабочие нагрузки в соответствии с требованиями Закона о переносимости и подотчетности медицинского страхования (HIPAA). По мере того, как мы расширяемся в новые регионы и работаем над улучшением возможностей конкретных отраслей, вы можете ожидать в будущем объявлений о региональных и отраслевых сертификатах.

Когда вы устраняете неполадки в приложении или развертывании, на счету каждая секунда! Cloud Logging помогает устранять неполадки путем объединения журналов из Google Cloud, локальных или других облаков, индексации, объединения журналов в метрики, сканирования уникальных ошибок с помощью отчетов об ошибках и предоставления журналов для поиска менее чем за минуту. А теперь мы создали две новые функции для потоковой передачи журналов, чтобы вы могли получить еще более свежую информацию на основе данных журналов.

По многочисленным просьбам пользователей Linux мы добавили новый инструмент для имитации поведения команды tail -f, который позволяет отображать содержимое файла журнала на консоли в режиме реального времени. Мы также включили обновления, выходящие за рамки любимого хвостового инструмента, такие как одновременный поиск по всем журналам из всех ваших ресурсов и возможность использовать мощный язык запросов журнала Cloud Logging, включая глобальный поиск, регулярные выражения, совпадения подстрок и т. Д., Все все еще в режиме реального времени.

Вы можете использовать язык запросов журналов с новой функцией в реальном времени, чтобы находить информацию в журналах в режиме реального времени. Например, предположим, что вы только что развернули новое приложение и хотите просмотреть все журналы ошибок:

gcloud alpha logging tail "severity> = ERROR"

Но это возвращает слишком много результатов, поэтому вы сужаете область до журналов, содержащих текст «валюта»:

gcloud alpha logging tail "серьезность> = ОШИБКА И валюта"

Этот поиск возвращает значимый набор журналов, все еще в реальном времени.

Отслеживание журналов с gcloud теперь доступны для всех пользователей в Preview. Зайдите в нашу документацию, чтобы настроить ее и начать следить.

А если вы предпочитаете использовать Google Cloud Console, у нас для вас тоже есть отличные новости. Теперь вы можете передавать журналы в проводник журналов, а также легко выполнять потоковую передачу, приостанавливать, исследовать, связывать с трассировками, возобновлять потоковую передачу, визуализировать счетчики и загружать журналы — все из облачной консоли.

Итак, предпочитаете ли вы командную строку tail -f или специальный пользовательский интерфейс для изучения журналов, ознакомьтесь с новыми инструментами Cloud Logging и сэкономьте время на устранение неполадок.
cloud.google.com/sdk/gcloud/reference/alpha/logging/tail
cloud.google.com/logging/docs/view/logs-viewer-interface

В этом году мы стали свидетелями огромных изменений не только в нашей повседневной жизни, но и в том, как работает бизнес. Для нас это частично означало помощь предприятиям в переносе и модернизации наиболее важных корпоративных рабочих нагрузок — например, SAP, Windows и VMware — в Google Cloud, что помогало им добиться масштабируемости, гибкости и экономии средств. Давайте быстро оглянемся на прогресс, которого мы достигли в этом году, и на то, что нас ждет впереди.

SAP в Google Cloud обеспечивает гибкость
Среда SAP часто находится в самом центре деятельности предприятия. От финансового учета до управления цепочкой поставок и управления человеческим капиталом — приложения SAP требуют высочайшего уровня гибкости, безопасности и времени безотказной работы. Заказчики, рассматривающие возможность миграции SAP в облако, стремятся улучшить свои возможности по обеспечению непрерывности бизнеса. Им необходимо безопасное облако с повышенной надежностью, сетью и высокой производительностью. Они выделяются возможностями анализа данных и машинного обучения. И они хотят, чтобы миграция в облако была свободна от драматизма и сбоев, которые обычно сопровождают проекты корпоративного программного обеспечения.

В июне 2020 года компания Forrester провела оценку SAP в Google Cloud и нашла впечатляющие результаты для клиентов, планирующих миграцию:

• Компании, внедряющие SAP в Google Cloud, экономят в среднем более 3 миллионов долларов в год за счет отказа от покупки оборудования, оптимизации лицензий на программное обеспечение и оптимизации своего ИТ-персонала, а также за счет других средств повышения эффективности работы.
• Миграция сред SAP в Google Cloud эффективно устранила беспокойство клиентов по поводу времени безотказной работы системы, и они сэкономили 1,5 миллиона долларов в год, избегая проблем с простоями.
• Google Cloud значительно снизил влияние узких мест на сервере, сбоев инфраструктуры, проблем с пропускной способностью сети и других проблем с производительностью, что привело к увеличению производительности на 500 000 долларов в среднем для каждого пользователя SAP в Google Cloud.
• В зависимости от типа льгот пробег может быть разным. Но из этих исследований проявилась ясная история: внедрение SAP в Google Cloud оказалось инвестицией, которая быстро окупается.

inthecloud.withgoogle.com/forrester-economic-sap/dl-cd.html

Сократите затраты на лицензии Microsoft и Windows
Многие компании не захотели стать «магазинами Windows», но полагались на платформы Microsoft в результате многолетнего роста, приобретений и изменений. Давние пользователи Microsoft часто стремятся снизить свои затраты на лицензирование, избежать блокировки и лучше использовать открытые стандарты и программное обеспечение с открытым исходным кодом, а также убедиться, что их инвестиции в приложения Windows Server являются вопросом выбора.

Google Cloud предлагает продуманный путь к миграции и модернизации рабочих нагрузок Microsoft. За последний год мы вложили значительные средства в предоставление первоклассных возможностей для Windows Server и других платформ Microsoft, таких как SQL Server и .NET в Google Cloud. Вот некоторые из основных моментов, которые вы могли пропустить:

• Группа Enterprise Strategy Group оценила преимущества переноса рабочих нагрузок Microsoft в Google Cloud.
• IDC обнаружила, что Google Cloud является идеальной платформой для приложений на базе Windows Server.
• Мы представили способы помочь вам снизить затраты на лицензии с помощью CPU Overcommit, миграции с Windows Server 2008 и запуска контейнеров Windows в GKE.
• Мы запустили функции, упрощающие управление виртуальными машинами Windows Server в Google Cloud.
• Мы также запустили управляемый SQL Server и управляемые службы Active Directory.
• Google Cloud анонсировала новое партнерское решение для виртуальных рабочих столов, которое вернет удаленных сотрудников к работе

Google Cloud VMware Engine обеспечивает беспрепятственный успех облака
Каждое предприятие стремится принять стратегию, ориентированную на облако, но сделать это легче сказать, чем сделать. Google Cloud VMware Engine позволяет обойти проблемы переноса и модернизации критически важных рабочих нагрузок в облако, позволяя легко переносить рабочие нагрузки VMware из локальных центров обработки данных непосредственно в Google Cloud.

Google Cloud VMware Engine стал общедоступным в США в июне. С тех пор мы быстро расширили доступность до восьми регионов в Северной и Южной Америке, Европе и Азиатско-Тихоокеанском регионе, а в следующем году мы планируем увеличить количество доступных. Мы также стали свидетелями значительного принятия решений предприятиями в таких отраслях, как розничная торговля, финансы, здравоохранение и биологические науки, а также рост спроса на решения виртуальных рабочих столов (VDI) для сотрудников, которые быстро начали работать из дома.

Мы также наладили партнерские отношения с разработчиками защиты данных и DR, чтобы вы могли легко перейти в облако. Google Cloud VMware Engine интегрирован с Actifio, Zerto, Veeam, NetApp, Dell Technologies и другими, помогая вам использовать те же технологии защиты данных, которые вы используете локально, в Google Cloud, без необходимости изменять свои приложения.

Отсюда становится только лучше
С нетерпением ожидая 2021 года, мы стремимся встретить каждую организацию, где бы она ни находилась на пути к облаку, с широким спектром специализированных услуг, инфраструктуры и инструментов для упрощения процесса. Наши возможности миграции недавно сделали еще один большой шаг вперед с программой быстрой оценки и миграции Google Cloud (RAMP). Это целостная, сквозная программа миграции с еще большим набором инструментов, стимулов и предложений, которые помогут вам спланировать и осуществить успешный перенос. Независимо от того, через что прошел ваш бизнес в этом году, вот до 2021 года — это все, на что вы надеетесь!
cloud.google.com/blog/products/cloud-migration/google-cloud-ramp-program-simplifies-cloud-migration

Команда Google Maps Platform стремится предоставить нашим пользователям максимально возможный уровень обслуживания. Тем не менее, время от времени случаются непредвиденные сбои в обслуживании. Когда ваша команда испытывает сбой или другую техническую проблему, одна из первых оценок, которую они должны сделать, заключается в том, связана ли проблема со сторонним поставщиком услуг или внутри компании. В рамках нашей приверженности прозрачности и скорости передачи информации о состоянии наших продуктов и инцидентах, когда они происходят, мы развернули панель общедоступного статуса платформы Google Maps.
status.cloud.google.com/maps-platform/


Панель общедоступного статуса предоставляет информацию о статусе продуктов, которые общедоступны и покрываются соглашением об уровне обслуживания платформы Google Maps. Вы можете проверить панель управления, чтобы просмотреть текущий статус любой из этих служб. Вы даже можете нажать «Просмотреть историю», чтобы увидеть инциденты, произошедшие за последние 365 дней. Инциденты, отображаемые на панели инструментов, классифицируются как сбои (оранжевый) или простои (красный) в зависимости от их серьезности. Все инциденты сначала проверяются нашими инженерами службы поддержки, поэтому может быть небольшая задержка с момента, когда они действительно произошли.

Для быстрого доступа к панели управления вы можете добавить сайт в закладки. А в ближайшем будущем вы сможете использовать веб-каналы для push-уведомлений. Если у вас возникла проблема, которой нет в списке на панели инструментов, обратитесь в службу поддержки. А чтобы узнать больше о том, что публикуется на панели управления, просмотрите этот FAQ.

Панель общедоступного статуса — это первое место, где вы можете проверить, когда вы обнаружите, что проблема затрагивает вас. Но это не единственный способ сообщить об известных или зарегистрированных проблемах и оказать поддержку. В зависимости от вашей конкретной ситуации и потребностей вы также можете воспользоваться одним из других наших ресурсов. Вот краткое изложение некоторых других, о которых вам следует знать:

Трекер проблем
В нашей общедоступной системе отслеживания проблем мы активно ведем список известных и зарегистрированных проблем. Средство отслеживания проблем включает технические проблемы, которые недостаточно серьезны для отображения на панели состояния. Здесь вы можете легко просмотреть ошибки, о которых уже сообщали, и добавить свои собственные комментарии, чтобы помочь нашим командам исследовать проблемы или найти обходные пути. В случае сбоя в работе в разделе поддержки карт Google Cloud Console появится баннерное сообщение со ссылкой на средство отслеживания проблем для получения дополнительной информации о состоянии проблемы в режиме реального времени. Если вы хотите сообщить об ошибке или получить новую функцию, начните с подачи запроса. Добавление образца кода или снимка экрана поможет нам определить проблему и быстрее отреагировать.
issuetracker.google.com/savedsearches/5050992

Группы уведомлений по электронной почте
Чтобы получать технические обновления продуктов платформы Google Maps, уведомления о сбоях и объявления о функциях, вам следует подписаться на нашу группу уведомлений по электронной почте, чтобы получать обновления прямо на свой почтовый ящик.
groups.google.com/a/googlemaps.community/forum/#!forum/google-maps-platform-notifications

Основные контакты
Скоро мы начнем отправлять важные уведомления вашим основным контактам. Чтобы настроить, какие члены команды будут получать эти уведомления платформы Google Maps в ближайшем будущем, вы можете настроить свои основные контакты в Google Cloud Console, указав свой собственный список контактов. Вы можете добавлять как отдельных лиц, так и псевдонимы групп, чтобы превентивно снизить влияние кадровых изменений. Вы можете узнать больше о категориях уведомлений и о том, как включить основные контакты здесь.
cloud.google.com/resource-manager/docs/managing-notification-contacts

От понимания нашего происхождения до предсказания будущих событий — одни из величайших прорывов, которых мы сделали на Земле, были достигнуты благодаря изучению Вселенной. Высокопроизводительные вычисления и машинное обучение (ML) ускоряют этот вид исследований беспрецедентными темпами. В Google Cloud мы гордимся тем, что играем хотя бы небольшую роль в развитии науки астрономии, и поэтому мы рады сегодня рассказать о новой работе с обсерваторией Веры К. Рубин в Чили и исследователями из Калифорнийского технологического института..

Облачный фундамент для 20 ТБ наблюдений за ночным небом
В рамках новаторского сотрудничества Обсерватория Рубина заключила трехлетнее соглашение о размещении своего Временного центра данных (IDF) в Google Cloud. Благодаря этому сотрудничеству Рубин будет обрабатывать астрономические данные, собранные обсерваторией, и предоставлять данные сотням пользователей в научном сообществе в преддверии своего 10-летнего проекта Legacy Survey of Space and Time (LSST).

LSST направлен на проведение глубокого обзора огромной площади неба для создания астрономического каталога, в тысячи раз большего, чем любой ранее составленный обзор. Используя 8,4-метровый обзорный телескоп Simonyi и гигапиксельную камеру LSST, в течение 10 лет каждую ночь будет сниматься около 1000 изображений неба. Эти изображения с высоким разрешением будут содержать данные примерно о 20 миллиардах галактик и аналогичном количестве звезд, предоставляя исследователям беспрецедентный ресурс для понимания структуры и эволюции нашей Вселенной с течением времени. Создав IDF на базе Google Cloud, Обсерватория Рубина заложит основу для управления огромным набором данных — всего 500 петабайт, — который в конечном итоге будет доступен научному сообществу в масштабах и гибкости.

«Нам очень приятно работать с Google Cloud над этим проектом, который окажет большое и положительное влияние на нашу способность предоставлять услуги сообществу Rubin», — говорит Боб Блюм, исполняющий обязанности директора по эксплуатации обсерватории Рубина.

«Нам не нужно создавать инфраструктуру самостоятельно — она ​​хорошо зарекомендовала себя, была протестирована и улучшена для других пользователей, поэтому мы получаем от этого выгоду», — объясняет Синь-Фанг Чан, научный аналитик и инженер по управлению данными из обсерватории Рубин, и один из первых пользователей IDF.

Обсерватория Рубина будет использовать Google Cloud Storage и Google Kubernetes Engine, а Google Workspace обеспечит продуктивность и сотрудничество.

Исследователь из Калифорнийского технологического института обнаружил новую комету с помощью ИИ
В то время как кометы наблюдаются относительно часто, открытие новых комет происходит редко. Центр малых планет, который отслеживает малые тела Солнечной системы в космосе, каталогизировал менее 100 новых комет в 2019 году по сравнению с примерно 21000 новых малых планет.
minorplanetcenter.net/

В конце августа 2020 года доктор Дмитрий Дуэв, научный сотрудник отдела астрономии Калифорнийского технологического института, начал пилотную программу по использованию инструментов Google Cloud для идентификации объектов, наблюдаемых Zwicky Transient Facility (ZTF) в Паломарской обсерватории в Южной Калифорнии. ZTF сканирует северное небо каждую ясную ночь, измеряя миллиарды астрономических объектов и регистрируя миллионы кратковременных явлений. Используя эти изображения, Дуэв обучил модель машинного обучения в Google Cloud определять кометы с точностью более 99%. 7 октября модель определила Comet C / 2020 T2, первое подобное открытие, приписываемое искусственному интеллекту. Это достижение делает возможным открытие новых комет значительно ускоренными темпами.

«Наличие быстрого и точного способа классификации объектов, которые мы видим в небе, произвело революцию в нашей области», — говорит Дуэв. «Это как если бы в нашем распоряжении было множество высококвалифицированных астрономов 24/7».



Заинтересованы в использовании Google Cloud, чтобы раскрыть секреты вселенной?
Это лишь некоторые из увлекательных проектов, над которыми мы работаем с нашими заказчиками в области астрономии. В апреле 2019 года телескоп Event Horizon, виртуальная комбинация восьми радиотелескопов со всего мира, использовал экземпляры виртуальных машин (ВМ) Google Cloud для создания первого изображения сверхмассивной черной дыры. И с 2018 года Google также работает в партнерстве с Frontier Development Lab над применением машинного обучения к некоторым из самых сложных проблем НАСА в нашей Вселенной: прогнозированию наводнений здесь, на Земле, поиску полезных ископаемых на Луне для поддержки постоянной базы там, и прогнозирование солнечных вспышек, которые могут нарушить спутниковую связь.

Чтобы начать или расширить свой собственный проект, мы предлагаем кредиты на исследования ученым, использующим Google Cloud для соответствующих проектов в соответствующих странах. Вы можете найти нашу форму заявки на веб-сайте Google Cloud или связаться с нашим отделом продаж. Чтобы узнать больше о поддержке исследований в астрономии и других областях, зарегистрируйтесь на саммите Google Cloud Public Sector Summit, который включает множество исследовательских сессий. Сессии начнутся 8-9 декабря и также будут доступны по запросу.
cloud.google.com/solutions/education
lp.google-mkto.com/gcp-research-credits.html
cloudonair.withgoogle.com/events/public-sector-summit

Угрозы безопасности, такие как распределенные атаки типа «отказ в обслуживании» (DDoS), нарушают работу предприятий любого размера, что приводит к отключениям и, что еще хуже, к потере доверия пользователей. Эти угрозы — серьезная причина, по которой мы в Google уделяем особое внимание надежности услуг, основанной на надежной сети.

Чтобы обеспечить надежность, мы разработали несколько инновационных способов защиты от сложных атак. В этом посте мы подробно рассмотрим DDoS-угрозы, покажем наблюдаемые тенденции и расскажем, как мы готовимся к многотерабитным атакам, чтобы ваши сайты продолжали работать.

Таксономия возможностей атакующего
С помощью DDoS-атаки злоумышленник надеется нарушить работу своей жертвы потоком бесполезного трафика. Хотя эта атака не раскрывает пользовательские данные и не приводит к компрометации, она может привести к отключению и потере доверия пользователей, если ее быстро не устранить.

Злоумышленники постоянно разрабатывают новые методы нарушения работы систем. Они дают своим атакам причудливые имена, такие как Smurf, Tsunami, XMAS tree, HULK, Slowloris, cache bust, TCP-усиление, javascript-инъекция и дюжина вариантов отраженных атак. Между тем, защитник должен учитывать все возможные цели DDoS-атаки, от сетевого уровня (маршрутизаторы / коммутаторы и пропускная способность канала) до уровня приложений (веб, DNS и почтовые серверы). Некоторые атаки могут даже не фокусироваться на конкретной цели, а вместо этого атаковать каждый IP-адрес в сети. Умножение десятков типов атак на разнообразие инфраструктуры, которую необходимо защищать, открывает бесконечные возможности.

Итак, как мы можем упростить проблему, чтобы сделать ее управляемой? Вместо того, чтобы сосредоточиться на методах атаки, Google группирует объемные атаки по нескольким ключевым показателям:

• бит / с сеть бит в секунду → атаки на сетевые ссылки
• pps сетевых пакетов в секунду → атаки на сетевое оборудование или DNS-серверы
• rps HTTP (S) запросов в секунду → атаки на серверы приложений

Таким образом, мы можем сосредоточить наши усилия на том, чтобы каждая система имела достаточную способность противостоять атакам, что измеряется соответствующими метриками.

Динамика объемов DDoS-атак
Наша следующая задача — определить мощность, необходимую для противостояния крупнейшим DDoS-атакам для каждой ключевой метрики. Правильное выполнение этого шага является необходимым шагом для эффективной работы надежной сети: избыточное выделение ресурсов приводит к потере дорогостоящих ресурсов, а недостаточное выделение ресурсов может привести к отключению.

Для этого мы проанализировали сотни значительных атак, полученных нами по перечисленным показателям, и включили достоверные отчеты, которыми поделились другие. Затем мы составляем график крупнейших атак за последнее десятилетие, чтобы выявить тенденции. (Данные за несколько лет до этого периода позволили нам решить, что использовать для первой точки данных каждой метрики.)


Экспоненциальный рост всех показателей очевиден, что часто вызывает тревожные заголовки по мере роста объемов атак. Но нам нужно учитывать экспоненциальный рост самого Интернета, который также обеспечивает пропускную способность и вычислительные ресурсы для защитников. После учета ожидаемого роста результаты не столь тревожны, но все же проблематичны.

Создание защищаемой инфраструктуры
Учитывая данные и наблюдаемые тенденции, теперь мы можем экстраполировать, чтобы определить резервную мощность, необходимую для отражения самых крупных атак, которые могут произойти.

бит / с (сетевые биты в секунду)
Наша инфраструктура поглотила DDoS со скоростью 2,5 Тбит / с в сентябре 2017 года, что стало кульминацией шестимесячной кампании, в которой использовались несколько методов атаки. Несмотря на то, что одновременно были нацелены на тысячи наших IP-адресов, предположительно в надежде обойти автоматическую защиту, атака не оказала никакого влияния. Злоумышленник использовал несколько сетей для имитации 167 млн ​​пакетов в секунду (миллионов пакетов в секунду) на 180 000 открытых серверов CLDAP, DNS и SMTP, которые затем отправляли нам большие ответы. Это демонстрирует объемы, которых может достичь злоумышленник с хорошими ресурсами: это было в четыре раза больше, чем рекордная атака со скоростью 623 Гбит / с, совершенная ботнетом Mirai годом ранее. На сегодняшний день это остается атакой с максимальной пропускной способностью, что снижает доверие к экстраполяции.
blog.google/threat-analysis-group/how-were-tackling-evolving-online-threats

pps (количество сетевых пакетов в секунду)
Мы наблюдаем устойчивую тенденцию роста: в этом году ботнет Интернета вещей совершил атаку со скоростью 690 млн пакетов в секунду. Заметным исключением стала атака 2015 года на клиентскую виртуальную машину, в которой ботнет IoT разогнался до 445 млн пакетов в секунду за 40 секунд — объем настолько велик, что мы поначалу подумали, что это сбой мониторинга!

rps (HTTP (S) запросов в секунду)
В марте 2014 года вредоносный javascript, внедренный на тысячи веб-сайтов через сетевую атаку «человек посередине», заставил сотни тысяч браузеров завалить YouTube запросами, пик которых достиг 2,7 млн ​​запросов в секунду (миллионы запросов в секунду). Это была самая крупная атака, известная нам до недавнего времени, когда клиент Google Cloud был атакован с использованием 6 Mrps. Медленный рост отличается от других показателей, что позволяет предположить, что мы недооцениваем объем будущих атак.

Хотя мы можем оценить ожидаемый размер будущих атак, нам нужно быть готовыми к неожиданностям, и поэтому мы соответствующим образом чрезмерно обеспечиваем нашу защиту. Кроме того, мы проектируем наши системы таким образом, чтобы в случае перегрузки происходило постепенное ухудшение их работы, и составляем инструкции по выполнению действий вручную при необходимости. Например, наша стратегия многоуровневой защиты позволяет нам блокировать атаки с высоким и высоким числом оборотов в секунду на сетевом уровне до того, как они достигнут серверов приложений. Изящная деградация применяется также на сетевом уровне: обширные пиринговые и сетевые списки контроля доступа, предназначенные для ограничения трафика атак, уменьшат потенциальный сопутствующий ущерб в том случае, если ссылки маловероятны при переполнении.

Дополнительные сведения о многоуровневом подходе, который мы используем для предотвращения рекордных DDoS-атак, нацеленных на наши услуги, инфраструктуру или клиентов, см. В главе 10 нашей книги «Построение безопасных и надежных систем».
landing.google.com/sre/resources/foundationsandprinciples/srs-book/

Облачная защита
Мы понимаем, что масштабы потенциальных DDoS-атак могут быть устрашающими. К счастью, развернув Google Cloud Armor, интегрированный в нашу службу балансировки нагрузки в облаке, которая может масштабироваться для защиты от массовых DDoS-атак, вы можете защитить от атак службы, развернутые в Google Cloud, других облаках или локально. Недавно мы анонсировали Cloud Armor Managed Protection, которая позволяет пользователям еще больше упростить развертывание, управлять расходами и снизить общий риск DDoS-атак и безопасности приложений.
cloud.google.com/load-balancing

Наличие достаточной мощности для отражения самых крупных атак — это лишь одна часть комплексной стратегии предотвращения DDoS-атак. Помимо обеспечения масштабируемости, наш балансировщик нагрузки завершает сетевые подключения на нашей глобальной границе, отправляя только правильно сформированные запросы в серверную инфраструктуру. В результате он может автоматически фильтровать многие типы объемных атак. Например, атаки с усилением UDP, синхронные потоки и некоторые атаки на уровне приложений будут отброшены без уведомления. Следующей линией защиты является Cloud Armor WAF, который предоставляет встроенные правила для распространенных атак, а также возможность развертывания пользовательских правил для отбрасывания оскорбительных запросов уровня приложения с использованием широкого набора семантики HTTP.

Совместная работа ради коллективной безопасности
Google работает с другими участниками интернет-сообщества, чтобы выявлять и демонтировать инфраструктуру, используемую для проведения атак. В качестве конкретного примера, даже несмотря на то, что атака 2,5 Тбит / с в 2017 году не оказала никакого воздействия, мы сообщили о тысячах уязвимых серверов их сетевым провайдерам, а также работали с сетевыми провайдерами, чтобы отследить источник поддельных пакетов, чтобы их можно было отфильтровать.

Мы призываем всех присоединиться к нам в этих усилиях. Отдельные пользователи должны убедиться, что их компьютеры и устройства Интернета вещей исправлены и защищены. Компании должны сообщать о преступной деятельности, просить своих сетевых провайдеров отслеживать источники поддельного трафика атак и делиться информацией об атаках с интернет-сообществом таким образом, чтобы не обеспечивать своевременную обратную связь с противником. Работая вместе, мы можем снизить влияние DDoS-атак.

Организации по всему миру полагаются на Cloud CDN для быстрой и надежной доставки веб-контента и видеоконтента. Теперь мы упрощаем вам использование преимуществ нашей глобальной сети и инфраструктуры кеширования, снижая стоимость Cloud CDN для доставки вашего контента в будущем.

Во-первых, мы снижаем стоимость заполнения кеша (контента, полученного из вашего источника) повсеместно до 80%. Тем не менее, вы по-прежнему получаете преимущества нашей глобальной частной магистрали для заполнения кэша, обеспечивая постоянную высокую производительность при меньших затратах. Мы также убрали плату за заполнение кеша и аннулирование кеша для всех клиентов.

Это снижение цены, наряду с нашим недавним введением нового набора гибких возможностей кэширования, делает использование Cloud CDN еще проще для оптимизации производительности ваших приложений. Cloud CDN теперь может автоматически кэшировать веб-ресурсы, видеоконтент или загружаемое программное обеспечение, точно контролировать их кэширование и напрямую устанавливать заголовки ответов, чтобы соответствовать лучшим практикам веб-безопасности.

Вы можете ознакомиться с нашими обновленными ценами в нашей общедоступной документации, а клиенты, у которых расходуется более 1 ПБ в месяц, должны обратиться к нашему отделу продаж, чтобы обсудить скидки на основе обязательств в рамках перехода на Google Cloud.

Чтобы узнать больше об Cloud CDN или начать его использовать, начните здесь.
cloud.google.com/cdn/pricing
cloud.google.com/cdn

Как разработчик, создающий новое приложение, вы хотите сосредоточиться на написании кода, а не на его контейнеризации. И если вы уже используете контейнеры, вы знаете, что создание хорошего и безопасного образа контейнера может быть сложным и трудоемким. Сегодня мы запускаем широкую поддержку пакетов сборки в Google Cloud — технологии с открытым исходным кодом, которая позволяет быстро и легко создавать безопасные, готовые к работе образы контейнеров из исходного кода и без файла Dockerfile.

В основе этого выпуска — набор сборочных пакетов и сборщиков с открытым исходным кодом. Основываясь на спецификации buildpacks v3 CNCF, эти buildpacks создают образы контейнеров, которые соответствуют передовым методам и подходят для работы на всех наших контейнерных платформах: Cloud Run (полностью управляемый), Anthos и Google Kubernetes Engine (GKE). Эти пакеты сборки усилены и протестированы в производственной среде; с марта они широко используются в большинстве сборок для App Engine и Cloud Functions.
buildpacks.io/

Использование сборочных пакетов
Вы можете использовать пакеты сборки несколькими способами: во-первых, если вы еще не полностью внедрили контейнеризацию, пакеты сборки — это способ использовать новейшие платформы среды выполнения и доставки контейнеров. Они также полезны для быстрых проектов, когда у вас нет времени должным образом проверить и настроить Dockerfile, который вы можете найти в дикой природе.

Вы можете опробовать пакеты сборки Google Cloud прямо сейчас. Чтобы выполнить полное развертывание с помощью проекта Go, пакетов сборки и Cloud Run, просто нажмите кнопку «Выполнить в Google Cloud».

Чтобы попробовать сборки пакетов локально с приложением, установите Docker и инструмент CLI 'pack', затем запустите:

cd my-app
pack build my-app --builder gcr.io/buildpacks/builder

(Поддерживаются Go, Java, Node, Python и .Net. Для правильной сборки им может потребоваться дополнительная настройка.)

Или, если вы не хотите ничего устанавливать, вы можете запустить сборку на основе buildpack в Cloud Build, а затем легко развернуть в Cloud Run:

gcloud alpha builds submit --pack image=gcr.io/[project-id]/my-app
gcloud run deploy --image=gcr.io/[project-id]/my-app --platform managed

Как работают сборочные пакеты?
Сборочные пакеты распространяются и выполняются в образах OCI, называемых сборщиками. У каждого строителя может быть один или несколько сборочных пакетов. Конструктор пакетов сборки Google Cloud, который мы выпускаем сегодня, доступен по адресу gcr.io/buildpacks/builder.

Строители имеют возможность автоматически определять язык вашего исходного кода. Это достигается с помощью исполняемого файла bin / detect в пакете сборки. Сценарии обнаружения вызываются в определенном порядке и останавливаются после того, как соответствующее количество пакетов сборки подключилось к сборке. Например, большинство сборочных пакетов Node.js проверяют наличие файла packages.json. Вы также можете вручную указать, какой пакет сборки использовать, тем самым пропуская этап автоопределения.

После выбора buildpack выполняется его bin / build. Этот сценарий преобразует ваш исходный код в исполняемый артефакт, обычно выполняя такие действия, как установка зависимостей или компиляция кода.

Результат этого шага сборки затем добавляется поверх «запущенного» базового образа OCI, создавая окончательный образ контейнера, который затем можно запускать на платформе по вашему выбору.

Пакеты сборки Google Cloud
Пакеты сборки Google Cloud оптимизированы для обеспечения безопасности, скорости и возможности повторного использования. Они позволяют встраивать приложения и функции в образы контейнеров. При создании функции они упаковывают ее с помощью платформы Google Cloud Functions Framework с открытым исходным кодом.

Пакеты сборки Google Cloud используют управляемый базовый образ Ubuntu 18.04, который регулярно сканируется на наличие уязвимостей; любые обнаруженные уязвимости автоматически исправляются. Это гарантирует, что при сборке исходного кода с помощью пакетов сборки он будет максимально безопасным.

Пакеты сборки Google Cloud также можно настроить с помощью дополнительных системных пакетов или в соответствии с конкретными потребностями вашей команды разработчиков.

Сами пакеты сборки написаны на Go. Вместо того, чтобы создавать один пакет сборки для каждого языка, вы можете комбинировать меньшие модульные пакеты сборки вместе. Например, существует пакет сборки NPM, который (что неудивительно) устанавливает пакеты узлов. Это, конечно, используется для сборок Node.js, но его также можно использовать для других языков и фреймворков, которые используют пакеты NPM (например, Ruby on Rails).

Широкая поддержка в Google Cloud
В дополнение к пакетам сборки с открытым исходным кодом мы поддерживаем пакеты сборки для ряда наших продуктов:

• Cloud Build теперь изначально поддерживает сборочные пакеты через инструмент командной строки gcloud: gcloud alpha builds submit --pack image = gcr.io / [project-id] / my-app. (см. документацию)
• Cloud Run — непрерывное развертывание в Cloud Run (с помощью триггеров Cloud Build) можно настроить для использования пакетов сборки (см. Документацию).
• App Engine. Пакеты сборки теперь являются механизмом по умолчанию для исходных развертываний в самых новых средах выполнения App Engine. Примечательно, что пакеты сборки позволяют развертывать Java на основе исходного кода (ранее поддерживались только развертывания на основе JAR). Все недавно выпущенные среды выполнения будут использовать пакеты сборки.
• Облачные функции — как и App Engine, пакеты сборки являются механизмом по умолчанию для создания развернутых функций.
• Облачный код — среды разработки облачного кода могут создавать исходный код с помощью пакетов сборки и развертывать полученные контейнеры непосредственно в GKE.
• Skaffold поддерживает разработку в реальном времени с помощью пакетов сборки. По мере того как вы редактируете исходный код, пакеты сборки могут непрерывно перестраивать ваше приложение, позволяя вам предварительно просматривать изменения в локальном экземпляре вашего приложения.
• Cloud Shell — инструмент CLI пакета теперь установлен в Cloud Shell по умолчанию. Это позволяет выполнять сборочные пакеты в Cloud Shell без установки дополнительных пакетов.

Начни сегодня
Узнайте больше о пакетах сборки Google Cloud в репозитории GitHub. Затем разверните образец приложения с помощью пакетов сборки одним нажатием кнопки.
github.com/GoogleCloudPlatform/buildpacks
github.com/GoogleCloudPlatform/buildpack-samples#buildpack-samples