Одним из важнейших аспектов любого решения для хранения данных является надежность — насколько хорошо ваши данные защищены от потери или повреждения? И это может показаться особенно важным для облачной среды. Облачное хранилище рассчитано на надежность не менее 99,999999999% в год, или 11 девяток. Это означает, что даже с одним миллиардом объектов вы, вероятно, проживете сто лет, не потеряв ни одного!

Мы очень серьезно относимся к достижению наших целей по долговечности. В этом посте мы рассмотрим основные способы защиты данных в облачном хранилище. В то же время защита данных — это, в конечном счете, общая ответственность (наиболее частой причиной потери данных является случайное удаление пользователем или администратором хранилища), поэтому мы предоставим передовые методы защиты ваших данных от таких рисков, как стихийные бедствия и пользовательские ошибки.

Физическая прочность
Большинство людей думают о надежности в контексте защиты от сбоев сети, серверов и оборудования хранения.

В Google философия заключается в том, что программное обеспечение — это, в конечном счете, лучший способ защиты от сбоев оборудования. Это позволяет нам достичь более высокой надежности по привлекательной цене, вместо того, чтобы полагаться на экзотические аппаратные решения. Мы предполагаем, что оборудование будет постоянно выходить из строя — потому что это так! Но это не значит, что страдает долговечность.

Чтобы сохранить объект в облачном хранилище, мы разбиваем его на несколько «блоков данных», которые размещаем на разных серверах с разными источниками питания. Мы также создаем ряд «фрагментов кода» для избыточности. В случае отказа оборудования (например, сервера, диска) мы используем фрагменты данных и кода для восстановления всего объекта. Этот метод называется кодированием со стиранием. Кроме того, мы храним несколько копий метаданных, необходимых для поиска и чтения объекта, чтобы в случае отказа одного или нескольких серверов метаданных мы могли продолжить доступ к объекту.

Ключевым требованием здесь является то, что мы всегда сохраняем данные с избыточностью в нескольких зонах доступности, прежде чем запись будет признана успешной. Используемые нами кодировки обеспечивают достаточную избыточность для поддержки цели более 11 девятки устойчивости к аппаратным сбоям. После сохранения мы регулярно проверяем контрольные суммы, чтобы защитить данные в состоянии покоя от определенных типов ошибок данных. В случае несоответствия контрольной суммы данные автоматически восстанавливаются с использованием избыточности, присутствующей в наших кодировках.

Лучшая практика: используйте двух- или многорегиональные местоположения

Эти уровни защиты от рисков физической прочности хороши и хороши, но они не могут защитить от значительного физического разрушения региона — подумайте о военных действиях, падении астероида или других крупномасштабных катастрофах.

Целевой показатель прочности Cloud Storage 11 девяток применяется к одному региону. Чтобы пойти дальше и защититься от стихийных бедствий, которые могут уничтожить целый регион, подумайте о хранении наиболее важных данных в сегментах с двумя или несколькими регионами. Эти сегменты автоматически обеспечивают избыточность ваших данных в географических регионах. Использование этих сегментов не требует дополнительной настройки или изменений API в ваших приложениях, обеспечивая дополнительную устойчивость к очень редким, но потенциально катастрофическим событиям. В качестве дополнительного преимущества эти типы местоположений также имеют значительно более высокую доступность SLA, поскольку мы можем прозрачно обслуживать ваши объекты из более чем одного местоположения, если регион временно недоступен.

Долговечность при транспортировке
Другой класс рисков устойчивости связан с повреждением передаваемых данных. Это могут быть данные, передаваемые по сетям в самой службе облачного хранилища или при выгрузке или загрузке объектов в / из облачного хранилища.

Для защиты от этого источника повреждения данные, передаваемые в облачном хранилище, всегда без исключения защищены контрольной суммой. В случае ошибки проверки контрольной суммы запрос автоматически повторяется или возвращается ошибка, в зависимости от обстоятельств.

Лучшая практика: используйте контрольные суммы для выгрузки и скачивания

В то время как Google Cloud проверяет суммы всех объектов облачного хранилища, которые перемещаются в рамках нашего сервиса, для обеспечения сквозной защиты мы рекомендуем вам указывать контрольные суммы при загрузке данных в облачное хранилище и проверять эти контрольные суммы на клиенте при загрузке объекта..

Риски долговечности, вызванные деятельностью человека
Возможно, самый большой риск потери данных связан с человеческой ошибкой — не только с ошибками, совершаемыми нами как разработчиками и операторами службы, но и с ошибками, совершаемыми пользователями облачного хранилища!

Ошибки программного обеспечения потенциально являются самым большим риском для надежности данных. Чтобы избежать потери долговечности из-за ошибок программного обеспечения, мы в первую очередь стараемся избегать ошибок, приводящих к повреждению или стиранию данных. Затем мы обеспечиваем меры безопасности для быстрого обнаружения этих типов ошибок с целью их отлова до того, как ухудшение долговечности превратится в потерю долговечности.

Чтобы заранее выявлять ошибки, мы выпускаем новую версию Cloud Storage в рабочую среду только после того, как она пройдет большой набор интеграционных тестов. Сюда входит выполнение различных сценариев сбоя в крайних случаях, таких как выход из строя зоны доступности, и сравнение поведения API-интерфейсов кодирования и размещения данных с предыдущими версиями для выявления регрессий.

После утверждения новой версии программного обеспечения мы развертываем обновления поэтапно по зонам доступности, начиная с очень ограниченной начальной области воздействия и постепенно увеличиваясь до тех пор, пока она не станет широко распространенной. Это позволяет нам выявлять проблемы до того, как они окажут большое влияние, и пока есть дополнительные копии данных (или достаточное количество фрагментов кода стирания), из которых можно восстановить при необходимости. Эти развертывания программного обеспечения тщательно отслеживаются, и в случае необходимости предусмотрены планы быстрого отката.
Вы также можете многое сделать, чтобы защитить свои данные от потери.

Рекомендация: включите управление версиями объектов

Одним из наиболее распространенных источников потери данных является случайное удаление данных администратором хранилища или конечным пользователем. Когда вы включаете управление версиями объектов, Cloud Storage сохраняет удаленные объекты на случай, если вам потребуется восстановить их позже. Настроив политики управления жизненным циклом объектов, вы можете ограничить время хранения объектов с версиями до их окончательного удаления, чтобы лучше контролировать расходы на хранение.

Лучшая практика: сделайте резервную копию ваших данных

Целевая надежность Cloud Storage 11 девяток не избавляет от необходимости резервного копирования ваших данных. Например, подумайте, что может сделать злоумышленник, если получит доступ к вашей учетной записи Cloud Storage. В зависимости от ваших целей резервная копия может быть второй копией данных в другом регионе или облаке, локально или даже физически изолированной с воздушным зазором на ленте или диске.

Рекомендация: используйте политики сохранения доступа к данным и журналы аудита

Для долгосрочного хранения данных используйте функцию блокировки корзины облачного хранилища, чтобы задать политики хранения и обеспечить блокировку данных на определенные периоды времени. Это предотвращает случайное изменение / удаление и в сочетании с журналом аудита доступа к данным может удовлетворить нормативные и нормативные требования, такие как FINRA, SEC и CFTC, а также определенные правила хранения в отрасли здравоохранения.

Лучшая практика: используйте политики управления доступом на основе ролей

Вы можете ограничить радиус действия злонамеренных хакеров и случайных удалений, убедившись, что политики контроля доступа к данным IAM соответствуют принципам разделения обязанностей и наименьших привилегий. Например, отделите тех, кто может создавать сегменты, от тех, кто может удалять проекты.

Ключи шифрования и надежность
Все данные облачного хранилища всегда зашифрованы при хранении и передаче в облаке. Поскольку объекты невозможно прочитать без их ключей шифрования, потеря ключей шифрования представляет собой значительный риск для надежности — в конце концов, какой смысл в данных с высокой надежностью, если вы не можете их прочитать? В облачном хранилище у вас есть три варианта управления ключами: 1) доверить Google управление ключами шифрования за вас, 2) использовать ключи шифрования, управляемые клиентом (CMEK) с Cloud KMS, или 3) использовать ключи шифрования, предоставленные клиентом (CSEK) с внешний сервер ключей.

Google предпринимает аналогичные шаги, описанные ранее (включая кодирование стирания и проверку согласованности), для защиты ключей шифрования, находящихся под его контролем.

Лучшая практика: защитите свои ключи шифрования

Выбирая CMEK или CSEK для управления своими ключами, вы получаете прямой контроль над управлением своими собственными ключами. В этих случаях жизненно важно, чтобы вы также защищали свои ключи таким образом, чтобы обеспечить по крайней мере 11 девяток долговечности. Для CSEK это означает поддержание внешних резервных копий ваших ключей, чтобы у вас был путь к восстановлению, даже если ваши ключи каким-либо образом потеряны или повреждены. Если такие меры предосторожности не приняты, стойкость ключей шифрования будет определять надежность данных.

Выход за пределы 11 девяток
Google Cloud очень серьезно относится к защите ваших данных. На практике многочисленные методы, описанные здесь, позволили облачному хранилищу на сегодняшний день увеличить годовой срок службы более 11 девят. Добавьте к этому лучшие практики, которыми мы поделились в этом руководстве, и вы поможете гарантировать, что ваши данные будут здесь, когда они вам понадобятся — будь то сегодня позже или через десятилетия в будущем. Для начала ознакомьтесь с этой обширной коллекцией практических руководств по облачному хранилищу.

Предприятия ускоряют цифровую трансформацию, перемещая все больше и больше рабочих нагрузок в облако. Однако облако часто может быть сложным с незнакомыми инструментами для управления большим парком виртуальных машин (ВМ) и управления им. В частности, управление безопасностью инфраструктуры и видимость соответствия в облачном масштабе может быть сложной задачей для администраторов инфраструктуры и операций. Клиенты говорят нам, что им нужны упрощенные облачные инструменты для работы и управления своими облачными ресурсами, аналогичные их знакомым инструментам управления локальной инфраструктурой.

Сегодня мы рады анонсировать VM Manager, набор инструментов управления инфраструктурой, который упрощает и автоматизирует обслуживание большого парка виртуальных машин Compute Engine. Это облачное решение ориентировано на инфраструктуру масштаба Google и предоставляет упрощенный набор инструментов для автоматизированной отчетности о соответствии требованиям и масштабного развертывания программного обеспечения.

Автоматизированные функции VM Manager упрощают и сокращают сложность обеспечения соответствия, наблюдаемости и поддержания безопасности большого парка виртуальных машин. Он оснащен единой информационной панелью для повышения прозрачности соблюдения нормативных требований и отслеживания данных инвентаризации в реальном времени для получения полезных аналитических данных и поддержания максимальной производительности инфраструктуры. Пакет поддерживает наиболее распространенные среды операционных систем Windows и Linux и включает следующие службы:

• Управление исправлениями: эта услуга поддерживает ваши системы в актуальном состоянии от уязвимостей, позволяя применять исправления ОС к набору виртуальных машин, получать данные о соответствии исправлений в средах вашей ОС и автоматизировать установку исправлений ОС на виртуальных машинах — все из одной централизованной расположение.
• Служба управления исправлениями состоит из двух основных компонентов: отчетов о соответствии исправлений, которые предоставляют информацию о состоянии исправлений ваших виртуальных машин в дистрибутивах Windows и Linux; и развертывание исправлений, которое автоматизирует процесс обновления исправлений ОС и программного обеспечения. Развертывание исправлений планирует задания исправлений.
• Управление конфигурацией: эта служба позволяет развертывать, запрашивать и поддерживать согласованные конфигурации для ваших виртуальных машин. Он поставляется с функциями автоматического исправления, чтобы уменьшить ручные усилия и поддерживать соответствие вашего парка. Гостевые политики на каждой виртуальной машине Compute Engine обеспечивают согласованность конфигураций программного обеспечения.

С инфраструктурой, которая поддерживает сотни миллионов игроков по всему миру, поддержание согласованных конфигураций наших экземпляров виртуальных машин имеет решающее значение. Управление конфигурацией сократило ручные усилия, связанные с этим процессом, благодаря функциям, которые позволяют King управлять нашими ресурсами в любом масштабе

Мартин Данко, старший инженер DevOps, King.com

• Управление инвентаризацией позволяет собирать информацию о вашей ОС и пакете. Вы можете определить, на каких виртуальных машинах работает определенная версия системы ОС, просмотреть пакеты, установленные на виртуальной машине, создать список обновлений пакетов, доступных для каждой виртуальной машины, и определить отсутствующие пакеты, обновления или исправления для виртуальной машины.
• Управление запасами интегрировано с другим продуктом Google Cloud, Cloud Asset Inventory, чтобы упростить просмотр, мониторинг и анализ данных вашего парка Google Cloud.

В дополнение к вышесказанному у VM Manager есть четкая дорожная карта интересных возможностей, которые будут запущены в ближайшие месяцы, так что следите за обновлениями.
cloud.google.com/asset-inventory/docs/overview

С легкостью управляйте крупнейшим автопарком
VM Manager снижает сложность, улучшает отчетность по безопасности и соответствию, а также упрощает мониторинг ресурсов в большой облачной среде. Используя преимущества автоматизированных инструментов для поддержания систем в актуальном состоянии, снижения риска простоев и повышения производительности внутренних пользователей, первые пользователи VM Manager сообщают нам, что это позволяет их ИТ-администраторам сосредоточиться на других критически важных для бизнеса задачах.

Мы очень рады запуску VM Manager в Google Cloud. Управление облачной инфраструктурой является проблемой для предприятий любого размера, и мы уже добились повышения эффективности с помощью автоматизированных функций Patch и Configuration Manager как для себя, так и для наших клиентов. Atos рада предоставить клиентам дополнительную ценность с помощью облачного решения Google Cloud для управления большим парком виртуальных машин

Овидиу Хулеан, архитектор башни, Atos

В 2021 году мало что можно сказать наверняка, но на что вы можете рассчитывать, так это на приверженность Google Cloud нашим клиентам и лидерство в области открытого облака. Поддержка нескольких рабочих нагрузок и встречи с клиентами там, где они находятся, является частью этого обязательства по открытому облаку, как и Bare Metal Solution, наше решение для выполнения рабочих нагрузок баз данных Oracle в Google Cloud.

Поскольку мы продолжаем разработку Bare Metal Solution для удовлетворения ваших потребностей и удовлетворения ваших потребностей там, где вы находитесь, мы объявляем о трех усовершенствованиях Bare Metal Solution:

• Доступность в Монреале, нашем 10-м регионе;
• Новый 8-ядерный сервер меньшего размера;
• Поддержка PCI DSS и HIPAA.

В 2021 году мы продолжим наращивать динамику решения Google Cloud Bare Metal, которое позволяет предприятиям запускать базы данных Oracle рядом с Google Cloud с чрезвычайно низкой задержкой. Посмотрите, как StubHub использует Bare Metal Solution, чтобы уменьшить свою зависимость от Oracle, снизить общие затраты и повысить производительность.

Новые регионы, чтобы встретить вас там, где вы находитесь
В прошлом году мы запустили Bare Metal Solution в пяти регионах и за год добавили еще четыре. Запустив сегодня Bare Metal Solution в Монреале, мы начинаем этот год с доставки Bare Metal Solution в Канаду, чтобы обеспечить наших клиентов доступностью на местном уровне. Мы запустим Bare Metal Solution во множестве других новых регионов в 2021 году (и даже в некоторых регионах, где доступны два региона). Мы понимаем, что для наших клиентов необходимы местные варианты, поэтому, если вы заинтересованы в Bare Metal Solution, обратитесь к своему торговому представителю, и мы поможем вам ознакомиться с нашей дорожной картой. Ниже зеленым цветом показаны 10 регионов GA:


Сервер меньшего размера, чтобы помочь вам сэкономить на лицензировании и затратах на оборудование
Чтобы помочь вам оптимизировать рабочие нагрузки и сократить расходы, мы добавили новый 8-ядерный сервер меньшего размера в нашу линейку во всех регионах. Этот новый 8-ядерный сервер, в котором используются наши современные вычислительные ресурсы, хранилище и сеть, означает, что переход на Bare Metal Solution может помочь уменьшить объем вашего оборудования и, таким образом, потенциально снизить затраты на лицензирование Oracle, которые часто зависят от количество ядер. Вот наша полная линейка серверов Bare Metal, доступных во всех наших регионах:


PCI DSS и HIPAA для поддержки рабочих нагрузок вашего предприятия
И последнее, но не менее важное: решение Bare Metal Solution теперь может помочь клиентам обеспечить соответствие требованиям PCI DSS и HIPAA. Поддержка PCI DSS позволит нашим розничным партнерам передавать данные кредитных карт своих клиентов и выполнять свои рабочие нагрузки в соответствии со Стандартами безопасности данных индустрии платежных карт (PCI DSS). Поддержка HIPAA также означает, что наши партнеры в сфере здравоохранения могут предоставлять медицинские данные своих клиентов и выполнять свои рабочие нагрузки в соответствии с требованиями Закона о переносимости и подотчетности медицинского страхования (HIPAA). По мере того, как мы расширяемся в новые регионы и работаем над улучшением возможностей конкретных отраслей, вы можете ожидать в будущем объявлений о региональных и отраслевых сертификатах.

Когда вы устраняете неполадки в приложении или развертывании, на счету каждая секунда! Cloud Logging помогает устранять неполадки путем объединения журналов из Google Cloud, локальных или других облаков, индексации, объединения журналов в метрики, сканирования уникальных ошибок с помощью отчетов об ошибках и предоставления журналов для поиска менее чем за минуту. А теперь мы создали две новые функции для потоковой передачи журналов, чтобы вы могли получить еще более свежую информацию на основе данных журналов.

По многочисленным просьбам пользователей Linux мы добавили новый инструмент для имитации поведения команды tail -f, который позволяет отображать содержимое файла журнала на консоли в режиме реального времени. Мы также включили обновления, выходящие за рамки любимого хвостового инструмента, такие как одновременный поиск по всем журналам из всех ваших ресурсов и возможность использовать мощный язык запросов журнала Cloud Logging, включая глобальный поиск, регулярные выражения, совпадения подстрок и т. Д., Все все еще в режиме реального времени.

Вы можете использовать язык запросов журналов с новой функцией в реальном времени, чтобы находить информацию в журналах в режиме реального времени. Например, предположим, что вы только что развернули новое приложение и хотите просмотреть все журналы ошибок:

gcloud alpha logging tail "severity> = ERROR"

Но это возвращает слишком много результатов, поэтому вы сужаете область до журналов, содержащих текст «валюта»:

gcloud alpha logging tail "серьезность> = ОШИБКА И валюта"

Этот поиск возвращает значимый набор журналов, все еще в реальном времени.

Отслеживание журналов с gcloud теперь доступны для всех пользователей в Preview. Зайдите в нашу документацию, чтобы настроить ее и начать следить.

А если вы предпочитаете использовать Google Cloud Console, у нас для вас тоже есть отличные новости. Теперь вы можете передавать журналы в проводник журналов, а также легко выполнять потоковую передачу, приостанавливать, исследовать, связывать с трассировками, возобновлять потоковую передачу, визуализировать счетчики и загружать журналы — все из облачной консоли.

Итак, предпочитаете ли вы командную строку tail -f или специальный пользовательский интерфейс для изучения журналов, ознакомьтесь с новыми инструментами Cloud Logging и сэкономьте время на устранение неполадок.
cloud.google.com/sdk/gcloud/reference/alpha/logging/tail
cloud.google.com/logging/docs/view/logs-viewer-interface

В этом году мы стали свидетелями огромных изменений не только в нашей повседневной жизни, но и в том, как работает бизнес. Для нас это частично означало помощь предприятиям в переносе и модернизации наиболее важных корпоративных рабочих нагрузок — например, SAP, Windows и VMware — в Google Cloud, что помогало им добиться масштабируемости, гибкости и экономии средств. Давайте быстро оглянемся на прогресс, которого мы достигли в этом году, и на то, что нас ждет впереди.

SAP в Google Cloud обеспечивает гибкость
Среда SAP часто находится в самом центре деятельности предприятия. От финансового учета до управления цепочкой поставок и управления человеческим капиталом — приложения SAP требуют высочайшего уровня гибкости, безопасности и времени безотказной работы. Заказчики, рассматривающие возможность миграции SAP в облако, стремятся улучшить свои возможности по обеспечению непрерывности бизнеса. Им необходимо безопасное облако с повышенной надежностью, сетью и высокой производительностью. Они выделяются возможностями анализа данных и машинного обучения. И они хотят, чтобы миграция в облако была свободна от драматизма и сбоев, которые обычно сопровождают проекты корпоративного программного обеспечения.

В июне 2020 года компания Forrester провела оценку SAP в Google Cloud и нашла впечатляющие результаты для клиентов, планирующих миграцию:

• Компании, внедряющие SAP в Google Cloud, экономят в среднем более 3 миллионов долларов в год за счет отказа от покупки оборудования, оптимизации лицензий на программное обеспечение и оптимизации своего ИТ-персонала, а также за счет других средств повышения эффективности работы.
• Миграция сред SAP в Google Cloud эффективно устранила беспокойство клиентов по поводу времени безотказной работы системы, и они сэкономили 1,5 миллиона долларов в год, избегая проблем с простоями.
• Google Cloud значительно снизил влияние узких мест на сервере, сбоев инфраструктуры, проблем с пропускной способностью сети и других проблем с производительностью, что привело к увеличению производительности на 500 000 долларов в среднем для каждого пользователя SAP в Google Cloud.
• В зависимости от типа льгот пробег может быть разным. Но из этих исследований проявилась ясная история: внедрение SAP в Google Cloud оказалось инвестицией, которая быстро окупается.

inthecloud.withgoogle.com/forrester-economic-sap/dl-cd.html

Сократите затраты на лицензии Microsoft и Windows
Многие компании не захотели стать «магазинами Windows», но полагались на платформы Microsoft в результате многолетнего роста, приобретений и изменений. Давние пользователи Microsoft часто стремятся снизить свои затраты на лицензирование, избежать блокировки и лучше использовать открытые стандарты и программное обеспечение с открытым исходным кодом, а также убедиться, что их инвестиции в приложения Windows Server являются вопросом выбора.

Google Cloud предлагает продуманный путь к миграции и модернизации рабочих нагрузок Microsoft. За последний год мы вложили значительные средства в предоставление первоклассных возможностей для Windows Server и других платформ Microsoft, таких как SQL Server и .NET в Google Cloud. Вот некоторые из основных моментов, которые вы могли пропустить:

• Группа Enterprise Strategy Group оценила преимущества переноса рабочих нагрузок Microsoft в Google Cloud.
• IDC обнаружила, что Google Cloud является идеальной платформой для приложений на базе Windows Server.
• Мы представили способы помочь вам снизить затраты на лицензии с помощью CPU Overcommit, миграции с Windows Server 2008 и запуска контейнеров Windows в GKE.
• Мы запустили функции, упрощающие управление виртуальными машинами Windows Server в Google Cloud.
• Мы также запустили управляемый SQL Server и управляемые службы Active Directory.
• Google Cloud анонсировала новое партнерское решение для виртуальных рабочих столов, которое вернет удаленных сотрудников к работе

Google Cloud VMware Engine обеспечивает беспрепятственный успех облака
Каждое предприятие стремится принять стратегию, ориентированную на облако, но сделать это легче сказать, чем сделать. Google Cloud VMware Engine позволяет обойти проблемы переноса и модернизации критически важных рабочих нагрузок в облако, позволяя легко переносить рабочие нагрузки VMware из локальных центров обработки данных непосредственно в Google Cloud.

Google Cloud VMware Engine стал общедоступным в США в июне. С тех пор мы быстро расширили доступность до восьми регионов в Северной и Южной Америке, Европе и Азиатско-Тихоокеанском регионе, а в следующем году мы планируем увеличить количество доступных. Мы также стали свидетелями значительного принятия решений предприятиями в таких отраслях, как розничная торговля, финансы, здравоохранение и биологические науки, а также рост спроса на решения виртуальных рабочих столов (VDI) для сотрудников, которые быстро начали работать из дома.

Мы также наладили партнерские отношения с разработчиками защиты данных и DR, чтобы вы могли легко перейти в облако. Google Cloud VMware Engine интегрирован с Actifio, Zerto, Veeam, NetApp, Dell Technologies и другими, помогая вам использовать те же технологии защиты данных, которые вы используете локально, в Google Cloud, без необходимости изменять свои приложения.

Отсюда становится только лучше
С нетерпением ожидая 2021 года, мы стремимся встретить каждую организацию, где бы она ни находилась на пути к облаку, с широким спектром специализированных услуг, инфраструктуры и инструментов для упрощения процесса. Наши возможности миграции недавно сделали еще один большой шаг вперед с программой быстрой оценки и миграции Google Cloud (RAMP). Это целостная, сквозная программа миграции с еще большим набором инструментов, стимулов и предложений, которые помогут вам спланировать и осуществить успешный перенос. Независимо от того, через что прошел ваш бизнес в этом году, вот до 2021 года — это все, на что вы надеетесь!
cloud.google.com/blog/products/cloud-migration/google-cloud-ramp-program-simplifies-cloud-migration

Команда Google Maps Platform стремится предоставить нашим пользователям максимально возможный уровень обслуживания. Тем не менее, время от времени случаются непредвиденные сбои в обслуживании. Когда ваша команда испытывает сбой или другую техническую проблему, одна из первых оценок, которую они должны сделать, заключается в том, связана ли проблема со сторонним поставщиком услуг или внутри компании. В рамках нашей приверженности прозрачности и скорости передачи информации о состоянии наших продуктов и инцидентах, когда они происходят, мы развернули панель общедоступного статуса платформы Google Maps.
status.cloud.google.com/maps-platform/


Панель общедоступного статуса предоставляет информацию о статусе продуктов, которые общедоступны и покрываются соглашением об уровне обслуживания платформы Google Maps. Вы можете проверить панель управления, чтобы просмотреть текущий статус любой из этих служб. Вы даже можете нажать «Просмотреть историю», чтобы увидеть инциденты, произошедшие за последние 365 дней. Инциденты, отображаемые на панели инструментов, классифицируются как сбои (оранжевый) или простои (красный) в зависимости от их серьезности. Все инциденты сначала проверяются нашими инженерами службы поддержки, поэтому может быть небольшая задержка с момента, когда они действительно произошли.

Для быстрого доступа к панели управления вы можете добавить сайт в закладки. А в ближайшем будущем вы сможете использовать веб-каналы для push-уведомлений. Если у вас возникла проблема, которой нет в списке на панели инструментов, обратитесь в службу поддержки. А чтобы узнать больше о том, что публикуется на панели управления, просмотрите этот FAQ.

Панель общедоступного статуса — это первое место, где вы можете проверить, когда вы обнаружите, что проблема затрагивает вас. Но это не единственный способ сообщить об известных или зарегистрированных проблемах и оказать поддержку. В зависимости от вашей конкретной ситуации и потребностей вы также можете воспользоваться одним из других наших ресурсов. Вот краткое изложение некоторых других, о которых вам следует знать:

Трекер проблем
В нашей общедоступной системе отслеживания проблем мы активно ведем список известных и зарегистрированных проблем. Средство отслеживания проблем включает технические проблемы, которые недостаточно серьезны для отображения на панели состояния. Здесь вы можете легко просмотреть ошибки, о которых уже сообщали, и добавить свои собственные комментарии, чтобы помочь нашим командам исследовать проблемы или найти обходные пути. В случае сбоя в работе в разделе поддержки карт Google Cloud Console появится баннерное сообщение со ссылкой на средство отслеживания проблем для получения дополнительной информации о состоянии проблемы в режиме реального времени. Если вы хотите сообщить об ошибке или получить новую функцию, начните с подачи запроса. Добавление образца кода или снимка экрана поможет нам определить проблему и быстрее отреагировать.
issuetracker.google.com/savedsearches/5050992

Группы уведомлений по электронной почте
Чтобы получать технические обновления продуктов платформы Google Maps, уведомления о сбоях и объявления о функциях, вам следует подписаться на нашу группу уведомлений по электронной почте, чтобы получать обновления прямо на свой почтовый ящик.
groups.google.com/a/googlemaps.community/forum/#!forum/google-maps-platform-notifications

Основные контакты
Скоро мы начнем отправлять важные уведомления вашим основным контактам. Чтобы настроить, какие члены команды будут получать эти уведомления платформы Google Maps в ближайшем будущем, вы можете настроить свои основные контакты в Google Cloud Console, указав свой собственный список контактов. Вы можете добавлять как отдельных лиц, так и псевдонимы групп, чтобы превентивно снизить влияние кадровых изменений. Вы можете узнать больше о категориях уведомлений и о том, как включить основные контакты здесь.
cloud.google.com/resource-manager/docs/managing-notification-contacts

От понимания нашего происхождения до предсказания будущих событий — одни из величайших прорывов, которых мы сделали на Земле, были достигнуты благодаря изучению Вселенной. Высокопроизводительные вычисления и машинное обучение (ML) ускоряют этот вид исследований беспрецедентными темпами. В Google Cloud мы гордимся тем, что играем хотя бы небольшую роль в развитии науки астрономии, и поэтому мы рады сегодня рассказать о новой работе с обсерваторией Веры К. Рубин в Чили и исследователями из Калифорнийского технологического института..

Облачный фундамент для 20 ТБ наблюдений за ночным небом
В рамках новаторского сотрудничества Обсерватория Рубина заключила трехлетнее соглашение о размещении своего Временного центра данных (IDF) в Google Cloud. Благодаря этому сотрудничеству Рубин будет обрабатывать астрономические данные, собранные обсерваторией, и предоставлять данные сотням пользователей в научном сообществе в преддверии своего 10-летнего проекта Legacy Survey of Space and Time (LSST).

LSST направлен на проведение глубокого обзора огромной площади неба для создания астрономического каталога, в тысячи раз большего, чем любой ранее составленный обзор. Используя 8,4-метровый обзорный телескоп Simonyi и гигапиксельную камеру LSST, в течение 10 лет каждую ночь будет сниматься около 1000 изображений неба. Эти изображения с высоким разрешением будут содержать данные примерно о 20 миллиардах галактик и аналогичном количестве звезд, предоставляя исследователям беспрецедентный ресурс для понимания структуры и эволюции нашей Вселенной с течением времени. Создав IDF на базе Google Cloud, Обсерватория Рубина заложит основу для управления огромным набором данных — всего 500 петабайт, — который в конечном итоге будет доступен научному сообществу в масштабах и гибкости.

«Нам очень приятно работать с Google Cloud над этим проектом, который окажет большое и положительное влияние на нашу способность предоставлять услуги сообществу Rubin», — говорит Боб Блюм, исполняющий обязанности директора по эксплуатации обсерватории Рубина.

«Нам не нужно создавать инфраструктуру самостоятельно — она ​​хорошо зарекомендовала себя, была протестирована и улучшена для других пользователей, поэтому мы получаем от этого выгоду», — объясняет Синь-Фанг Чан, научный аналитик и инженер по управлению данными из обсерватории Рубин, и один из первых пользователей IDF.

Обсерватория Рубина будет использовать Google Cloud Storage и Google Kubernetes Engine, а Google Workspace обеспечит продуктивность и сотрудничество.

Исследователь из Калифорнийского технологического института обнаружил новую комету с помощью ИИ
В то время как кометы наблюдаются относительно часто, открытие новых комет происходит редко. Центр малых планет, который отслеживает малые тела Солнечной системы в космосе, каталогизировал менее 100 новых комет в 2019 году по сравнению с примерно 21000 новых малых планет.
minorplanetcenter.net/

В конце августа 2020 года доктор Дмитрий Дуэв, научный сотрудник отдела астрономии Калифорнийского технологического института, начал пилотную программу по использованию инструментов Google Cloud для идентификации объектов, наблюдаемых Zwicky Transient Facility (ZTF) в Паломарской обсерватории в Южной Калифорнии. ZTF сканирует северное небо каждую ясную ночь, измеряя миллиарды астрономических объектов и регистрируя миллионы кратковременных явлений. Используя эти изображения, Дуэв обучил модель машинного обучения в Google Cloud определять кометы с точностью более 99%. 7 октября модель определила Comet C / 2020 T2, первое подобное открытие, приписываемое искусственному интеллекту. Это достижение делает возможным открытие новых комет значительно ускоренными темпами.

«Наличие быстрого и точного способа классификации объектов, которые мы видим в небе, произвело революцию в нашей области», — говорит Дуэв. «Это как если бы в нашем распоряжении было множество высококвалифицированных астрономов 24/7».



Заинтересованы в использовании Google Cloud, чтобы раскрыть секреты вселенной?
Это лишь некоторые из увлекательных проектов, над которыми мы работаем с нашими заказчиками в области астрономии. В апреле 2019 года телескоп Event Horizon, виртуальная комбинация восьми радиотелескопов со всего мира, использовал экземпляры виртуальных машин (ВМ) Google Cloud для создания первого изображения сверхмассивной черной дыры. И с 2018 года Google также работает в партнерстве с Frontier Development Lab над применением машинного обучения к некоторым из самых сложных проблем НАСА в нашей Вселенной: прогнозированию наводнений здесь, на Земле, поиску полезных ископаемых на Луне для поддержки постоянной базы там, и прогнозирование солнечных вспышек, которые могут нарушить спутниковую связь.

Чтобы начать или расширить свой собственный проект, мы предлагаем кредиты на исследования ученым, использующим Google Cloud для соответствующих проектов в соответствующих странах. Вы можете найти нашу форму заявки на веб-сайте Google Cloud или связаться с нашим отделом продаж. Чтобы узнать больше о поддержке исследований в астрономии и других областях, зарегистрируйтесь на саммите Google Cloud Public Sector Summit, который включает множество исследовательских сессий. Сессии начнутся 8-9 декабря и также будут доступны по запросу.
cloud.google.com/solutions/education
lp.google-mkto.com/gcp-research-credits.html
cloudonair.withgoogle.com/events/public-sector-summit

Угрозы безопасности, такие как распределенные атаки типа «отказ в обслуживании» (DDoS), нарушают работу предприятий любого размера, что приводит к отключениям и, что еще хуже, к потере доверия пользователей. Эти угрозы — серьезная причина, по которой мы в Google уделяем особое внимание надежности услуг, основанной на надежной сети.

Чтобы обеспечить надежность, мы разработали несколько инновационных способов защиты от сложных атак. В этом посте мы подробно рассмотрим DDoS-угрозы, покажем наблюдаемые тенденции и расскажем, как мы готовимся к многотерабитным атакам, чтобы ваши сайты продолжали работать.

Таксономия возможностей атакующего
С помощью DDoS-атаки злоумышленник надеется нарушить работу своей жертвы потоком бесполезного трафика. Хотя эта атака не раскрывает пользовательские данные и не приводит к компрометации, она может привести к отключению и потере доверия пользователей, если ее быстро не устранить.

Злоумышленники постоянно разрабатывают новые методы нарушения работы систем. Они дают своим атакам причудливые имена, такие как Smurf, Tsunami, XMAS tree, HULK, Slowloris, cache bust, TCP-усиление, javascript-инъекция и дюжина вариантов отраженных атак. Между тем, защитник должен учитывать все возможные цели DDoS-атаки, от сетевого уровня (маршрутизаторы / коммутаторы и пропускная способность канала) до уровня приложений (веб, DNS и почтовые серверы). Некоторые атаки могут даже не фокусироваться на конкретной цели, а вместо этого атаковать каждый IP-адрес в сети. Умножение десятков типов атак на разнообразие инфраструктуры, которую необходимо защищать, открывает бесконечные возможности.

Итак, как мы можем упростить проблему, чтобы сделать ее управляемой? Вместо того, чтобы сосредоточиться на методах атаки, Google группирует объемные атаки по нескольким ключевым показателям:

• бит / с сеть бит в секунду → атаки на сетевые ссылки
• pps сетевых пакетов в секунду → атаки на сетевое оборудование или DNS-серверы
• rps HTTP (S) запросов в секунду → атаки на серверы приложений

Таким образом, мы можем сосредоточить наши усилия на том, чтобы каждая система имела достаточную способность противостоять атакам, что измеряется соответствующими метриками.

Динамика объемов DDoS-атак
Наша следующая задача — определить мощность, необходимую для противостояния крупнейшим DDoS-атакам для каждой ключевой метрики. Правильное выполнение этого шага является необходимым шагом для эффективной работы надежной сети: избыточное выделение ресурсов приводит к потере дорогостоящих ресурсов, а недостаточное выделение ресурсов может привести к отключению.

Для этого мы проанализировали сотни значительных атак, полученных нами по перечисленным показателям, и включили достоверные отчеты, которыми поделились другие. Затем мы составляем график крупнейших атак за последнее десятилетие, чтобы выявить тенденции. (Данные за несколько лет до этого периода позволили нам решить, что использовать для первой точки данных каждой метрики.)


Экспоненциальный рост всех показателей очевиден, что часто вызывает тревожные заголовки по мере роста объемов атак. Но нам нужно учитывать экспоненциальный рост самого Интернета, который также обеспечивает пропускную способность и вычислительные ресурсы для защитников. После учета ожидаемого роста результаты не столь тревожны, но все же проблематичны.

Создание защищаемой инфраструктуры
Учитывая данные и наблюдаемые тенденции, теперь мы можем экстраполировать, чтобы определить резервную мощность, необходимую для отражения самых крупных атак, которые могут произойти.

бит / с (сетевые биты в секунду)
Наша инфраструктура поглотила DDoS со скоростью 2,5 Тбит / с в сентябре 2017 года, что стало кульминацией шестимесячной кампании, в которой использовались несколько методов атаки. Несмотря на то, что одновременно были нацелены на тысячи наших IP-адресов, предположительно в надежде обойти автоматическую защиту, атака не оказала никакого влияния. Злоумышленник использовал несколько сетей для имитации 167 млн ​​пакетов в секунду (миллионов пакетов в секунду) на 180 000 открытых серверов CLDAP, DNS и SMTP, которые затем отправляли нам большие ответы. Это демонстрирует объемы, которых может достичь злоумышленник с хорошими ресурсами: это было в четыре раза больше, чем рекордная атака со скоростью 623 Гбит / с, совершенная ботнетом Mirai годом ранее. На сегодняшний день это остается атакой с максимальной пропускной способностью, что снижает доверие к экстраполяции.
blog.google/threat-analysis-group/how-were-tackling-evolving-online-threats

pps (количество сетевых пакетов в секунду)
Мы наблюдаем устойчивую тенденцию роста: в этом году ботнет Интернета вещей совершил атаку со скоростью 690 млн пакетов в секунду. Заметным исключением стала атака 2015 года на клиентскую виртуальную машину, в которой ботнет IoT разогнался до 445 млн пакетов в секунду за 40 секунд — объем настолько велик, что мы поначалу подумали, что это сбой мониторинга!

rps (HTTP (S) запросов в секунду)
В марте 2014 года вредоносный javascript, внедренный на тысячи веб-сайтов через сетевую атаку «человек посередине», заставил сотни тысяч браузеров завалить YouTube запросами, пик которых достиг 2,7 млн ​​запросов в секунду (миллионы запросов в секунду). Это была самая крупная атака, известная нам до недавнего времени, когда клиент Google Cloud был атакован с использованием 6 Mrps. Медленный рост отличается от других показателей, что позволяет предположить, что мы недооцениваем объем будущих атак.

Хотя мы можем оценить ожидаемый размер будущих атак, нам нужно быть готовыми к неожиданностям, и поэтому мы соответствующим образом чрезмерно обеспечиваем нашу защиту. Кроме того, мы проектируем наши системы таким образом, чтобы в случае перегрузки происходило постепенное ухудшение их работы, и составляем инструкции по выполнению действий вручную при необходимости. Например, наша стратегия многоуровневой защиты позволяет нам блокировать атаки с высоким и высоким числом оборотов в секунду на сетевом уровне до того, как они достигнут серверов приложений. Изящная деградация применяется также на сетевом уровне: обширные пиринговые и сетевые списки контроля доступа, предназначенные для ограничения трафика атак, уменьшат потенциальный сопутствующий ущерб в том случае, если ссылки маловероятны при переполнении.

Дополнительные сведения о многоуровневом подходе, который мы используем для предотвращения рекордных DDoS-атак, нацеленных на наши услуги, инфраструктуру или клиентов, см. В главе 10 нашей книги «Построение безопасных и надежных систем».
landing.google.com/sre/resources/foundationsandprinciples/srs-book/

Облачная защита
Мы понимаем, что масштабы потенциальных DDoS-атак могут быть устрашающими. К счастью, развернув Google Cloud Armor, интегрированный в нашу службу балансировки нагрузки в облаке, которая может масштабироваться для защиты от массовых DDoS-атак, вы можете защитить от атак службы, развернутые в Google Cloud, других облаках или локально. Недавно мы анонсировали Cloud Armor Managed Protection, которая позволяет пользователям еще больше упростить развертывание, управлять расходами и снизить общий риск DDoS-атак и безопасности приложений.
cloud.google.com/load-balancing

Наличие достаточной мощности для отражения самых крупных атак — это лишь одна часть комплексной стратегии предотвращения DDoS-атак. Помимо обеспечения масштабируемости, наш балансировщик нагрузки завершает сетевые подключения на нашей глобальной границе, отправляя только правильно сформированные запросы в серверную инфраструктуру. В результате он может автоматически фильтровать многие типы объемных атак. Например, атаки с усилением UDP, синхронные потоки и некоторые атаки на уровне приложений будут отброшены без уведомления. Следующей линией защиты является Cloud Armor WAF, который предоставляет встроенные правила для распространенных атак, а также возможность развертывания пользовательских правил для отбрасывания оскорбительных запросов уровня приложения с использованием широкого набора семантики HTTP.

Совместная работа ради коллективной безопасности
Google работает с другими участниками интернет-сообщества, чтобы выявлять и демонтировать инфраструктуру, используемую для проведения атак. В качестве конкретного примера, даже несмотря на то, что атака 2,5 Тбит / с в 2017 году не оказала никакого воздействия, мы сообщили о тысячах уязвимых серверов их сетевым провайдерам, а также работали с сетевыми провайдерами, чтобы отследить источник поддельных пакетов, чтобы их можно было отфильтровать.

Мы призываем всех присоединиться к нам в этих усилиях. Отдельные пользователи должны убедиться, что их компьютеры и устройства Интернета вещей исправлены и защищены. Компании должны сообщать о преступной деятельности, просить своих сетевых провайдеров отслеживать источники поддельного трафика атак и делиться информацией об атаках с интернет-сообществом таким образом, чтобы не обеспечивать своевременную обратную связь с противником. Работая вместе, мы можем снизить влияние DDoS-атак.

Трафик как от людей, так и от ботов находится на рекордно высоком уровне. С марта 2020 года использование reCAPTCHA увеличилось на 40% — компании и сервисы, которые ранее видели большинство своих пользователей лично, перешли на использование в первую очередь онлайн или только онлайн. Этот повышенный спрос на онлайн-услуги и транзакции может подвергнуть компании различным формам онлайн-мошенничества и злоупотреблений, и без специальных команд, знакомых с этими атаками и способами их предотвращения, мы видели, как сотни тысяч новых веб-сайтов приходят на reCAPTCHA для наглядности и охрана.

Во время COVID-19 reCAPTCHA играет важную роль, помогая глобальным агентствам государственного сектора распространять маски и другие расходные материалы, предоставлять актуальную информацию избирателям и защищать учетные записи пользователей от распределенных атак. Большинство этих агентств используют обнаружение на основе оценок, которое поступает из reCAPTCHA v3 или reCAPTCHA Enterprise, вместо того, чтобы отображать визуальные или звуковые проблемы, обнаруженные в reCAPTCHA v2. Это снижает трение для пользователей, а также дает командам гибкость в отношении того, как реагировать на запросы ботов и мошеннические действия.

reCAPTCHA Enterprise также может помочь защитить ваш бизнес. Независимо от того, переносите ли вы операции в сеть впервые или у вас есть собственная команда инженеров по безопасности, reCAPTCHA может помочь вам обнаружить новые веб-атаки, понять угрозы и принять меры для обеспечения безопасности ваших пользователей. Многим предприятиям не хватает видимости отдельных частей своего сайта, а добавление reCAPTCHA помогает выявить дорогостоящие атаки до того, как они произойдут. Консоль показывает риск, связанный с каждым действием, чтобы помочь вашему бизнесу оставаться впереди.

В отличие от многих других платформ для борьбы со злоупотреблениями и мошенничеством, reCAPTCHA не полагается на инвазивное снятие отпечатков пальцев. Эти методы часто могут наказывать пользователей, заботящихся о конфиденциальности, которые пытаются обезопасить себя с помощью таких инструментов, как частные сети, и которые по умолчанию вступают в конфликт с требованиями браузеров к конфиденциальности. Вместо этого мы переключили наше внимание на анализ поведенческих рисков во время сеанса, выявляя мошенническое поведение, а не заботясь о том, кто или что стоит за сетевым подключением. Мы обнаружили, что это чрезвычайно эффективно при обнаружении атак в мире, где злоумышленники контролируют миллионы IP-адресов и взломанных устройств и регулярно платят реальным людям за то, чтобы они вручную обходили обнаружения.

С тех пор, как мы выпустили reCAPTCHA Enterprise в прошлом году, мы смогли более тесно сотрудничать с существующими и новыми клиентами, совместно решая проблемы со злоупотреблениями и определяя передовые методы в конкретных случаях использования, таких как захват аккаунтов, кардинг и скрапинг. Более детальное распределение оценок, которое поставляется с reCAPTCHA Enterprise, дает клиентам более точный контроль над тем, когда и как предпринимать действия. reCAPTCHA Enterprise изучает, как оценивать запросы, специфичные для конкретного варианта использования, но оценку также лучше всего использовать в зависимости от контекста. Наши наиболее успешные клиенты используют функции для задержки обратной связи с злоумышленниками, такие как ограничение возможностей подозрительных учетных записей, требование дополнительной проверки для конфиденциальных покупок и ручная модерация контента, который, вероятно, создается ботом.

Мы также недавно выпустили отчет ESG, в котором они оценили эффективность reCAPTCHA Enterprise, развернутого на реальном гипермасштабируемом веб-сайте, для защиты от атак с автоматическим заполнением учетных данных и захватом учетных записей. ESG отметила: «Примерно через два месяца после развертывания reCAPTCHA Enterprise количество попыток входа в систему снизилось примерно на 90%, в то время как база зарегистрированных пользователей выросла естественным образом».



Мы постоянно разрабатываем новые типы сигналов для выявления масштабных злоупотреблений. На четырех миллионах сайтов с включенной защитой reCAPTCHA мы защищаем все, от учетных записей до транзакций электронной коммерции, раздачи еды после стихийных бедствий и голосования за вашу любимую знаменитость. Сейчас, как никогда раньше, мы гордимся тем, что защищаем наших клиентов и их пользователей.