Google Cloud Platform

От понимания нашего происхождения до предсказания будущих событий — одни из величайших прорывов, которых мы сделали на Земле, были достигнуты благодаря изучению Вселенной. Высокопроизводительные вычисления и машинное обучение (ML) ускоряют этот вид исследований беспрецедентными темпами. В Google Cloud мы гордимся тем, что играем хотя бы небольшую роль в развитии науки астрономии, и поэтому мы рады сегодня рассказать о новой работе с обсерваторией Веры К. Рубин в Чили и исследователями из Калифорнийского технологического института..

Облачный фундамент для 20 ТБ наблюдений за ночным небом
В рамках новаторского сотрудничества Обсерватория Рубина заключила трехлетнее соглашение о размещении своего Временного центра данных (IDF) в Google Cloud. Благодаря этому сотрудничеству Рубин будет обрабатывать астрономические данные, собранные обсерваторией, и предоставлять данные сотням пользователей в научном сообществе в преддверии своего 10-летнего проекта Legacy Survey of Space and Time (LSST).

LSST направлен на проведение глубокого обзора огромной площади неба для создания астрономического каталога, в тысячи раз большего, чем любой ранее составленный обзор. Используя 8,4-метровый обзорный телескоп Simonyi и гигапиксельную камеру LSST, в течение 10 лет каждую ночь будет сниматься около 1000 изображений неба. Эти изображения с высоким разрешением будут содержать данные примерно о 20 миллиардах галактик и аналогичном количестве звезд, предоставляя исследователям беспрецедентный ресурс для понимания структуры и эволюции нашей Вселенной с течением времени. Создав IDF на базе Google Cloud, Обсерватория Рубина заложит основу для управления огромным набором данных — всего 500 петабайт, — который в конечном итоге будет доступен научному сообществу в масштабах и гибкости.

«Нам очень приятно работать с Google Cloud над этим проектом, который окажет большое и положительное влияние на нашу способность предоставлять услуги сообществу Rubin», — говорит Боб Блюм, исполняющий обязанности директора по эксплуатации обсерватории Рубина.

«Нам не нужно создавать инфраструктуру самостоятельно — она ​​хорошо зарекомендовала себя, была протестирована и улучшена для других пользователей, поэтому мы получаем от этого выгоду», — объясняет Синь-Фанг Чан, научный аналитик и инженер по управлению данными из обсерватории Рубин, и один из первых пользователей IDF.

Обсерватория Рубина будет использовать Google Cloud Storage и Google Kubernetes Engine, а Google Workspace обеспечит продуктивность и сотрудничество.

Исследователь из Калифорнийского технологического института обнаружил новую комету с помощью ИИ
В то время как кометы наблюдаются относительно часто, открытие новых комет происходит редко. Центр малых планет, который отслеживает малые тела Солнечной системы в космосе, каталогизировал менее 100 новых комет в 2019 году по сравнению с примерно 21000 новых малых планет.
minorplanetcenter.net/

В конце августа 2020 года доктор Дмитрий Дуэв, научный сотрудник отдела астрономии Калифорнийского технологического института, начал пилотную программу по использованию инструментов Google Cloud для идентификации объектов, наблюдаемых Zwicky Transient Facility (ZTF) в Паломарской обсерватории в Южной Калифорнии. ZTF сканирует северное небо каждую ясную ночь, измеряя миллиарды астрономических объектов и регистрируя миллионы кратковременных явлений. Используя эти изображения, Дуэв обучил модель машинного обучения в Google Cloud определять кометы с точностью более 99%. 7 октября модель определила Comet C / 2020 T2, первое подобное открытие, приписываемое искусственному интеллекту. Это достижение делает возможным открытие новых комет значительно ускоренными темпами.

«Наличие быстрого и точного способа классификации объектов, которые мы видим в небе, произвело революцию в нашей области», — говорит Дуэв. «Это как если бы в нашем распоряжении было множество высококвалифицированных астрономов 24/7».



Заинтересованы в использовании Google Cloud, чтобы раскрыть секреты вселенной?
Это лишь некоторые из увлекательных проектов, над которыми мы работаем с нашими заказчиками в области астрономии. В апреле 2019 года телескоп Event Horizon, виртуальная комбинация восьми радиотелескопов со всего мира, использовал экземпляры виртуальных машин (ВМ) Google Cloud для создания первого изображения сверхмассивной черной дыры. И с 2018 года Google также работает в партнерстве с Frontier Development Lab над применением машинного обучения к некоторым из самых сложных проблем НАСА в нашей Вселенной: прогнозированию наводнений здесь, на Земле, поиску полезных ископаемых на Луне для поддержки постоянной базы там, и прогнозирование солнечных вспышек, которые могут нарушить спутниковую связь.

Чтобы начать или расширить свой собственный проект, мы предлагаем кредиты на исследования ученым, использующим Google Cloud для соответствующих проектов в соответствующих странах. Вы можете найти нашу форму заявки на веб-сайте Google Cloud или связаться с нашим отделом продаж. Чтобы узнать больше о поддержке исследований в астрономии и других областях, зарегистрируйтесь на саммите Google Cloud Public Sector Summit, который включает множество исследовательских сессий. Сессии начнутся 8-9 декабря и также будут доступны по запросу.
cloud.google.com/solutions/education
lp.google-mkto.com/gcp-research-credits.html
cloudonair.withgoogle.com/events/public-sector-summit

Угрозы безопасности, такие как распределенные атаки типа «отказ в обслуживании» (DDoS), нарушают работу предприятий любого размера, что приводит к отключениям и, что еще хуже, к потере доверия пользователей. Эти угрозы — серьезная причина, по которой мы в Google уделяем особое внимание надежности услуг, основанной на надежной сети.

Чтобы обеспечить надежность, мы разработали несколько инновационных способов защиты от сложных атак. В этом посте мы подробно рассмотрим DDoS-угрозы, покажем наблюдаемые тенденции и расскажем, как мы готовимся к многотерабитным атакам, чтобы ваши сайты продолжали работать.

Таксономия возможностей атакующего
С помощью DDoS-атаки злоумышленник надеется нарушить работу своей жертвы потоком бесполезного трафика. Хотя эта атака не раскрывает пользовательские данные и не приводит к компрометации, она может привести к отключению и потере доверия пользователей, если ее быстро не устранить.

Злоумышленники постоянно разрабатывают новые методы нарушения работы систем. Они дают своим атакам причудливые имена, такие как Smurf, Tsunami, XMAS tree, HULK, Slowloris, cache bust, TCP-усиление, javascript-инъекция и дюжина вариантов отраженных атак. Между тем, защитник должен учитывать все возможные цели DDoS-атаки, от сетевого уровня (маршрутизаторы / коммутаторы и пропускная способность канала) до уровня приложений (веб, DNS и почтовые серверы). Некоторые атаки могут даже не фокусироваться на конкретной цели, а вместо этого атаковать каждый IP-адрес в сети. Умножение десятков типов атак на разнообразие инфраструктуры, которую необходимо защищать, открывает бесконечные возможности.

Итак, как мы можем упростить проблему, чтобы сделать ее управляемой? Вместо того, чтобы сосредоточиться на методах атаки, Google группирует объемные атаки по нескольким ключевым показателям:

• бит / с сеть бит в секунду → атаки на сетевые ссылки
• pps сетевых пакетов в секунду → атаки на сетевое оборудование или DNS-серверы
• rps HTTP (S) запросов в секунду → атаки на серверы приложений

Таким образом, мы можем сосредоточить наши усилия на том, чтобы каждая система имела достаточную способность противостоять атакам, что измеряется соответствующими метриками.

Динамика объемов DDoS-атак
Наша следующая задача — определить мощность, необходимую для противостояния крупнейшим DDoS-атакам для каждой ключевой метрики. Правильное выполнение этого шага является необходимым шагом для эффективной работы надежной сети: избыточное выделение ресурсов приводит к потере дорогостоящих ресурсов, а недостаточное выделение ресурсов может привести к отключению.

Для этого мы проанализировали сотни значительных атак, полученных нами по перечисленным показателям, и включили достоверные отчеты, которыми поделились другие. Затем мы составляем график крупнейших атак за последнее десятилетие, чтобы выявить тенденции. (Данные за несколько лет до этого периода позволили нам решить, что использовать для первой точки данных каждой метрики.)


Экспоненциальный рост всех показателей очевиден, что часто вызывает тревожные заголовки по мере роста объемов атак. Но нам нужно учитывать экспоненциальный рост самого Интернета, который также обеспечивает пропускную способность и вычислительные ресурсы для защитников. После учета ожидаемого роста результаты не столь тревожны, но все же проблематичны.

Создание защищаемой инфраструктуры
Учитывая данные и наблюдаемые тенденции, теперь мы можем экстраполировать, чтобы определить резервную мощность, необходимую для отражения самых крупных атак, которые могут произойти.

бит / с (сетевые биты в секунду)
Наша инфраструктура поглотила DDoS со скоростью 2,5 Тбит / с в сентябре 2017 года, что стало кульминацией шестимесячной кампании, в которой использовались несколько методов атаки. Несмотря на то, что одновременно были нацелены на тысячи наших IP-адресов, предположительно в надежде обойти автоматическую защиту, атака не оказала никакого влияния. Злоумышленник использовал несколько сетей для имитации 167 млн ​​пакетов в секунду (миллионов пакетов в секунду) на 180 000 открытых серверов CLDAP, DNS и SMTP, которые затем отправляли нам большие ответы. Это демонстрирует объемы, которых может достичь злоумышленник с хорошими ресурсами: это было в четыре раза больше, чем рекордная атака со скоростью 623 Гбит / с, совершенная ботнетом Mirai годом ранее. На сегодняшний день это остается атакой с максимальной пропускной способностью, что снижает доверие к экстраполяции.
blog.google/threat-analysis-group/how-were-tackling-evolving-online-threats

pps (количество сетевых пакетов в секунду)
Мы наблюдаем устойчивую тенденцию роста: в этом году ботнет Интернета вещей совершил атаку со скоростью 690 млн пакетов в секунду. Заметным исключением стала атака 2015 года на клиентскую виртуальную машину, в которой ботнет IoT разогнался до 445 млн пакетов в секунду за 40 секунд — объем настолько велик, что мы поначалу подумали, что это сбой мониторинга!

rps (HTTP (S) запросов в секунду)
В марте 2014 года вредоносный javascript, внедренный на тысячи веб-сайтов через сетевую атаку «человек посередине», заставил сотни тысяч браузеров завалить YouTube запросами, пик которых достиг 2,7 млн ​​запросов в секунду (миллионы запросов в секунду). Это была самая крупная атака, известная нам до недавнего времени, когда клиент Google Cloud был атакован с использованием 6 Mrps. Медленный рост отличается от других показателей, что позволяет предположить, что мы недооцениваем объем будущих атак.

Хотя мы можем оценить ожидаемый размер будущих атак, нам нужно быть готовыми к неожиданностям, и поэтому мы соответствующим образом чрезмерно обеспечиваем нашу защиту. Кроме того, мы проектируем наши системы таким образом, чтобы в случае перегрузки происходило постепенное ухудшение их работы, и составляем инструкции по выполнению действий вручную при необходимости. Например, наша стратегия многоуровневой защиты позволяет нам блокировать атаки с высоким и высоким числом оборотов в секунду на сетевом уровне до того, как они достигнут серверов приложений. Изящная деградация применяется также на сетевом уровне: обширные пиринговые и сетевые списки контроля доступа, предназначенные для ограничения трафика атак, уменьшат потенциальный сопутствующий ущерб в том случае, если ссылки маловероятны при переполнении.

Дополнительные сведения о многоуровневом подходе, который мы используем для предотвращения рекордных DDoS-атак, нацеленных на наши услуги, инфраструктуру или клиентов, см. В главе 10 нашей книги «Построение безопасных и надежных систем».
landing.google.com/sre/resources/foundationsandprinciples/srs-book/

Облачная защита
Мы понимаем, что масштабы потенциальных DDoS-атак могут быть устрашающими. К счастью, развернув Google Cloud Armor, интегрированный в нашу службу балансировки нагрузки в облаке, которая может масштабироваться для защиты от массовых DDoS-атак, вы можете защитить от атак службы, развернутые в Google Cloud, других облаках или локально. Недавно мы анонсировали Cloud Armor Managed Protection, которая позволяет пользователям еще больше упростить развертывание, управлять расходами и снизить общий риск DDoS-атак и безопасности приложений.
cloud.google.com/load-balancing

Наличие достаточной мощности для отражения самых крупных атак — это лишь одна часть комплексной стратегии предотвращения DDoS-атак. Помимо обеспечения масштабируемости, наш балансировщик нагрузки завершает сетевые подключения на нашей глобальной границе, отправляя только правильно сформированные запросы в серверную инфраструктуру. В результате он может автоматически фильтровать многие типы объемных атак. Например, атаки с усилением UDP, синхронные потоки и некоторые атаки на уровне приложений будут отброшены без уведомления. Следующей линией защиты является Cloud Armor WAF, который предоставляет встроенные правила для распространенных атак, а также возможность развертывания пользовательских правил для отбрасывания оскорбительных запросов уровня приложения с использованием широкого набора семантики HTTP.

Совместная работа ради коллективной безопасности
Google работает с другими участниками интернет-сообщества, чтобы выявлять и демонтировать инфраструктуру, используемую для проведения атак. В качестве конкретного примера, даже несмотря на то, что атака 2,5 Тбит / с в 2017 году не оказала никакого воздействия, мы сообщили о тысячах уязвимых серверов их сетевым провайдерам, а также работали с сетевыми провайдерами, чтобы отследить источник поддельных пакетов, чтобы их можно было отфильтровать.

Мы призываем всех присоединиться к нам в этих усилиях. Отдельные пользователи должны убедиться, что их компьютеры и устройства Интернета вещей исправлены и защищены. Компании должны сообщать о преступной деятельности, просить своих сетевых провайдеров отслеживать источники поддельного трафика атак и делиться информацией об атаках с интернет-сообществом таким образом, чтобы не обеспечивать своевременную обратную связь с противником. Работая вместе, мы можем снизить влияние DDoS-атак.

Трафик как от людей, так и от ботов находится на рекордно высоком уровне. С марта 2020 года использование reCAPTCHA увеличилось на 40% — компании и сервисы, которые ранее видели большинство своих пользователей лично, перешли на использование в первую очередь онлайн или только онлайн. Этот повышенный спрос на онлайн-услуги и транзакции может подвергнуть компании различным формам онлайн-мошенничества и злоупотреблений, и без специальных команд, знакомых с этими атаками и способами их предотвращения, мы видели, как сотни тысяч новых веб-сайтов приходят на reCAPTCHA для наглядности и охрана.

Во время COVID-19 reCAPTCHA играет важную роль, помогая глобальным агентствам государственного сектора распространять маски и другие расходные материалы, предоставлять актуальную информацию избирателям и защищать учетные записи пользователей от распределенных атак. Большинство этих агентств используют обнаружение на основе оценок, которое поступает из reCAPTCHA v3 или reCAPTCHA Enterprise, вместо того, чтобы отображать визуальные или звуковые проблемы, обнаруженные в reCAPTCHA v2. Это снижает трение для пользователей, а также дает командам гибкость в отношении того, как реагировать на запросы ботов и мошеннические действия.

reCAPTCHA Enterprise также может помочь защитить ваш бизнес. Независимо от того, переносите ли вы операции в сеть впервые или у вас есть собственная команда инженеров по безопасности, reCAPTCHA может помочь вам обнаружить новые веб-атаки, понять угрозы и принять меры для обеспечения безопасности ваших пользователей. Многим предприятиям не хватает видимости отдельных частей своего сайта, а добавление reCAPTCHA помогает выявить дорогостоящие атаки до того, как они произойдут. Консоль показывает риск, связанный с каждым действием, чтобы помочь вашему бизнесу оставаться впереди.

В отличие от многих других платформ для борьбы со злоупотреблениями и мошенничеством, reCAPTCHA не полагается на инвазивное снятие отпечатков пальцев. Эти методы часто могут наказывать пользователей, заботящихся о конфиденциальности, которые пытаются обезопасить себя с помощью таких инструментов, как частные сети, и которые по умолчанию вступают в конфликт с требованиями браузеров к конфиденциальности. Вместо этого мы переключили наше внимание на анализ поведенческих рисков во время сеанса, выявляя мошенническое поведение, а не заботясь о том, кто или что стоит за сетевым подключением. Мы обнаружили, что это чрезвычайно эффективно при обнаружении атак в мире, где злоумышленники контролируют миллионы IP-адресов и взломанных устройств и регулярно платят реальным людям за то, чтобы они вручную обходили обнаружения.

С тех пор, как мы выпустили reCAPTCHA Enterprise в прошлом году, мы смогли более тесно сотрудничать с существующими и новыми клиентами, совместно решая проблемы со злоупотреблениями и определяя передовые методы в конкретных случаях использования, таких как захват аккаунтов, кардинг и скрапинг. Более детальное распределение оценок, которое поставляется с reCAPTCHA Enterprise, дает клиентам более точный контроль над тем, когда и как предпринимать действия. reCAPTCHA Enterprise изучает, как оценивать запросы, специфичные для конкретного варианта использования, но оценку также лучше всего использовать в зависимости от контекста. Наши наиболее успешные клиенты используют функции для задержки обратной связи с злоумышленниками, такие как ограничение возможностей подозрительных учетных записей, требование дополнительной проверки для конфиденциальных покупок и ручная модерация контента, который, вероятно, создается ботом.

Мы также недавно выпустили отчет ESG, в котором они оценили эффективность reCAPTCHA Enterprise, развернутого на реальном гипермасштабируемом веб-сайте, для защиты от атак с автоматическим заполнением учетных данных и захватом учетных записей. ESG отметила: «Примерно через два месяца после развертывания reCAPTCHA Enterprise количество попыток входа в систему снизилось примерно на 90%, в то время как база зарегистрированных пользователей выросла естественным образом».



Мы постоянно разрабатываем новые типы сигналов для выявления масштабных злоупотреблений. На четырех миллионах сайтов с включенной защитой reCAPTCHA мы защищаем все, от учетных записей до транзакций электронной коммерции, раздачи еды после стихийных бедствий и голосования за вашу любимую знаменитость. Сейчас, как никогда раньше, мы гордимся тем, что защищаем наших клиентов и их пользователей.

Организации по всему миру полагаются на Cloud CDN для быстрой и надежной доставки веб-контента и видеоконтента. Теперь мы упрощаем вам использование преимуществ нашей глобальной сети и инфраструктуры кеширования, снижая стоимость Cloud CDN для доставки вашего контента в будущем.

Во-первых, мы снижаем стоимость заполнения кеша (контента, полученного из вашего источника) повсеместно до 80%. Тем не менее, вы по-прежнему получаете преимущества нашей глобальной частной магистрали для заполнения кэша, обеспечивая постоянную высокую производительность при меньших затратах. Мы также убрали плату за заполнение кеша и аннулирование кеша для всех клиентов.

Это снижение цены, наряду с нашим недавним введением нового набора гибких возможностей кэширования, делает использование Cloud CDN еще проще для оптимизации производительности ваших приложений. Cloud CDN теперь может автоматически кэшировать веб-ресурсы, видеоконтент или загружаемое программное обеспечение, точно контролировать их кэширование и напрямую устанавливать заголовки ответов, чтобы соответствовать лучшим практикам веб-безопасности.

Вы можете ознакомиться с нашими обновленными ценами в нашей общедоступной документации, а клиенты, у которых расходуется более 1 ПБ в месяц, должны обратиться к нашему отделу продаж, чтобы обсудить скидки на основе обязательств в рамках перехода на Google Cloud.

Чтобы узнать больше об Cloud CDN или начать его использовать, начните здесь.
cloud.google.com/cdn/pricing
cloud.google.com/cdn

Как разработчик, создающий новое приложение, вы хотите сосредоточиться на написании кода, а не на его контейнеризации. И если вы уже используете контейнеры, вы знаете, что создание хорошего и безопасного образа контейнера может быть сложным и трудоемким. Сегодня мы запускаем широкую поддержку пакетов сборки в Google Cloud — технологии с открытым исходным кодом, которая позволяет быстро и легко создавать безопасные, готовые к работе образы контейнеров из исходного кода и без файла Dockerfile.

В основе этого выпуска — набор сборочных пакетов и сборщиков с открытым исходным кодом. Основываясь на спецификации buildpacks v3 CNCF, эти buildpacks создают образы контейнеров, которые соответствуют передовым методам и подходят для работы на всех наших контейнерных платформах: Cloud Run (полностью управляемый), Anthos и Google Kubernetes Engine (GKE). Эти пакеты сборки усилены и протестированы в производственной среде; с марта они широко используются в большинстве сборок для App Engine и Cloud Functions.
buildpacks.io/

Использование сборочных пакетов
Вы можете использовать пакеты сборки несколькими способами: во-первых, если вы еще не полностью внедрили контейнеризацию, пакеты сборки — это способ использовать новейшие платформы среды выполнения и доставки контейнеров. Они также полезны для быстрых проектов, когда у вас нет времени должным образом проверить и настроить Dockerfile, который вы можете найти в дикой природе.

Вы можете опробовать пакеты сборки Google Cloud прямо сейчас. Чтобы выполнить полное развертывание с помощью проекта Go, пакетов сборки и Cloud Run, просто нажмите кнопку «Выполнить в Google Cloud».

Чтобы попробовать сборки пакетов локально с приложением, установите Docker и инструмент CLI 'pack', затем запустите:

cd my-app
pack build my-app --builder gcr.io/buildpacks/builder

(Поддерживаются Go, Java, Node, Python и .Net. Для правильной сборки им может потребоваться дополнительная настройка.)

Или, если вы не хотите ничего устанавливать, вы можете запустить сборку на основе buildpack в Cloud Build, а затем легко развернуть в Cloud Run:

gcloud alpha builds submit --pack image=gcr.io/[project-id]/my-app
gcloud run deploy --image=gcr.io/[project-id]/my-app --platform managed

Как работают сборочные пакеты?
Сборочные пакеты распространяются и выполняются в образах OCI, называемых сборщиками. У каждого строителя может быть один или несколько сборочных пакетов. Конструктор пакетов сборки Google Cloud, который мы выпускаем сегодня, доступен по адресу gcr.io/buildpacks/builder.

Строители имеют возможность автоматически определять язык вашего исходного кода. Это достигается с помощью исполняемого файла bin / detect в пакете сборки. Сценарии обнаружения вызываются в определенном порядке и останавливаются после того, как соответствующее количество пакетов сборки подключилось к сборке. Например, большинство сборочных пакетов Node.js проверяют наличие файла packages.json. Вы также можете вручную указать, какой пакет сборки использовать, тем самым пропуская этап автоопределения.

После выбора buildpack выполняется его bin / build. Этот сценарий преобразует ваш исходный код в исполняемый артефакт, обычно выполняя такие действия, как установка зависимостей или компиляция кода.

Результат этого шага сборки затем добавляется поверх «запущенного» базового образа OCI, создавая окончательный образ контейнера, который затем можно запускать на платформе по вашему выбору.

Пакеты сборки Google Cloud
Пакеты сборки Google Cloud оптимизированы для обеспечения безопасности, скорости и возможности повторного использования. Они позволяют встраивать приложения и функции в образы контейнеров. При создании функции они упаковывают ее с помощью платформы Google Cloud Functions Framework с открытым исходным кодом.

Пакеты сборки Google Cloud используют управляемый базовый образ Ubuntu 18.04, который регулярно сканируется на наличие уязвимостей; любые обнаруженные уязвимости автоматически исправляются. Это гарантирует, что при сборке исходного кода с помощью пакетов сборки он будет максимально безопасным.

Пакеты сборки Google Cloud также можно настроить с помощью дополнительных системных пакетов или в соответствии с конкретными потребностями вашей команды разработчиков.

Сами пакеты сборки написаны на Go. Вместо того, чтобы создавать один пакет сборки для каждого языка, вы можете комбинировать меньшие модульные пакеты сборки вместе. Например, существует пакет сборки NPM, который (что неудивительно) устанавливает пакеты узлов. Это, конечно, используется для сборок Node.js, но его также можно использовать для других языков и фреймворков, которые используют пакеты NPM (например, Ruby on Rails).

Широкая поддержка в Google Cloud
В дополнение к пакетам сборки с открытым исходным кодом мы поддерживаем пакеты сборки для ряда наших продуктов:

• Cloud Build теперь изначально поддерживает сборочные пакеты через инструмент командной строки gcloud: gcloud alpha builds submit --pack image = gcr.io / [project-id] / my-app. (см. документацию)
• Cloud Run — непрерывное развертывание в Cloud Run (с помощью триггеров Cloud Build) можно настроить для использования пакетов сборки (см. Документацию).
• App Engine. Пакеты сборки теперь являются механизмом по умолчанию для исходных развертываний в самых новых средах выполнения App Engine. Примечательно, что пакеты сборки позволяют развертывать Java на основе исходного кода (ранее поддерживались только развертывания на основе JAR). Все недавно выпущенные среды выполнения будут использовать пакеты сборки.
• Облачные функции — как и App Engine, пакеты сборки являются механизмом по умолчанию для создания развернутых функций.
• Облачный код — среды разработки облачного кода могут создавать исходный код с помощью пакетов сборки и развертывать полученные контейнеры непосредственно в GKE.
• Skaffold поддерживает разработку в реальном времени с помощью пакетов сборки. По мере того как вы редактируете исходный код, пакеты сборки могут непрерывно перестраивать ваше приложение, позволяя вам предварительно просматривать изменения в локальном экземпляре вашего приложения.
• Cloud Shell — инструмент CLI пакета теперь установлен в Cloud Shell по умолчанию. Это позволяет выполнять сборочные пакеты в Cloud Shell без установки дополнительных пакетов.

Начни сегодня
Узнайте больше о пакетах сборки Google Cloud в репозитории GitHub. Затем разверните образец приложения с помощью пакетов сборки одним нажатием кнопки.
github.com/GoogleCloudPlatform/buildpacks
github.com/GoogleCloudPlatform/buildpack-samples#buildpack-samples

ИИ И МАШИННОЕ ОБУЧЕНИЕ
Рекомендации AI: beta
Создавайте высококачественные комплексные персонализированные системы рекомендаций по продуктам, не обладая обширными знаниями в области машинного обучения, проектирования систем, операций или облачной платформы Google. Документация | Блог

УПРАВЛЕНИЕ API
Apigee — Адаптер Apigee для Envoy: GA
Расширьте возможности Envoy, включив в них управление API Apigee, публикацию API, видимость, управление и аналитику использования, представив службы, лежащие в основе Envoy, в виде API. Документация

АНАЛИТИКА ДАННЫХ
Dataprep от Trifacta — Flow View, параметры потока: бета
Перемещайте наборы данных и рецепты, увеличивайте и уменьшайте масштаб и управляйте комментариями на странице Flow View — используйте фильтры и формулы, а также извлекайте или заменяйте функцию, чтобы изменить логику рецептов на основе параметров потока во время выполнения или через API.
cloud.google.com/dataprep/docs/html/Flow-View-Page_57344806.html
cloud.google.com/dataprep/docs/html/Manage-Parameters-Dialog_156863476.html

Dataprep от Trifacta — преобразование даты: бета
Считайте рабочие дни между датами без праздников, найдите наиболее частую дату, конвертируйте дату в определенном часовом поясе и многое другое.
cloud.google.com/dataprep/docs/html/Date-Functions_57344704

МОДЕРНИЗАЦИЯ ИНФРАСТРУКТУРЫ
Активный ассист: GA
Вносите упреждающие улучшения и оптимизируйте безопасность, производительность и затраты в облаке с помощью инструментов, использующих машинное обучение, чтобы упростить облако и упростить администрирование.
cloud.google.com/solutions/active-assist
cloud.google.com/blog/products/management-tools/active-assist-comes-to-google-cloud

БЕЗОПАСНОСТЬ И ИДЕНТИЧНОСТЬ
Compute Engine — конфиденциально виртуальные машины: бета
Шифруйте данные, которые используются — пока они обрабатываются. Конфиденциальные вычислительные среды хранят данные в зашифрованном виде в памяти и в других местах за пределами ЦП. Этот выпуск знаменует собой первый продукт в портфеле конфиденциальных вычислений Google Cloud.
cloud.google.com/confidential-computing
cloud.google.com/blog/products/identity-security/introducing-google-cloud-confidential-computing-with-confidential-vms

Google Cloud Armor — Managed Protection Plus: бета
Защитите свои приложения от DDoS-атак и целевых попыток использования уязвимостей с тем же масштабом и опытом, который использует Google для защиты наших собственных приложений и критически важных сервисов от злонамеренных действий.
cloud.google.com/blog/products/identity-security/google-cloud-armor-features-to-protect-your-websites-and-applications

ХРАНЕНИЕ И БАЗЫ ДАННЫХ
Cloud Bigtable — резервное копирование Bigtable: GA
Повысьте непрерывность бизнеса и защиту данных для критически важных рабочих нагрузок с помощью управляемого резервного копирования. Новые функции включают управление доступом к удостоверениям на уровне таблиц (IAM), журналы аудита для действий администратора, а также расширенную поддержку и SLA для одноузловых производственных экземпляров.
cloud.google.com/bigtable/docs/backups?utm_source=release-notes

Поскольку все больше и больше людей во всем мире обращаются к многопользовательским играм, разработчики должны масштабировать свою игру, чтобы удовлетворить растущий спрос игроков и обеспечить отличный игровой процесс, одновременно управляя сложной базовой глобальной инфраструктурой.

Чтобы решить эту проблему, многие игровые компании создают и управляют своими собственными дорогостоящими проприетарными решениями или обращаются к готовым решениям, которые ограничивают выбор и контроль разработчика.
Ранее в этом году мы объявили о выпуске бета-версии Game Servers, управляемого сервиса, созданного на основе Agones, проекта масштабирования игровых серверов с открытым исходным кодом. Игровые серверы используют Kubernetes для оркестровки контейнеров и Agones для оркестровки парка игровых серверов и управления жизненным циклом, предоставляя разработчикам современную и более простую парадигму для управления и масштабирования игр.

Сегодня мы с радостью сообщаем, что игровые серверы в целом доступны для производственных рабочих нагрузок. Упрощая управление инфраструктурой, игровые серверы позволяют разработчикам сосредоточить свои ресурсы на создании лучших игр для своих игроков. Давайте погрузимся в несколько основополагающих концепций, которые лучше проиллюстрируют, как игровые серверы помогают вам запускать игру.


Кластеры и области
Кластер игрового сервера — это концепция самого атомарного уровня в игровых серверах, и это просто кластер Kubernetes, на котором работает Agones. После определения пользователем кластеры должны быть добавлены в область.
Сферы — это определяемые пользователем группы кластеров игровых серверов, которые можно рассматривать как единое целое с точки зрения игровых клиентов. Хотя разработчики могут определять свои области по своему усмотрению, географическое распределение области обычно диктуется требованиями к задержке вашей игры. По этой причине большинство игр будут определять свои игровые миры на континентальной основе, причем миры находятся в игровых точках, таких как США, Англия и Япония, обслуживающие игроков в Северной Америке, Европе и Азии.

Независимо от того, ожидаете ли вы, что ваша игра со временем наберет обороты в определенных странах или станет глобальным хитом с первого дня, мы рекомендуем запускать несколько кластеров в одной области, чтобы обеспечить высокую доступность и плавное масштабирование.

Развертывания и конфигурации
После того, как вы определили свои области и кластеры, вы можете развернуть на них свое игровое программное обеспечение, используя концепции, которые мы называем развертываниями и конфигурациями. Развертывание игрового сервера — это глобальная запись версии программного обеспечения игрового сервера, которая может быть развернута на любом или всех кластерах игровых серверов по всему миру. Конфигурация игрового сервера определяет детали версий игрового сервера, развертываемых в ваших кластерах.
После того как вы определили эти концепции, начнут проявляться ключевые различия между агонами и игровыми серверами.

Во-первых, теперь у вас есть возможность определять свои собственные политики автоматического масштабирования. Сегментация вашей игры на области и кластеры в сочетании с самоопределяемыми политиками масштабирования предоставляет разработчикам идеальное сочетание точности, контроля и простоты. Например, вы можете указать политику на уровне области, которая автоматически выделяет больше серверов в соответствии с геозависимыми дневными игровыми шаблонами, или вы можете масштабировать все кластеры одновременно глобально для подготовки к глобальному игровому событию.

Во-вторых, у вас есть гибкость для развертывания новых двоичных файлов игрового сервера в различных регионах мира, ориентируясь на определенные области с вашими развертываниями. Это позволяет вам проводить A / B или канареечное тестирование новых версий программного обеспечения в любой выбранной вами области.

И, наконец, хотя мы создаем игровые серверы, чтобы они были максимально настраиваемыми, мы также признаем, что технологии — это только половина дела (королевская игра). Игровые эксперты Google Cloud работают вместе с вашей командой, чтобы подготовиться к успешному запуску, а игровые серверы поддерживаются поддержкой Google Cloud, чтобы ваша игра продолжала расти в долгосрочной перспективе.

Создание открытой архитектуры для игр
Ваша игра уникальна, и мы понимаем, что контроль имеет первостепенное значение для разработчиков игр. Разработчики могут в любой момент отказаться от использования игровых серверов и самостоятельно управлять кластерами Agones. Кроме того, у вас всегда есть прямой доступ к базовым кластерам Kubernetes, поэтому, если вам нужно добавить свои собственные игровые дополнения поверх установки Agones, у вас есть возможность сделать это. Вы всегда все под контролем.
Выбор также важен. Сегодня игровые серверы поддерживают кластеры, работающие на Google Kubernetes Engine, и в настоящее время мы работаем над возможностью запускать ваши кластеры в любой среде, будь то Google Cloud, другие облака или локально.

Благодаря поддержке гибридных и мультиоблачных сред разработчики смогут свободно запускать рабочие нагрузки игровых серверов там, где это будет удобно для игрока. Вы также можете использовать настраиваемые политики масштабирования игровых серверов, чтобы оптимизировать стоимость развертывания глобального парка в гибридных и мультиоблачных средах по своему усмотрению.

Как клиент Google Cloud в течение многих лет, мы внимательно следим за развитием игровых серверов Google Cloud, мы считаем, что контейнеры и мультиоблачные возможности чрезвычайно важны для будущие крупные многопользовательские игры, и Google Cloud продолжает доказывать свою приверженность разработчикам игр, создавая гибкие открытые решения, которые масштабируются по всему миру

сказал Эллиот Гозанкси, руководитель отдела архитектуры Square Enix

Игровые серверы бесплатны до конца года, и вам будет выставлен счет только за базовое использование кластеров Kubernetes. Чтобы узнать больше об игровых серверах, посетите нашу страницу продукта для игровых серверов или сразу же начните с нашего краткого руководства. Вы также можете присоединиться к нам для разработки решений для запуска массовых глобальных игр в облаке на сайте Google Cloud Next '20: OnAir (зарегистрируйтесь здесь бесплатно) и узнайте больше о том, как Google Cloud помогает разработчикам игр всех размеров объединять свои игры с игроками из разных стран. Мир.

cloud.google.com/game-servers
cloud.google.com/game-servers/docs/quickstart
cloud.withgoogle.com/next/sf/sessions?session=DEV211
cloud.withgoogle.com/next/sf/

В рамках нашего обязательства по предоставлению наиболее удобных для предприятий, интеллектуальных и экономически эффективных вариантов выполнения рабочих нагрузок в облаке мы рады объявить, что перегрузка ЦП для узлов с единоличным клиентом теперь общедоступна.

С избыточным выделением ресурсов ЦП для узлов с одним арендатором вы можете выделить ресурсы виртуального ЦП выделенного хоста до 2 раз. Избыточное выделение ресурсов ЦП автоматически перераспределяет виртуальные ЦП между узлами-единоличными пользователями с простаивающих экземпляров ВМ на экземпляры ВМ, которым требуются дополнительные ресурсы. Это позволяет разумно объединять циклы ЦП для снижения требований к вычислительным ресурсам при выполнении корпоративных рабочих нагрузок на выделенном оборудовании.



Избыточная загрузка ЦП для узлов с одним арендатором решает общие проблемы предприятия, такие как:

Запуск экономичных виртуальных рабочих столов в облаке — чрезмерное использование ЦП для узлов с одним клиентом позволяет создавать экономичные решения для виртуальных рабочих столов за счет интеллектуального распределения ресурсов между виртуальными машинами на основе использования, когда существуют требования к выделенному оборудованию из требований лицензирования.

Улучшение использования хоста и помощь в сокращении затрат на инфраструктуру — чрезмерное использование ЦП позволяет дополнительно увеличить количество доступных ЦП хоста на каждом узле единоличного клиента. В сочетании с настраиваемыми типами компьютеров перегрузка ЦП помогает оптимизировать использование памяти и поддерживает более высокое использование для рабочих нагрузок с меньшим объемом памяти.

Снижение затрат на лицензии. Для лицензий, основанных на физических ядрах хоста, таких как «принеси свою собственную лицензию» для Windows Server или Microsoft SQL Server, чрезмерное использование ЦП для узлов с одним арендатором позволяет разместить больше виртуальных машин на каждом лицензированном сервере. Это позволяет сохранить локальные схемы лицензирования и может значительно снизить затраты на лицензирование при работе в Google Cloud.

Гибкое управление
Избыточная нагрузка ЦП для узлов с одним арендатором контролируется на уровне экземпляра виртуальной машины путем установки минимального количества гарантированных виртуальных ЦП на виртуальную машину наряду с максимальным пакетным виртуальным процессором для каждой виртуальной машины. Это дает вам гибкий контроль для каждой виртуальной машины, позволяющий сочетать и согласовывать размеры виртуальных машин и уровни избыточной нагрузки на одном узле с единоличным клиентом, чтобы вы могли удовлетворить свои конкретные потребности рабочей нагрузки. Например, при выполнении традиционной рабочей нагрузки виртуального рабочего стола вы можете выбрать единообразную избыточную нагрузку на все экземпляры на узле с единоличным клиентом; в то время как для пользовательских развертываний приложений вы можете выбрать индивидуальные уровни избыточной загрузки ЦП (или отсутствие избыточной загрузки) для рабочих нагрузок с большей чувствительностью к производительности. Благодаря настройке превышения лимита до 2X для каждого экземпляра вы можете превысить подписку на каждый узел с индивидуальным клиентом, вдвое превышая количество базовых виртуальных процессоров. Это означает, что для n2-node-80-640 с 80 виртуальными ЦП перегрузка ЦП позволяет вам обрабатывать узел так, как если бы было до 160 виртуальных ЦП.


Интеллектуальный мониторинг
Избыточное выделение ЦП для узлов с одним арендатором предлагает подробные метрики для мониторинга экземпляров виртуальных машин, чтобы помочь вам лучше настроить параметры избыточного выделения вашего экземпляра. Используя встроенную метрику времени ожидания планировщика, доступную в Cloud Monitoring, вы можете просматривать статистику времени ожидания на уровне экземпляра, чтобы увидеть влияние превышения лимита подписки на вашу рабочую нагрузку. Метрика времени ожидания планировщика позволяет вам измерять количество времени, в течение которого ваш экземпляр ожидает циклов ЦП, чтобы вы могли надлежащим образом регулировать уровни избыточной нагрузки в зависимости от потребностей рабочей нагрузки. Чтобы помочь вам быстро принять меры, вы можете настроить облачный мониторинг для запуска предупреждений о пороговых значениях времени ожидания.


Цена и доступность
За узлы с индивидуальным клиентом, настроенные для перегрузки ЦП, взимается фиксированная надбавка в размере 25%. Индивидуальные узлы с избыточной загрузкой ЦП доступны на узлах N1 и N2 в регионах и зонах с доступностью единоличных узлов.

Щелкните здесь, чтобы узнать больше о Compute Engine и индивидуальных узлах.
cloud.google.com/compute/docs/regions-zones/
cloud.google.com/compute

С кажущимся бесконечным списком угроз обеспечение безопасности ваших сайтов и приложений является постоянной проблемой. В Google мы стремимся помочь вам безопасно и эффективно управлять критически важными рабочими нагрузками, одновременно сокращая трудозатраты. За первую половину этого года мы сделали несколько критически важных функций и возможностей, в целом доступных для Google Cloud Armor, включая правила WAF, средства управления доступом на основе гео, язык пользовательских правил, поддержку серверов CDN Origins и поддержку сценариев гибридного развертывания.,

В Google Cloud Next ’20: OnAir мы упрощаем способ использования Cloud Armor для защиты ваших веб-сайтов и приложений от попыток эксплойтов, а также от распределенных атак типа «отказ в обслуживании» (DDoS).

Мы объявляем о выпуске бета-версии Cloud Armor Managed Protection Plus, пакета продуктов и услуг, которые помогают защитить ваши интернет-приложения за предсказуемую ежемесячную абонентскую плату.

Мы публикуем списки именованных IP-адресов Google в качестве бета-версии.

Мы продолжаем расширять наш набор предварительно настроенных правил WAF, запуская бета-правила для Удаленного включения файлов (RFI), Локального включения файлов (LFI) и Удаленного выполнения кода (RCE).



Представляем Cloud Armor Managed Protection Plus
Cloud Armor Managed Protection Plus использует границы сети Google, а также набор продуктов и услуг из всего Google Cloud, чтобы помочь защитить ваши приложения от DDoS-атак и целевых попыток эксплойтов. С помощью управляемой защиты вы теперь можете воспользоваться теми же масштабами и опытом, которые использует Google для защиты ваших приложений и критически важных служб от злонамеренных действий в Интернете.


Управляемая защита доступна в двух уровнях обслуживания: Стандартный и Плюс. Все существующие пользователи Cloud Armor, а также рабочие нагрузки, стоящие за любым из наших глобальных балансировщиков нагрузки, автоматически регистрируются в стандарте управляемой защиты. На этом уровне вы получаете масштабную и основанную на протоколах DDoS-защиту Google для любых ваших приложений и сервисов с балансировкой глобальной нагрузки, а также доступ к возможностям фильтрации Cloud Armor WAF и уровня 7 (L7), включая предварительно настроенный WAF правила, основанные на использовании цены, основанные на правилах, политиках и запросах.

Cloud Armor Managed Protection Plus, который в настоящее время находится в бета-версии, представляет собой услугу подписки с предсказуемой, удобной для предприятия моделью ежемесячных цен, которая снижает риск затрат от защиты от крупной D7S-атаки L7. Managed Protection Plus оптимизирует и расширяет возможности защиты от DDoS, Cloud Armor WAF и других дополнительных услуг в будущем. Клиенты, подписавшиеся на Managed Protection Plus, получат доступ к службам DDoS и WAF, а также куративным наборам правил по предсказуемой ежемесячной цене в зависимости от размера развертывания. Поскольку использование Cloud Armor WAF включено в Managed Protection Plus, подписчикам больше не нужно беспокоиться о количестве обработанных запросов или размере атаки L7. Подписчики Managed Protection Plus также получат доступ к растущему списку расширенных возможностей, включая именованные списки IP-адресов и будущие наборы правил и сервисов Google. Зарегистрируйте свои проекты для доступа к бета-версии.


Представляем именованные списки IP
Списки именованных IP-адресов, которые в настоящее время находятся в стадии бета-тестирования, представляют собой наборы правил Google, содержащие предварительно настроенный список IP-адресов, на которые можно ссылаться и которые можно повторно использовать в рамках политик и проектов. Мы начинаем с предоставления Именованных списков IP-адресов, которые имеют исходные диапазоны IP-адресов для обычных поставщиков вышестоящих сервисов, которые многие наши пользователи хотели бы разрешить с помощью своих политик безопасности Cloud Armor.


Клиентам часто приходится настраивать политики безопасности Cloud Armor с большим набором диапазонов IP-адресов, чтобы разрешить трафик от вышестоящего поставщика. Благодаря именованным спискам IP-адресов клиентам больше не нужно самостоятельно управлять списком IP-адресов своих вышестоящих провайдеров, и вместо этого они могут полагаться на Google, чтобы курировать и обновлять список IP-адресов. В настоящее время мы работаем с растущим списком поставщиков услуг, чтобы гарантировать, что клиенты могут беспрепятственно разрешать трафик от сторонних служб с помощью политики безопасности Cloud Armor, не отслеживая меняющиеся списки поставщиков IP-адресов поставщиков услуг.

Теперь вы можете ссылаться на эти именованные списки IP-адресов при создании пользовательских правил. Базовый список IP-адресов обновляется путем регулярной синхронизации с API сторонних поставщиков услуг.

Новые правила WAF: RFI, LFI, RCE
В рамках наших усилий по расширению сферы действия предварительно настроенных правил WAF для всех клиентов Cloud Armor мы делаем доступными правила бета-тестирования RFI, LFI и RCE. В совокупности эти правила содержат сигнатуры отраслевого стандарта из основного набора правил ModSecurity, чтобы помочь смягчить уязвимости класса Command Injection и одновременно расширить готовое покрытие для уязвимостей OWASP Top 10.


Как и другие предварительно сконфигурированные правила WAF, новые правила содержат десятки подподписей и могут настраиваться конечными пользователями для каждого приложения. Как обычно, богатый набор телеметрии, включая ведение журнала по запросу, показатели объема запросов, близкие к реальному времени, и соответствующие выводы по безопасности, отправляются в Cloud Logging, Cloud Monitoring и Cloud Security Command Center соответственно.

Вывод
Google Cloud Armor помогает защитить быстро растущий набор критически важных рабочих нагрузок клиентов, а также поддерживает их требования соответствия, такие как PCI DSS, для их развертываний Google Cloud. Благодаря возможностям и услугам, о которых мы объявили на этой неделе, вы можете упростить развертывание и снизить накладные расходы при интеграции с вышестоящими партнерами и поставщиками услуг.

docs.google.com/forms/d/e/1FAIpQLSe_pRA7f8lKm-TvggmAUZusPqf_LqONv1f6IoU_UugCvJaQWw/viewform
cloud.google.com/armor/docs/armor-named-ip
cloud.google.com/armor/docs/rule-tuning
cloud.google.com/armor