Google Cloud Platform

Когда вы устраняете неполадки в приложении или развертывании, на счету каждая секунда! Cloud Logging помогает устранять неполадки путем объединения журналов из Google Cloud, локальных или других облаков, индексации, объединения журналов в метрики, сканирования уникальных ошибок с помощью отчетов об ошибках и предоставления журналов для поиска менее чем за минуту. А теперь мы создали две новые функции для потоковой передачи журналов, чтобы вы могли получить еще более свежую информацию на основе данных журналов.

По многочисленным просьбам пользователей Linux мы добавили новый инструмент для имитации поведения команды tail -f, который позволяет отображать содержимое файла журнала на консоли в режиме реального времени. Мы также включили обновления, выходящие за рамки любимого хвостового инструмента, такие как одновременный поиск по всем журналам из всех ваших ресурсов и возможность использовать мощный язык запросов журнала Cloud Logging, включая глобальный поиск, регулярные выражения, совпадения подстрок и т. Д., Все все еще в режиме реального времени.

Вы можете использовать язык запросов журналов с новой функцией в реальном времени, чтобы находить информацию в журналах в режиме реального времени. Например, предположим, что вы только что развернули новое приложение и хотите просмотреть все журналы ошибок:

gcloud alpha logging tail "severity> = ERROR"

Но это возвращает слишком много результатов, поэтому вы сужаете область до журналов, содержащих текст «валюта»:

gcloud alpha logging tail "серьезность> = ОШИБКА И валюта"

Этот поиск возвращает значимый набор журналов, все еще в реальном времени.

Отслеживание журналов с gcloud теперь доступны для всех пользователей в Preview. Зайдите в нашу документацию, чтобы настроить ее и начать следить.

А если вы предпочитаете использовать Google Cloud Console, у нас для вас тоже есть отличные новости. Теперь вы можете передавать журналы в проводник журналов, а также легко выполнять потоковую передачу, приостанавливать, исследовать, связывать с трассировками, возобновлять потоковую передачу, визуализировать счетчики и загружать журналы — все из облачной консоли.

Итак, предпочитаете ли вы командную строку tail -f или специальный пользовательский интерфейс для изучения журналов, ознакомьтесь с новыми инструментами Cloud Logging и сэкономьте время на устранение неполадок.
cloud.google.com/sdk/gcloud/reference/alpha/logging/tail
cloud.google.com/logging/docs/view/logs-viewer-interface

В этом году мы стали свидетелями огромных изменений не только в нашей повседневной жизни, но и в том, как работает бизнес. Для нас это частично означало помощь предприятиям в переносе и модернизации наиболее важных корпоративных рабочих нагрузок — например, SAP, Windows и VMware — в Google Cloud, что помогало им добиться масштабируемости, гибкости и экономии средств. Давайте быстро оглянемся на прогресс, которого мы достигли в этом году, и на то, что нас ждет впереди.

SAP в Google Cloud обеспечивает гибкость
Среда SAP часто находится в самом центре деятельности предприятия. От финансового учета до управления цепочкой поставок и управления человеческим капиталом — приложения SAP требуют высочайшего уровня гибкости, безопасности и времени безотказной работы. Заказчики, рассматривающие возможность миграции SAP в облако, стремятся улучшить свои возможности по обеспечению непрерывности бизнеса. Им необходимо безопасное облако с повышенной надежностью, сетью и высокой производительностью. Они выделяются возможностями анализа данных и машинного обучения. И они хотят, чтобы миграция в облако была свободна от драматизма и сбоев, которые обычно сопровождают проекты корпоративного программного обеспечения.

В июне 2020 года компания Forrester провела оценку SAP в Google Cloud и нашла впечатляющие результаты для клиентов, планирующих миграцию:

• Компании, внедряющие SAP в Google Cloud, экономят в среднем более 3 миллионов долларов в год за счет отказа от покупки оборудования, оптимизации лицензий на программное обеспечение и оптимизации своего ИТ-персонала, а также за счет других средств повышения эффективности работы.
• Миграция сред SAP в Google Cloud эффективно устранила беспокойство клиентов по поводу времени безотказной работы системы, и они сэкономили 1,5 миллиона долларов в год, избегая проблем с простоями.
• Google Cloud значительно снизил влияние узких мест на сервере, сбоев инфраструктуры, проблем с пропускной способностью сети и других проблем с производительностью, что привело к увеличению производительности на 500 000 долларов в среднем для каждого пользователя SAP в Google Cloud.
• В зависимости от типа льгот пробег может быть разным. Но из этих исследований проявилась ясная история: внедрение SAP в Google Cloud оказалось инвестицией, которая быстро окупается.

inthecloud.withgoogle.com/forrester-economic-sap/dl-cd.html

Сократите затраты на лицензии Microsoft и Windows
Многие компании не захотели стать «магазинами Windows», но полагались на платформы Microsoft в результате многолетнего роста, приобретений и изменений. Давние пользователи Microsoft часто стремятся снизить свои затраты на лицензирование, избежать блокировки и лучше использовать открытые стандарты и программное обеспечение с открытым исходным кодом, а также убедиться, что их инвестиции в приложения Windows Server являются вопросом выбора.

Google Cloud предлагает продуманный путь к миграции и модернизации рабочих нагрузок Microsoft. За последний год мы вложили значительные средства в предоставление первоклассных возможностей для Windows Server и других платформ Microsoft, таких как SQL Server и .NET в Google Cloud. Вот некоторые из основных моментов, которые вы могли пропустить:

• Группа Enterprise Strategy Group оценила преимущества переноса рабочих нагрузок Microsoft в Google Cloud.
• IDC обнаружила, что Google Cloud является идеальной платформой для приложений на базе Windows Server.
• Мы представили способы помочь вам снизить затраты на лицензии с помощью CPU Overcommit, миграции с Windows Server 2008 и запуска контейнеров Windows в GKE.
• Мы запустили функции, упрощающие управление виртуальными машинами Windows Server в Google Cloud.
• Мы также запустили управляемый SQL Server и управляемые службы Active Directory.
• Google Cloud анонсировала новое партнерское решение для виртуальных рабочих столов, которое вернет удаленных сотрудников к работе

Google Cloud VMware Engine обеспечивает беспрепятственный успех облака
Каждое предприятие стремится принять стратегию, ориентированную на облако, но сделать это легче сказать, чем сделать. Google Cloud VMware Engine позволяет обойти проблемы переноса и модернизации критически важных рабочих нагрузок в облако, позволяя легко переносить рабочие нагрузки VMware из локальных центров обработки данных непосредственно в Google Cloud.

Google Cloud VMware Engine стал общедоступным в США в июне. С тех пор мы быстро расширили доступность до восьми регионов в Северной и Южной Америке, Европе и Азиатско-Тихоокеанском регионе, а в следующем году мы планируем увеличить количество доступных. Мы также стали свидетелями значительного принятия решений предприятиями в таких отраслях, как розничная торговля, финансы, здравоохранение и биологические науки, а также рост спроса на решения виртуальных рабочих столов (VDI) для сотрудников, которые быстро начали работать из дома.

Мы также наладили партнерские отношения с разработчиками защиты данных и DR, чтобы вы могли легко перейти в облако. Google Cloud VMware Engine интегрирован с Actifio, Zerto, Veeam, NetApp, Dell Technologies и другими, помогая вам использовать те же технологии защиты данных, которые вы используете локально, в Google Cloud, без необходимости изменять свои приложения.

Отсюда становится только лучше
С нетерпением ожидая 2021 года, мы стремимся встретить каждую организацию, где бы она ни находилась на пути к облаку, с широким спектром специализированных услуг, инфраструктуры и инструментов для упрощения процесса. Наши возможности миграции недавно сделали еще один большой шаг вперед с программой быстрой оценки и миграции Google Cloud (RAMP). Это целостная, сквозная программа миграции с еще большим набором инструментов, стимулов и предложений, которые помогут вам спланировать и осуществить успешный перенос. Независимо от того, через что прошел ваш бизнес в этом году, вот до 2021 года — это все, на что вы надеетесь!
cloud.google.com/blog/products/cloud-migration/google-cloud-ramp-program-simplifies-cloud-migration

Команда Google Maps Platform стремится предоставить нашим пользователям максимально возможный уровень обслуживания. Тем не менее, время от времени случаются непредвиденные сбои в обслуживании. Когда ваша команда испытывает сбой или другую техническую проблему, одна из первых оценок, которую они должны сделать, заключается в том, связана ли проблема со сторонним поставщиком услуг или внутри компании. В рамках нашей приверженности прозрачности и скорости передачи информации о состоянии наших продуктов и инцидентах, когда они происходят, мы развернули панель общедоступного статуса платформы Google Maps.
status.cloud.google.com/maps-platform/


Панель общедоступного статуса предоставляет информацию о статусе продуктов, которые общедоступны и покрываются соглашением об уровне обслуживания платформы Google Maps. Вы можете проверить панель управления, чтобы просмотреть текущий статус любой из этих служб. Вы даже можете нажать «Просмотреть историю», чтобы увидеть инциденты, произошедшие за последние 365 дней. Инциденты, отображаемые на панели инструментов, классифицируются как сбои (оранжевый) или простои (красный) в зависимости от их серьезности. Все инциденты сначала проверяются нашими инженерами службы поддержки, поэтому может быть небольшая задержка с момента, когда они действительно произошли.

Для быстрого доступа к панели управления вы можете добавить сайт в закладки. А в ближайшем будущем вы сможете использовать веб-каналы для push-уведомлений. Если у вас возникла проблема, которой нет в списке на панели инструментов, обратитесь в службу поддержки. А чтобы узнать больше о том, что публикуется на панели управления, просмотрите этот FAQ.

Панель общедоступного статуса — это первое место, где вы можете проверить, когда вы обнаружите, что проблема затрагивает вас. Но это не единственный способ сообщить об известных или зарегистрированных проблемах и оказать поддержку. В зависимости от вашей конкретной ситуации и потребностей вы также можете воспользоваться одним из других наших ресурсов. Вот краткое изложение некоторых других, о которых вам следует знать:

Трекер проблем
В нашей общедоступной системе отслеживания проблем мы активно ведем список известных и зарегистрированных проблем. Средство отслеживания проблем включает технические проблемы, которые недостаточно серьезны для отображения на панели состояния. Здесь вы можете легко просмотреть ошибки, о которых уже сообщали, и добавить свои собственные комментарии, чтобы помочь нашим командам исследовать проблемы или найти обходные пути. В случае сбоя в работе в разделе поддержки карт Google Cloud Console появится баннерное сообщение со ссылкой на средство отслеживания проблем для получения дополнительной информации о состоянии проблемы в режиме реального времени. Если вы хотите сообщить об ошибке или получить новую функцию, начните с подачи запроса. Добавление образца кода или снимка экрана поможет нам определить проблему и быстрее отреагировать.
issuetracker.google.com/savedsearches/5050992

Группы уведомлений по электронной почте
Чтобы получать технические обновления продуктов платформы Google Maps, уведомления о сбоях и объявления о функциях, вам следует подписаться на нашу группу уведомлений по электронной почте, чтобы получать обновления прямо на свой почтовый ящик.
groups.google.com/a/googlemaps.community/forum/#!forum/google-maps-platform-notifications

Основные контакты
Скоро мы начнем отправлять важные уведомления вашим основным контактам. Чтобы настроить, какие члены команды будут получать эти уведомления платформы Google Maps в ближайшем будущем, вы можете настроить свои основные контакты в Google Cloud Console, указав свой собственный список контактов. Вы можете добавлять как отдельных лиц, так и псевдонимы групп, чтобы превентивно снизить влияние кадровых изменений. Вы можете узнать больше о категориях уведомлений и о том, как включить основные контакты здесь.
cloud.google.com/resource-manager/docs/managing-notification-contacts

От понимания нашего происхождения до предсказания будущих событий — одни из величайших прорывов, которых мы сделали на Земле, были достигнуты благодаря изучению Вселенной. Высокопроизводительные вычисления и машинное обучение (ML) ускоряют этот вид исследований беспрецедентными темпами. В Google Cloud мы гордимся тем, что играем хотя бы небольшую роль в развитии науки астрономии, и поэтому мы рады сегодня рассказать о новой работе с обсерваторией Веры К. Рубин в Чили и исследователями из Калифорнийского технологического института..

Облачный фундамент для 20 ТБ наблюдений за ночным небом
В рамках новаторского сотрудничества Обсерватория Рубина заключила трехлетнее соглашение о размещении своего Временного центра данных (IDF) в Google Cloud. Благодаря этому сотрудничеству Рубин будет обрабатывать астрономические данные, собранные обсерваторией, и предоставлять данные сотням пользователей в научном сообществе в преддверии своего 10-летнего проекта Legacy Survey of Space and Time (LSST).

LSST направлен на проведение глубокого обзора огромной площади неба для создания астрономического каталога, в тысячи раз большего, чем любой ранее составленный обзор. Используя 8,4-метровый обзорный телескоп Simonyi и гигапиксельную камеру LSST, в течение 10 лет каждую ночь будет сниматься около 1000 изображений неба. Эти изображения с высоким разрешением будут содержать данные примерно о 20 миллиардах галактик и аналогичном количестве звезд, предоставляя исследователям беспрецедентный ресурс для понимания структуры и эволюции нашей Вселенной с течением времени. Создав IDF на базе Google Cloud, Обсерватория Рубина заложит основу для управления огромным набором данных — всего 500 петабайт, — который в конечном итоге будет доступен научному сообществу в масштабах и гибкости.

«Нам очень приятно работать с Google Cloud над этим проектом, который окажет большое и положительное влияние на нашу способность предоставлять услуги сообществу Rubin», — говорит Боб Блюм, исполняющий обязанности директора по эксплуатации обсерватории Рубина.

«Нам не нужно создавать инфраструктуру самостоятельно — она ​​хорошо зарекомендовала себя, была протестирована и улучшена для других пользователей, поэтому мы получаем от этого выгоду», — объясняет Синь-Фанг Чан, научный аналитик и инженер по управлению данными из обсерватории Рубин, и один из первых пользователей IDF.

Обсерватория Рубина будет использовать Google Cloud Storage и Google Kubernetes Engine, а Google Workspace обеспечит продуктивность и сотрудничество.

Исследователь из Калифорнийского технологического института обнаружил новую комету с помощью ИИ
В то время как кометы наблюдаются относительно часто, открытие новых комет происходит редко. Центр малых планет, который отслеживает малые тела Солнечной системы в космосе, каталогизировал менее 100 новых комет в 2019 году по сравнению с примерно 21000 новых малых планет.
minorplanetcenter.net/

В конце августа 2020 года доктор Дмитрий Дуэв, научный сотрудник отдела астрономии Калифорнийского технологического института, начал пилотную программу по использованию инструментов Google Cloud для идентификации объектов, наблюдаемых Zwicky Transient Facility (ZTF) в Паломарской обсерватории в Южной Калифорнии. ZTF сканирует северное небо каждую ясную ночь, измеряя миллиарды астрономических объектов и регистрируя миллионы кратковременных явлений. Используя эти изображения, Дуэв обучил модель машинного обучения в Google Cloud определять кометы с точностью более 99%. 7 октября модель определила Comet C / 2020 T2, первое подобное открытие, приписываемое искусственному интеллекту. Это достижение делает возможным открытие новых комет значительно ускоренными темпами.

«Наличие быстрого и точного способа классификации объектов, которые мы видим в небе, произвело революцию в нашей области», — говорит Дуэв. «Это как если бы в нашем распоряжении было множество высококвалифицированных астрономов 24/7».



Заинтересованы в использовании Google Cloud, чтобы раскрыть секреты вселенной?
Это лишь некоторые из увлекательных проектов, над которыми мы работаем с нашими заказчиками в области астрономии. В апреле 2019 года телескоп Event Horizon, виртуальная комбинация восьми радиотелескопов со всего мира, использовал экземпляры виртуальных машин (ВМ) Google Cloud для создания первого изображения сверхмассивной черной дыры. И с 2018 года Google также работает в партнерстве с Frontier Development Lab над применением машинного обучения к некоторым из самых сложных проблем НАСА в нашей Вселенной: прогнозированию наводнений здесь, на Земле, поиску полезных ископаемых на Луне для поддержки постоянной базы там, и прогнозирование солнечных вспышек, которые могут нарушить спутниковую связь.

Чтобы начать или расширить свой собственный проект, мы предлагаем кредиты на исследования ученым, использующим Google Cloud для соответствующих проектов в соответствующих странах. Вы можете найти нашу форму заявки на веб-сайте Google Cloud или связаться с нашим отделом продаж. Чтобы узнать больше о поддержке исследований в астрономии и других областях, зарегистрируйтесь на саммите Google Cloud Public Sector Summit, который включает множество исследовательских сессий. Сессии начнутся 8-9 декабря и также будут доступны по запросу.
cloud.google.com/solutions/education
lp.google-mkto.com/gcp-research-credits.html
cloudonair.withgoogle.com/events/public-sector-summit

Угрозы безопасности, такие как распределенные атаки типа «отказ в обслуживании» (DDoS), нарушают работу предприятий любого размера, что приводит к отключениям и, что еще хуже, к потере доверия пользователей. Эти угрозы — серьезная причина, по которой мы в Google уделяем особое внимание надежности услуг, основанной на надежной сети.

Чтобы обеспечить надежность, мы разработали несколько инновационных способов защиты от сложных атак. В этом посте мы подробно рассмотрим DDoS-угрозы, покажем наблюдаемые тенденции и расскажем, как мы готовимся к многотерабитным атакам, чтобы ваши сайты продолжали работать.

Таксономия возможностей атакующего
С помощью DDoS-атаки злоумышленник надеется нарушить работу своей жертвы потоком бесполезного трафика. Хотя эта атака не раскрывает пользовательские данные и не приводит к компрометации, она может привести к отключению и потере доверия пользователей, если ее быстро не устранить.

Злоумышленники постоянно разрабатывают новые методы нарушения работы систем. Они дают своим атакам причудливые имена, такие как Smurf, Tsunami, XMAS tree, HULK, Slowloris, cache bust, TCP-усиление, javascript-инъекция и дюжина вариантов отраженных атак. Между тем, защитник должен учитывать все возможные цели DDoS-атаки, от сетевого уровня (маршрутизаторы / коммутаторы и пропускная способность канала) до уровня приложений (веб, DNS и почтовые серверы). Некоторые атаки могут даже не фокусироваться на конкретной цели, а вместо этого атаковать каждый IP-адрес в сети. Умножение десятков типов атак на разнообразие инфраструктуры, которую необходимо защищать, открывает бесконечные возможности.

Итак, как мы можем упростить проблему, чтобы сделать ее управляемой? Вместо того, чтобы сосредоточиться на методах атаки, Google группирует объемные атаки по нескольким ключевым показателям:

• бит / с сеть бит в секунду → атаки на сетевые ссылки
• pps сетевых пакетов в секунду → атаки на сетевое оборудование или DNS-серверы
• rps HTTP (S) запросов в секунду → атаки на серверы приложений

Таким образом, мы можем сосредоточить наши усилия на том, чтобы каждая система имела достаточную способность противостоять атакам, что измеряется соответствующими метриками.

Динамика объемов DDoS-атак
Наша следующая задача — определить мощность, необходимую для противостояния крупнейшим DDoS-атакам для каждой ключевой метрики. Правильное выполнение этого шага является необходимым шагом для эффективной работы надежной сети: избыточное выделение ресурсов приводит к потере дорогостоящих ресурсов, а недостаточное выделение ресурсов может привести к отключению.

Для этого мы проанализировали сотни значительных атак, полученных нами по перечисленным показателям, и включили достоверные отчеты, которыми поделились другие. Затем мы составляем график крупнейших атак за последнее десятилетие, чтобы выявить тенденции. (Данные за несколько лет до этого периода позволили нам решить, что использовать для первой точки данных каждой метрики.)


Экспоненциальный рост всех показателей очевиден, что часто вызывает тревожные заголовки по мере роста объемов атак. Но нам нужно учитывать экспоненциальный рост самого Интернета, который также обеспечивает пропускную способность и вычислительные ресурсы для защитников. После учета ожидаемого роста результаты не столь тревожны, но все же проблематичны.

Создание защищаемой инфраструктуры
Учитывая данные и наблюдаемые тенденции, теперь мы можем экстраполировать, чтобы определить резервную мощность, необходимую для отражения самых крупных атак, которые могут произойти.

бит / с (сетевые биты в секунду)
Наша инфраструктура поглотила DDoS со скоростью 2,5 Тбит / с в сентябре 2017 года, что стало кульминацией шестимесячной кампании, в которой использовались несколько методов атаки. Несмотря на то, что одновременно были нацелены на тысячи наших IP-адресов, предположительно в надежде обойти автоматическую защиту, атака не оказала никакого влияния. Злоумышленник использовал несколько сетей для имитации 167 млн ​​пакетов в секунду (миллионов пакетов в секунду) на 180 000 открытых серверов CLDAP, DNS и SMTP, которые затем отправляли нам большие ответы. Это демонстрирует объемы, которых может достичь злоумышленник с хорошими ресурсами: это было в четыре раза больше, чем рекордная атака со скоростью 623 Гбит / с, совершенная ботнетом Mirai годом ранее. На сегодняшний день это остается атакой с максимальной пропускной способностью, что снижает доверие к экстраполяции.
blog.google/threat-analysis-group/how-were-tackling-evolving-online-threats

pps (количество сетевых пакетов в секунду)
Мы наблюдаем устойчивую тенденцию роста: в этом году ботнет Интернета вещей совершил атаку со скоростью 690 млн пакетов в секунду. Заметным исключением стала атака 2015 года на клиентскую виртуальную машину, в которой ботнет IoT разогнался до 445 млн пакетов в секунду за 40 секунд — объем настолько велик, что мы поначалу подумали, что это сбой мониторинга!

rps (HTTP (S) запросов в секунду)
В марте 2014 года вредоносный javascript, внедренный на тысячи веб-сайтов через сетевую атаку «человек посередине», заставил сотни тысяч браузеров завалить YouTube запросами, пик которых достиг 2,7 млн ​​запросов в секунду (миллионы запросов в секунду). Это была самая крупная атака, известная нам до недавнего времени, когда клиент Google Cloud был атакован с использованием 6 Mrps. Медленный рост отличается от других показателей, что позволяет предположить, что мы недооцениваем объем будущих атак.

Хотя мы можем оценить ожидаемый размер будущих атак, нам нужно быть готовыми к неожиданностям, и поэтому мы соответствующим образом чрезмерно обеспечиваем нашу защиту. Кроме того, мы проектируем наши системы таким образом, чтобы в случае перегрузки происходило постепенное ухудшение их работы, и составляем инструкции по выполнению действий вручную при необходимости. Например, наша стратегия многоуровневой защиты позволяет нам блокировать атаки с высоким и высоким числом оборотов в секунду на сетевом уровне до того, как они достигнут серверов приложений. Изящная деградация применяется также на сетевом уровне: обширные пиринговые и сетевые списки контроля доступа, предназначенные для ограничения трафика атак, уменьшат потенциальный сопутствующий ущерб в том случае, если ссылки маловероятны при переполнении.

Дополнительные сведения о многоуровневом подходе, который мы используем для предотвращения рекордных DDoS-атак, нацеленных на наши услуги, инфраструктуру или клиентов, см. В главе 10 нашей книги «Построение безопасных и надежных систем».
landing.google.com/sre/resources/foundationsandprinciples/srs-book/

Облачная защита
Мы понимаем, что масштабы потенциальных DDoS-атак могут быть устрашающими. К счастью, развернув Google Cloud Armor, интегрированный в нашу службу балансировки нагрузки в облаке, которая может масштабироваться для защиты от массовых DDoS-атак, вы можете защитить от атак службы, развернутые в Google Cloud, других облаках или локально. Недавно мы анонсировали Cloud Armor Managed Protection, которая позволяет пользователям еще больше упростить развертывание, управлять расходами и снизить общий риск DDoS-атак и безопасности приложений.
cloud.google.com/load-balancing

Наличие достаточной мощности для отражения самых крупных атак — это лишь одна часть комплексной стратегии предотвращения DDoS-атак. Помимо обеспечения масштабируемости, наш балансировщик нагрузки завершает сетевые подключения на нашей глобальной границе, отправляя только правильно сформированные запросы в серверную инфраструктуру. В результате он может автоматически фильтровать многие типы объемных атак. Например, атаки с усилением UDP, синхронные потоки и некоторые атаки на уровне приложений будут отброшены без уведомления. Следующей линией защиты является Cloud Armor WAF, который предоставляет встроенные правила для распространенных атак, а также возможность развертывания пользовательских правил для отбрасывания оскорбительных запросов уровня приложения с использованием широкого набора семантики HTTP.

Совместная работа ради коллективной безопасности
Google работает с другими участниками интернет-сообщества, чтобы выявлять и демонтировать инфраструктуру, используемую для проведения атак. В качестве конкретного примера, даже несмотря на то, что атака 2,5 Тбит / с в 2017 году не оказала никакого воздействия, мы сообщили о тысячах уязвимых серверов их сетевым провайдерам, а также работали с сетевыми провайдерами, чтобы отследить источник поддельных пакетов, чтобы их можно было отфильтровать.

Мы призываем всех присоединиться к нам в этих усилиях. Отдельные пользователи должны убедиться, что их компьютеры и устройства Интернета вещей исправлены и защищены. Компании должны сообщать о преступной деятельности, просить своих сетевых провайдеров отслеживать источники поддельного трафика атак и делиться информацией об атаках с интернет-сообществом таким образом, чтобы не обеспечивать своевременную обратную связь с противником. Работая вместе, мы можем снизить влияние DDoS-атак.

Трафик как от людей, так и от ботов находится на рекордно высоком уровне. С марта 2020 года использование reCAPTCHA увеличилось на 40% — компании и сервисы, которые ранее видели большинство своих пользователей лично, перешли на использование в первую очередь онлайн или только онлайн. Этот повышенный спрос на онлайн-услуги и транзакции может подвергнуть компании различным формам онлайн-мошенничества и злоупотреблений, и без специальных команд, знакомых с этими атаками и способами их предотвращения, мы видели, как сотни тысяч новых веб-сайтов приходят на reCAPTCHA для наглядности и охрана.

Во время COVID-19 reCAPTCHA играет важную роль, помогая глобальным агентствам государственного сектора распространять маски и другие расходные материалы, предоставлять актуальную информацию избирателям и защищать учетные записи пользователей от распределенных атак. Большинство этих агентств используют обнаружение на основе оценок, которое поступает из reCAPTCHA v3 или reCAPTCHA Enterprise, вместо того, чтобы отображать визуальные или звуковые проблемы, обнаруженные в reCAPTCHA v2. Это снижает трение для пользователей, а также дает командам гибкость в отношении того, как реагировать на запросы ботов и мошеннические действия.

reCAPTCHA Enterprise также может помочь защитить ваш бизнес. Независимо от того, переносите ли вы операции в сеть впервые или у вас есть собственная команда инженеров по безопасности, reCAPTCHA может помочь вам обнаружить новые веб-атаки, понять угрозы и принять меры для обеспечения безопасности ваших пользователей. Многим предприятиям не хватает видимости отдельных частей своего сайта, а добавление reCAPTCHA помогает выявить дорогостоящие атаки до того, как они произойдут. Консоль показывает риск, связанный с каждым действием, чтобы помочь вашему бизнесу оставаться впереди.

В отличие от многих других платформ для борьбы со злоупотреблениями и мошенничеством, reCAPTCHA не полагается на инвазивное снятие отпечатков пальцев. Эти методы часто могут наказывать пользователей, заботящихся о конфиденциальности, которые пытаются обезопасить себя с помощью таких инструментов, как частные сети, и которые по умолчанию вступают в конфликт с требованиями браузеров к конфиденциальности. Вместо этого мы переключили наше внимание на анализ поведенческих рисков во время сеанса, выявляя мошенническое поведение, а не заботясь о том, кто или что стоит за сетевым подключением. Мы обнаружили, что это чрезвычайно эффективно при обнаружении атак в мире, где злоумышленники контролируют миллионы IP-адресов и взломанных устройств и регулярно платят реальным людям за то, чтобы они вручную обходили обнаружения.

С тех пор, как мы выпустили reCAPTCHA Enterprise в прошлом году, мы смогли более тесно сотрудничать с существующими и новыми клиентами, совместно решая проблемы со злоупотреблениями и определяя передовые методы в конкретных случаях использования, таких как захват аккаунтов, кардинг и скрапинг. Более детальное распределение оценок, которое поставляется с reCAPTCHA Enterprise, дает клиентам более точный контроль над тем, когда и как предпринимать действия. reCAPTCHA Enterprise изучает, как оценивать запросы, специфичные для конкретного варианта использования, но оценку также лучше всего использовать в зависимости от контекста. Наши наиболее успешные клиенты используют функции для задержки обратной связи с злоумышленниками, такие как ограничение возможностей подозрительных учетных записей, требование дополнительной проверки для конфиденциальных покупок и ручная модерация контента, который, вероятно, создается ботом.

Мы также недавно выпустили отчет ESG, в котором они оценили эффективность reCAPTCHA Enterprise, развернутого на реальном гипермасштабируемом веб-сайте, для защиты от атак с автоматическим заполнением учетных данных и захватом учетных записей. ESG отметила: «Примерно через два месяца после развертывания reCAPTCHA Enterprise количество попыток входа в систему снизилось примерно на 90%, в то время как база зарегистрированных пользователей выросла естественным образом».



Мы постоянно разрабатываем новые типы сигналов для выявления масштабных злоупотреблений. На четырех миллионах сайтов с включенной защитой reCAPTCHA мы защищаем все, от учетных записей до транзакций электронной коммерции, раздачи еды после стихийных бедствий и голосования за вашу любимую знаменитость. Сейчас, как никогда раньше, мы гордимся тем, что защищаем наших клиентов и их пользователей.

Организации по всему миру полагаются на Cloud CDN для быстрой и надежной доставки веб-контента и видеоконтента. Теперь мы упрощаем вам использование преимуществ нашей глобальной сети и инфраструктуры кеширования, снижая стоимость Cloud CDN для доставки вашего контента в будущем.

Во-первых, мы снижаем стоимость заполнения кеша (контента, полученного из вашего источника) повсеместно до 80%. Тем не менее, вы по-прежнему получаете преимущества нашей глобальной частной магистрали для заполнения кэша, обеспечивая постоянную высокую производительность при меньших затратах. Мы также убрали плату за заполнение кеша и аннулирование кеша для всех клиентов.

Это снижение цены, наряду с нашим недавним введением нового набора гибких возможностей кэширования, делает использование Cloud CDN еще проще для оптимизации производительности ваших приложений. Cloud CDN теперь может автоматически кэшировать веб-ресурсы, видеоконтент или загружаемое программное обеспечение, точно контролировать их кэширование и напрямую устанавливать заголовки ответов, чтобы соответствовать лучшим практикам веб-безопасности.

Вы можете ознакомиться с нашими обновленными ценами в нашей общедоступной документации, а клиенты, у которых расходуется более 1 ПБ в месяц, должны обратиться к нашему отделу продаж, чтобы обсудить скидки на основе обязательств в рамках перехода на Google Cloud.

Чтобы узнать больше об Cloud CDN или начать его использовать, начните здесь.
cloud.google.com/cdn/pricing
cloud.google.com/cdn

Как разработчик, создающий новое приложение, вы хотите сосредоточиться на написании кода, а не на его контейнеризации. И если вы уже используете контейнеры, вы знаете, что создание хорошего и безопасного образа контейнера может быть сложным и трудоемким. Сегодня мы запускаем широкую поддержку пакетов сборки в Google Cloud — технологии с открытым исходным кодом, которая позволяет быстро и легко создавать безопасные, готовые к работе образы контейнеров из исходного кода и без файла Dockerfile.

В основе этого выпуска — набор сборочных пакетов и сборщиков с открытым исходным кодом. Основываясь на спецификации buildpacks v3 CNCF, эти buildpacks создают образы контейнеров, которые соответствуют передовым методам и подходят для работы на всех наших контейнерных платформах: Cloud Run (полностью управляемый), Anthos и Google Kubernetes Engine (GKE). Эти пакеты сборки усилены и протестированы в производственной среде; с марта они широко используются в большинстве сборок для App Engine и Cloud Functions.
buildpacks.io/

Использование сборочных пакетов
Вы можете использовать пакеты сборки несколькими способами: во-первых, если вы еще не полностью внедрили контейнеризацию, пакеты сборки — это способ использовать новейшие платформы среды выполнения и доставки контейнеров. Они также полезны для быстрых проектов, когда у вас нет времени должным образом проверить и настроить Dockerfile, который вы можете найти в дикой природе.

Вы можете опробовать пакеты сборки Google Cloud прямо сейчас. Чтобы выполнить полное развертывание с помощью проекта Go, пакетов сборки и Cloud Run, просто нажмите кнопку «Выполнить в Google Cloud».

Чтобы попробовать сборки пакетов локально с приложением, установите Docker и инструмент CLI 'pack', затем запустите:

cd my-app
pack build my-app --builder gcr.io/buildpacks/builder

(Поддерживаются Go, Java, Node, Python и .Net. Для правильной сборки им может потребоваться дополнительная настройка.)

Или, если вы не хотите ничего устанавливать, вы можете запустить сборку на основе buildpack в Cloud Build, а затем легко развернуть в Cloud Run:

gcloud alpha builds submit --pack image=gcr.io/[project-id]/my-app
gcloud run deploy --image=gcr.io/[project-id]/my-app --platform managed

Как работают сборочные пакеты?
Сборочные пакеты распространяются и выполняются в образах OCI, называемых сборщиками. У каждого строителя может быть один или несколько сборочных пакетов. Конструктор пакетов сборки Google Cloud, который мы выпускаем сегодня, доступен по адресу gcr.io/buildpacks/builder.

Строители имеют возможность автоматически определять язык вашего исходного кода. Это достигается с помощью исполняемого файла bin / detect в пакете сборки. Сценарии обнаружения вызываются в определенном порядке и останавливаются после того, как соответствующее количество пакетов сборки подключилось к сборке. Например, большинство сборочных пакетов Node.js проверяют наличие файла packages.json. Вы также можете вручную указать, какой пакет сборки использовать, тем самым пропуская этап автоопределения.

После выбора buildpack выполняется его bin / build. Этот сценарий преобразует ваш исходный код в исполняемый артефакт, обычно выполняя такие действия, как установка зависимостей или компиляция кода.

Результат этого шага сборки затем добавляется поверх «запущенного» базового образа OCI, создавая окончательный образ контейнера, который затем можно запускать на платформе по вашему выбору.

Пакеты сборки Google Cloud
Пакеты сборки Google Cloud оптимизированы для обеспечения безопасности, скорости и возможности повторного использования. Они позволяют встраивать приложения и функции в образы контейнеров. При создании функции они упаковывают ее с помощью платформы Google Cloud Functions Framework с открытым исходным кодом.

Пакеты сборки Google Cloud используют управляемый базовый образ Ubuntu 18.04, который регулярно сканируется на наличие уязвимостей; любые обнаруженные уязвимости автоматически исправляются. Это гарантирует, что при сборке исходного кода с помощью пакетов сборки он будет максимально безопасным.

Пакеты сборки Google Cloud также можно настроить с помощью дополнительных системных пакетов или в соответствии с конкретными потребностями вашей команды разработчиков.

Сами пакеты сборки написаны на Go. Вместо того, чтобы создавать один пакет сборки для каждого языка, вы можете комбинировать меньшие модульные пакеты сборки вместе. Например, существует пакет сборки NPM, который (что неудивительно) устанавливает пакеты узлов. Это, конечно, используется для сборок Node.js, но его также можно использовать для других языков и фреймворков, которые используют пакеты NPM (например, Ruby on Rails).

Широкая поддержка в Google Cloud
В дополнение к пакетам сборки с открытым исходным кодом мы поддерживаем пакеты сборки для ряда наших продуктов:

• Cloud Build теперь изначально поддерживает сборочные пакеты через инструмент командной строки gcloud: gcloud alpha builds submit --pack image = gcr.io / [project-id] / my-app. (см. документацию)
• Cloud Run — непрерывное развертывание в Cloud Run (с помощью триггеров Cloud Build) можно настроить для использования пакетов сборки (см. Документацию).
• App Engine. Пакеты сборки теперь являются механизмом по умолчанию для исходных развертываний в самых новых средах выполнения App Engine. Примечательно, что пакеты сборки позволяют развертывать Java на основе исходного кода (ранее поддерживались только развертывания на основе JAR). Все недавно выпущенные среды выполнения будут использовать пакеты сборки.
• Облачные функции — как и App Engine, пакеты сборки являются механизмом по умолчанию для создания развернутых функций.
• Облачный код — среды разработки облачного кода могут создавать исходный код с помощью пакетов сборки и развертывать полученные контейнеры непосредственно в GKE.
• Skaffold поддерживает разработку в реальном времени с помощью пакетов сборки. По мере того как вы редактируете исходный код, пакеты сборки могут непрерывно перестраивать ваше приложение, позволяя вам предварительно просматривать изменения в локальном экземпляре вашего приложения.
• Cloud Shell — инструмент CLI пакета теперь установлен в Cloud Shell по умолчанию. Это позволяет выполнять сборочные пакеты в Cloud Shell без установки дополнительных пакетов.

Начни сегодня
Узнайте больше о пакетах сборки Google Cloud в репозитории GitHub. Затем разверните образец приложения с помощью пакетов сборки одним нажатием кнопки.
github.com/GoogleCloudPlatform/buildpacks
github.com/GoogleCloudPlatform/buildpack-samples#buildpack-samples

ИИ И МАШИННОЕ ОБУЧЕНИЕ
Рекомендации AI: beta
Создавайте высококачественные комплексные персонализированные системы рекомендаций по продуктам, не обладая обширными знаниями в области машинного обучения, проектирования систем, операций или облачной платформы Google. Документация | Блог

УПРАВЛЕНИЕ API
Apigee — Адаптер Apigee для Envoy: GA
Расширьте возможности Envoy, включив в них управление API Apigee, публикацию API, видимость, управление и аналитику использования, представив службы, лежащие в основе Envoy, в виде API. Документация

АНАЛИТИКА ДАННЫХ
Dataprep от Trifacta — Flow View, параметры потока: бета
Перемещайте наборы данных и рецепты, увеличивайте и уменьшайте масштаб и управляйте комментариями на странице Flow View — используйте фильтры и формулы, а также извлекайте или заменяйте функцию, чтобы изменить логику рецептов на основе параметров потока во время выполнения или через API.
cloud.google.com/dataprep/docs/html/Flow-View-Page_57344806.html
cloud.google.com/dataprep/docs/html/Manage-Parameters-Dialog_156863476.html

Dataprep от Trifacta — преобразование даты: бета
Считайте рабочие дни между датами без праздников, найдите наиболее частую дату, конвертируйте дату в определенном часовом поясе и многое другое.
cloud.google.com/dataprep/docs/html/Date-Functions_57344704

МОДЕРНИЗАЦИЯ ИНФРАСТРУКТУРЫ
Активный ассист: GA
Вносите упреждающие улучшения и оптимизируйте безопасность, производительность и затраты в облаке с помощью инструментов, использующих машинное обучение, чтобы упростить облако и упростить администрирование.
cloud.google.com/solutions/active-assist
cloud.google.com/blog/products/management-tools/active-assist-comes-to-google-cloud

БЕЗОПАСНОСТЬ И ИДЕНТИЧНОСТЬ
Compute Engine — конфиденциально виртуальные машины: бета
Шифруйте данные, которые используются — пока они обрабатываются. Конфиденциальные вычислительные среды хранят данные в зашифрованном виде в памяти и в других местах за пределами ЦП. Этот выпуск знаменует собой первый продукт в портфеле конфиденциальных вычислений Google Cloud.
cloud.google.com/confidential-computing
cloud.google.com/blog/products/identity-security/introducing-google-cloud-confidential-computing-with-confidential-vms

Google Cloud Armor — Managed Protection Plus: бета
Защитите свои приложения от DDoS-атак и целевых попыток использования уязвимостей с тем же масштабом и опытом, который использует Google для защиты наших собственных приложений и критически важных сервисов от злонамеренных действий.
cloud.google.com/blog/products/identity-security/google-cloud-armor-features-to-protect-your-websites-and-applications

ХРАНЕНИЕ И БАЗЫ ДАННЫХ
Cloud Bigtable — резервное копирование Bigtable: GA
Повысьте непрерывность бизнеса и защиту данных для критически важных рабочих нагрузок с помощью управляемого резервного копирования. Новые функции включают управление доступом к удостоверениям на уровне таблиц (IAM), журналы аудита для действий администратора, а также расширенную поддержку и SLA для одноузловых производственных экземпляров.
cloud.google.com/bigtable/docs/backups?utm_source=release-notes