Опыт сервиса «Где мои дети»: перенос геоданных в Yandex Managed Service for ClickHouse



О сервисе
Сервис «Где мои дети», принадлежащий компании «Рефреш», позволяет родителю в любой момент времени определять, где находится его ребенок. Для работы сервиса нужна оперативная обработка и хранение огромного количества зашифрованных геоданных. На данный момент сервис «Где мои дети» локализован на 32 языка и имеет зарегистрированных пользователей в 209 странах мира, в 30 из которых зарегистрировались более 10 000 человек. Сейчас у приложения 800 000 активных пользователей, при этом на Россию и СНГ приходится лишь половина из них, вторая половина преимущественно из таких стран, как Бразилия, Турция, Израиль, США и Индия.
findmykids.org

Рубеж масштабирования
Сервис «Где мои дети» предлагает разные возможности. Например, при помощи приложения можно позвонить ребенку, и он услышит звонок, даже если он забыл отключить бесшумный режим после урока. А чтобы узнать, закончился ли у ребенка урок, родитель может прослушать звук вокруг его телефона. Но основной функцией приложения является отслеживание местоположения ребенка плюс взаимосвязанные опции вроде уведомления о выходе ребенка из обозначенной зоны и автоматического сохранения истории посещений. Сервис использует функцию GPS-трекинга. В качестве клиентского устройства может выступать смартфон с установленным на него приложением либо GPS-аксессуар в виде наручных часов. На данный момент клиентские устройства присылают более 1 000 наборов зашифрованных геоданных каждую секунду. Сервис подошел к тому рубежу, когда дальнейшее масштабирование становилось невозможным из-за технологических ограничений текущей инфраструктуры. В итоге перед командой встала необходимость решения следующих задач:
  • Сократить расходы на серверную инфраструктуру.
  • Повысить стабильность решения за счет меньшей требовательности к скорости дисков.
  • Организовать масштабирование ресурсов для хранилища геоданных «на лету».
  • Получить возможность выполнять более сложные запросы и извлекать больше пользы из данных.

Переход на Yandex Managed Service for ClickHouse
Решение о переходе на Yandex Managed Service for ClickHouse было обусловлено предшествующим опытом. Изначально в компании геоданные хранили в MySQL, используя виртуальные серверы одного из облачных провайдеров. Несмотря на использование самых дорогих облачных дисков на базе SSD, вскоре был достигнут барьер производительности записи текущего дискового решения. Следующим этапом стал горизонтальный шардинг данных на несколько БД серверов, но даже при непиковой скорости записи специалисты компании периодически сталкивались с тем, что производительность дисков в облаке некоторых серверов сильно деградировала без каких-либо причин, что приводило к аварийным ситуациям. В разные периоды времени с разной частотой специалисты компании сталкивались с ситуацией, когда очередь на запись начинала расти быстрее, чем рассасываться. Приходилось экстренно переносить данные на другие шарды и жертвовать надежностью хранения в угоду временному увеличению производительности. Помимо этого, в определенный момент обнаружилось, что только на облачные диски приходится более половины всех расходов на инфраструктуру и оборудование.

Несмотря на сложности, компания не хотела переходить на выделенные серверы, чтобы не отказываться от возможности удобного масштабирования ресурсов и их администрирования. Выбор пал на ClickHouse. Во время тестирования были выполнены следующие шаги:
  • создание тестовой учетной записи и изучение архитектуры, которая будет оптимальна для текущих задач;
  • создание тестового кластера, нагрузочное тестирование записи и извлечения данных.
При тестировании запросы были аналогичны тем, которые выполнялись в старом хранилище, а результаты были аналогичны или лучше. Например, появилась возможность выполнять запросы на агрегацию больших данных, которые без дополнительного инструментария раньше выполнить было просто невозможно.

После получения положительных результатов началась непосредственная реализация проекта:
  • создание аккаунта для организации, формальные операции;
  • создание кластера, тестирование работы хранилища в реальных условиях (настройка записи данных в старое хранилище и ClickHouse одновременно);
  • перенастройка сервиса на использование данных из нового хранилища;
  • миграция данных из старого хранилища в новое;
  • переключение подсистемы на работу только с новым хранилищем.
Миграцию провел один разработчик, трудозатраты составили менее 60 человеко-часов.

Результаты
По итогам проекта сразу удалось решить три из четырех поставленных задач. Затраты на решение для хранения геоданных сократились более чем в три раза. С момента переезда в Яндекс.Облако uptime сервиса составляет 100%, повысились удобство работы с геоданными и стабильность решения в целом. В настоящий момент сотрудничество продолжается. После того как в компании попробовали ClickHouse для хранения геоданных, было принято решение перевести в него данные внутренней продуктовой аналитики.

Мнение
Техподдержка Яндекс.Облака быстро решала технические вопросы и консультировала специалиста, клиентские менеджеры оперативно закрывали организационные вопросы. Эффективная коммуникация, удобный инструмент для управления облаком и достаточно полная документация позволили провести тестирование и миграцию на новое хранилище за один месяц
Григорий Гудименко, технический директор компании „Рефреш“

Новый тариф CPU.Турбо — на 39% производительнее. Промокод внутри



Мы запустили новый скоростной тариф CPU.Турбо — для тех, кому нужно больше мощности. Виртуальные серверы собраны на базе свежих процессоров Intel Xeon и быстрых NVMe-дисков.

Вам подходит новый тариф, если вы размещаете на сервере:
  • проекты 1С и интернет-магазины,
  • браузерные игры и сложные фронтенд-сервисы,
  • сайты с высокой посещаемостью и «тяжелой» инфраструктурой,
  • новостные и медийные ресурсы,
  • товарные и справочные агрегаторы.

Благодаря «железу» производительность сервера на 39% выше по сравнению с серверами «Форсаж» с такими же параметрами. Посмотреть результаты тестов.

Процессор Intel Xeon E 2288G:
  • больше операций в секунду — максимальная частота 5 ГГц,
  • многопоточная обработка данных — до 8 ядер,
  • оптимизация ресурсов процессора — новая архитектура и платформа с водяным охлаждением,
  • поддержка ECC-памяти с коррекцией ошибок.
Скоростный дисковый накопитель NVMe до 480 Гб. В 2-3 раза быстрее, чем SSD-диски, за счёт использования шины PCI Express.

Виртуализация KVM. Позволяет создать полный виртуальный аналог физического сервера с собственным ядром ОС и модифицировать его под свои задачи без ограничений.
firstvds.ru/technology/faq/openvz-kvm

Преимущества нового тарифа:
  • Гибкое управление CPU и RAM — платите только за необходимые ресурсы
  • Запуск сервера от 15 минут
  • Администрирование в подарок
  • Стоимость от 1299 рублей в месяц. При заказе сервера до 10 сентября включительно — скидка 25% на 1 месяц. Промокод TURBO_SEPTEMBER
firstvds.ru/cpu-turbo

Хорошей недели!
Команда FirstVDS

Хостинг - безлимит на файлы, 50% скидка сегодня



Новый CMS хостинг от Coopertino с неограниченным количеством файлов, доменов, сайтов и баз данных.
  • NVMe диски
  • Мощное оборудование (i9, xeon E5, GOLD, EPYC, DDR4)
  • Идеален для Wordpress, Joomla, Modx, DLE, 1c-Битрикс
  • Много оперативной памяти (1-3 GB)
  • Размещение в Москве и Европе, защита от ddos-атак, SSL-сертификаты бесплатно.

Сегодня 50% скидка (сохраняется навсегда) + бесплатно перенесем и настроим сайты

Посмотреть цену: coopertino.ru

Вы DSP? Не теряйте потенциальных ставок из-за высокой задержки в сети



Вы DSP? Не теряйте потенциальных ставок из-за высокой задержки в сети. Мы предлагаем «голые железные» и облачные серверы в нескольких центрах обработки данных по всему миру, обеспечивая низкое время прохождения в оба конца торговых точек ведущих поставщиков общих служб.

www.servers.com/solutions/adtech

Google и Mozilla прекратят выводить наименование компании в адресной строке браузера

Разработчики крупнейших браузеров Google Chrome и Mozilla Firefox анонсировали отказ от вывода наименования компании в EV (Extended Validation) SSL-сертификатах. В данный момент наименование организации выводится в адресной строке браузера.


Начиная с версии Chrome 77, которая по плану должна появиться в сентябре, в адресной строке браузера больше не будет присутствовать наименование организации. Аналогичное нововведение будет реализовано и в версии Firefox 70, которая запланирована на октябрь.

Почему разработчики браузеров решили отказаться от индикации EV в адресной строке
Всю информацию о EV SSL-сертификате теперь можно будет посмотреть при щелчке по иконке замочка.

Причина отказа от EV-индикаторов в адресной строке браузеров проста: крупные компании, включая Twitter, Amazon, YouTube, Facebook, не используют эти сертификаты.

В долгосрочной перспективе разработчики Chrome хотят вообще отказаться от иконки замочка для HTTPS-сайтов. То же самое будет реализовано и в Firefox 77.

По мнению специалистов Google, наименование EV-сертификата занимает ценное пространство экрана браузера и ломает целостность UI для всех остальных видов сертификатов.

Еще одна проблема: в мобильных браузерах чаще всего не отображается EV-индикация (или отображается, но для большинства пользователей она незаметна). Специалисты Apple уже отказались от вывода наименования компании для EV-сертификатов в Safari на iOS 12 и macOS 10.14.

Безусловно, отказываться от EV SSL-сертификатов не понадобится – они по-прежнему используются и гарантируют максимальную защиту передаваемых данных.

www.leaderssl.ru

Империя облачных вычислений Amazon сталкивается с угрозой из-за пределов сети

По словам Блумберга, перераспределение мощностей компьютеров ближе к мобильным устройствам может создать рынок на 4 триллиона долларов к 2030 году. Крупные игроки индустрии облачных вычислений должны сотрудничать с операторами связи, чтобы получить доступ к своей недвижимости


Империя облачных вычислений Amazon сталкивается с угрозой из-за пределов сети
Три компании — Amazon.com Inc., Microsoft Corp. и Alphabet Inc. — спокойно доминируют в мире облачных вычислений.

Располагая более чем 100 гигантскими дата-центрами по всему миру, они сдают в аренду вычислительные мощности всем клиентам, зарабатывая на этом миллиарды долларов. Фактически, облачные вычисления сделали больше, чтобы стимулировать доходы Amazon в последние годы, чем ее бизнес электронной коммерции.

Но на горизонте нависла угроза, буквально на краю сети. С таким количеством мобильных устройств и датчиков, которые теперь подключены к Интернету — и полагаются на искусственный интеллект — все больше людей и компаний нуждаются в своих вычислительных мощностях рядом с ними. Для всего, от быстрого анализа дорожных условий до потоковых голографических концертов, удаленные центры обработки данных находятся слишком далеко.

Это предоставит огромную возможность операторам беспроводной связи, которые строят быстрые сети 5G для решения этой задачи. И создать угрозу для доминирующих игроков в облачных вычислениях, считает аналитик телекоммуникаций Четан Шарма.

«Со временем облако будет в основном использоваться для хранения и выполнения более длинных вычислительных моделей, в то время как большая часть обработки данных и логического вывода будет происходить на грани», — сказал Шарма, который только что написал отчет по теме, спонсируемой поставщиком программного обеспечения. AlefEdge Inc. Он оценивает размер этого так называемого рынка периферийных вычислений в более чем 4 триллиона долларов к 2030 году.



Операторы беспроводной связи и владельцы вышек сотовой связи имеют большое преимущество в гонке периферийных компьютеров: они не только контролируют доступ к высокоскоростным телекоммуникационным сетям, но и имеют ценную недвижимость, такую ​​как десятки тысяч сотовых сайтов по всей стране.

Облачные вычисления никуда не денутся. Но большая тройка отрасли вынуждена объединяться с операторами беспроводной связи, поэтому они не остались в стороне от растущего пограничного рынка.

«Крупные игроки понимают, что, как минимум, им необходимо сотрудничать с операторами, чтобы получить доступ к своей недвижимости», — сказал Шарма.

Уже AT & T Inc., второй по величине оператор беспроводной связи в США, объединила свои усилия с Microsoft Corp. и IBM Corp., двумя поставщиками облачных услуг.

Наша цель — добиться успеха наших партнеров. Если наши партнеры будут очень успешными, мы будем очень успешными. Для партнеров нужно заработать много денег
Сэм Джордж, руководитель облачной службы Microsoft

Amazon и Google отказались комментировать свои планы.

В AT & T работают сотни сотрудников, специализирующихся на современных вычислениях, и это «основная часть нашей стратегии 5G
Мо Катибех, директор по маркетингу бизнес-подразделения AT & T
Между тем IBM также работает с оператором Vodafone Group Plc в Европе.

Сети сами по себе становятся облаком». Сегодня у телекоммуникационных компаний есть точка присутствия на краю, и это становится отличным местом для расширения платформы
Стив Канепа, глобальный управляющий директор IBM в сфере телекоммуникаций

Облачные провайдеры в Китае, такие как Alibaba Group Holdings Ltd. и Tencent Holdings Ltd., инвестировали в компанию China Unicom два года назад. По словам Шармы, может появиться еще больше таких инвестиций и партнерств.

Для других технологических компаний, включая производителей микросхем, таких как Intel Corp., надежда на то, что сдвиг приведет к расширению возможностей для всех.

Мы наблюдаем быструю конвергенцию между облачными провайдерами и провайдерами связи. На наш взгляд, это больший пирог
Кэролайн Чан, генеральный менеджер Intel

Другие телекоммуникационные игроки стремятся объединиться как с операторами связи, так и с облачными провайдерами. Crown Castle International Corp., которая владеет оптоволоконными линиями, а также более чем 40 000 вышек сотовой связи в США, ведет переговоры с двумя лагерями, сказал Пол Реддик, вице-президент компании.

Crown Castle также является инвестором стартапа Vapor IO, который в этом году внедряет новейшие вычислительные системы в шести зонах метро, ​​включая Чикаго.

Я бы сказал, что это тот, который захватывает деревню
Реддик.

Другие проекты уже в стадии реализации. В CenturyLink Inc. около 100 объектов, которые раньше использовались для хранения телекоммуникационного оборудования, теперь оснащены серверами. И это делает их доступными для корпоративных клиентов в таких секторах, как розничная торговля и промышленная робототехника.

Мы уже продали эти средства ряду клиентов, которым необходимо приблизить эти вычисления к границе сети». Мы видели достаточно активности в этом пространстве, чтобы мы могли уверенно строить эту инфраструктуру
Пол Савилл, старший вице-президент CenturyLink

Новость и новая локация



Вы просто невероятны!

Мы должны вам кое в чем признаться. Да-да. Прямо сейчас. Честно и откровенно.

Мы ошиблись.

Дело в том, что когда мы запускали Perfect Quality Hosting, то были уверены, что вам приглянутся наши сервера, тарифы и обслуживание. Но мы никак не ожидали, что желающих воспользоваться нашими услугами будет ТАК МНОГО!

Настолько много, что даже наших резервных мощностей в какой-то момент перестало хватать. И пока мы ожидали доставку нового оборудования, это вызвало некоторые проблемы в скорости работы хостинга. Но сейчас все необходимые компоненты установлены, а это значит – больше никаких «тормозов»!

Да, мы ошиблись. И наша ошибка – не в технических вопросах и не в человеческом факторе. Нам просто не хватило оптимизма. Сейчас мы просто счастливы от того, что идеальный хостинг нужен такому огромному количеству человек! Поэтому с удовольствием повторим: вы просто невероятны! Обещаем больше так не ошибаться и приносим искренние извинения за любые ваши неудобства, а в качестве компенсации надолго снижаем стоимость всех тарифных планов.

И еще один момент. Сейчас наша «география» охватывает три страны: Нидерланды, Россия и Молдову. Однако у нас есть хорошая возможность добавить к этому списку Латвию. Мы уже присмотрели там суперкрутой дата-центр. Что скажете? Интересен ли вам сервер на территории этой страны?

Просим проголосовать на нашем сайте:
pq.hosting/news4

Download as ZIP



Сегодня в нашем блоге гостевой пост — о своем опыте использования нашего облачного хранилища расскажет Андрей Суржиков, разработчик в одной из медицинских компаний.

Мы храним в облаке Selectel огромное количество файлов. В среднем, каждый месяц пользователи загружают к нам около 1 миллиона файлов (200 Гб данных), которые мы обязуемся хранить в течение 5 лет. Помимо хранения, мы должны дать пользователям возможность скачивать нужные наборы файлов в виде архивов.

Для этого у нас есть два варианта:
  • Стандартный — запросом в API скомандовать облаку отдать определенный контейнер или папку в виде архива (этот вариант предлагается в официальной документации Selectel по облачному хранилищу).
  • Самодельный — забирать файлы из облака, а непосредственно архивацию выполнять у себя на сервере.
  • Рассмотрим преимущества и недостатки обоих вариантов.

Подробнее
blog.selectel.ru/download-as-zip/

hubiC travaux: done



Привет, у нас есть время, но это только что закончился. Отныне мы дали все кластеры в состоянии рынка и производительности. Мы добавили много серверов в нашем кластере, что там было 12 месяцев, а затем в течение 12 месяцев мы начали проверку и реконструкции. Данные по 3 кластеров. Поздравляем команду, не отпускай!

Вы можете проверить скорость и доступные файлы, которые нас интересуют.
Хотя сам Hubic не будет обновляться.
Кластеры находятся в рабочем состоянии.

Следующий шаг: мы начнем работать над NextCloud с хранением
Распределенная чтобы увидеть, если он может заменить Hubic. В основном NextCloud. Мут от клиента с его хранением объектов. Но и по-прежнему наблюдая рыночные возможности коробки, которые могли бы возобновить проект поставить на следующий уровень. OVH отдых на инфра и платформы, и пообещал, что никогда бы не быть SaaS;)

искренне октава