github.com/hestiacp/hestiacp/releases/tag/1.3.0
github.com/hestiacp/hestiacp
www.hestiacp.com/
docs.hestiacp.com/
forum.hestiacp.com/t/hestia-control-panel-v1-3-0-is-now-available/1949

• Debian 9
• Debian 10
• Ubuntu 16.04 LTS
• Ubuntu 18.04 LTS
• Ubuntu 20.04 LTS

Характеристики

• Теперь пользователи могут указать домен в другое корневое расположение документа (аналогично парковке домена).
• В процессе обновления программного обеспечения теперь будет выполняться проверка работоспособности системы перед продолжением установки.
• Теперь администраторы могут управлять уведомлениями об обновлении программного обеспечения с помощью следующих параметров в $ HESTIA / conf / hestia.conf и через веб-интерфейс панели управления:
• UPGRADE_SEND_EMAIL = Отправляет уведомление по электронной почте на адрес электронной почты основной учетной записи администратора
• UPGRADE_SEND_EMAIL_LOG = Отправляет вывод журнала установки на адрес электронной почты основной учетной записи администратора
• Теперь в процессе обновления журналы установки по умолчанию будут сохраняться в каталоге / root / hst_backups для устранения неполадок после установки.
• Примечание. Мы можем скорректировать этот путь в будущем и задокументировать такие изменения по мере их появления.
• Мы представили возможность назначать права администратора другим учетным записям пользователей, позволяя им выполнять задачи на вкладке «Настройки сервера».
• Мы ввели более надежную систему перевода, которая позволит нам обеспечивать более качественный перевод в будущих выпусках.
• Примечание. Некоторые коды стран были обновлены, поэтому после обновления в настройках языка по умолчанию может быть снова выбран английский.
• Для новых установок MariaDB 10.5 теперь является версией по умолчанию.
• Для существующих установок мы предоставили сценарий обновления после установки вручную. Пожалуйста, запустите $ HESTIA / install / upgrade / manual / upgrade_mariadb.sh, чтобы перейти на MariaDB 10.5).
• Для темы пользовательского интерфейса по умолчанию установлено значение «Темная». Это можно изменить в «Настройки сервера»> «Настроить»> «Основные параметры»> «Внешний вид».
• Примечание. Имя темы по умолчанию не было изменено, и изменение на «темную» тему в настоящее время применяется только к новым установкам. Это поведение может быть изменено в будущем выпуске.

Исправление ошибок

• Исправлена ​​проблема безопасности, из-за которой ключи сброса пароля пользователя потенциально могли быть получены из списка системных процессов — спасибо RACK911 LABS
• Исправлена ​​проблема с паролями, содержащими "'" — Форум
• Исправлена ​​проблема с резервными копиями базы данных, когда порт не был указан (# 1068)
• Исправлена ​​проблема, из-за которой веб-сайты без включенного SSL отображали содержимое первого действительного веб-сайта с включенным SSL (№ 1103).
• Исправлена ​​проблема, которая могла возникнуть при использовании флага --with-debs с установщиком из-за неправильной процедуры проверки версии (# 1110).
• Исправлена ​​проблема с неправильными разрешениями, которая возникала при восстановлении учетных записей электронной почты (# 1114).
• Исправлена ​​проблема, из-за которой диспетчер файлов применял неправильные разрешения к новым каталогам.
• Исправлена ​​проблема, препятствовавшая успешному восстановлению почтовых доменов с поддержкой SSL из резервного архива (# 1069).
• Исправлена ​​проблема, из-за которой кнопка phpMyAdmin не работала в веб-интерфейсе панели управления (# 1078).
• Исправлена ​​проблема, из-за которой пароли генерировались неправильно (# 1184)
• Исправлена ​​проблема в v-add-sys-ip, чтобы гарантировать, что IP-конфигурация настроена на правильный порт — спасибо @madito
• Исправлена ​​проблема, которая приводила к расширенному циклу при запуске v-rebuild-all.
• Улучшена поддержка использования ключа API с помощью команды v-add-remote-dns-host (# 1265).
• Улучшена проверка свободного места на диске при выполнении процедуры резервного копирования (# 1115).
• Улучшена поддержка типов ключей SSH, отличных от RSA / DSA.
• Повышена надежность функции резервного копирования при удалении удаленных мест (# 1083)
• Улучшена фильтрация спама за счет добавления дополнительных известных опасных расширений файлов в черный список exim (# 1138) — спасибо @ kpapad904
• Обновлена ​​конфигурация Apache2 для использования Include с IncludeOptional (# 1072)
• Удалена возможность входа в систему как «root» (при входе в учетную запись администратора, больше не считается необходимой)
• Добавьте CA-сертификаты, общие свойства программного обеспечения для зависимостей (# 1073 + Forum) — спасибо @ daniel-eder
• Создавать каталог .npm по умолчанию при создании новых учетных записей пользователей (# 1113) — спасибо @hahagu
• Повышена точность нескольких переводов пользовательского интерфейса (NL, DE, UK, RU, ES, IT, ZH-CN) — спасибо @myrevery и другим участникам за вашу работу!
• Добавлен флаг $ restart в команду v-add-web-domain-backend (# 1094) (# 797) — спасибо @ bright-soft
• PostgreSQL: запретить использование верхнего регистра (# 1084), вызывающего проблемы с резервным копированием / созданием базы данных или пользователя
• Изменено имя WordPress в установщике Quick Web App (# 1074).
• Убраны записи, используемые в шаблоне DNS Google / Gmail — спасибо @madito
• Расширенная поддержка ProFTPd для TLS
• Отредактированный скрипт компилятора LXD
• Обновлен phpMyAdmin до версии 5.0.4.

ps
hestiacp.ru

Мы разработали новый сервис для быстрого создания сайтов — REG.Site. В несколько шагов вы получите всё, что нужно для сайта, и сможете сразу приступить к настройке его внешнего вида и наполнению контентом. И главное: всё это без знания кода, прямо в интерфейсе услуги. На выбор доступно 3 тарифа.



reg.site

Дорогие друзья!
Некоторые новости, которые у нас произошли:

• мы запустили тегерам-чат наших клиентов, где можно обсуждать услуги, помогать друг другу и быть на связи с нами 24х7(для доступа напишите, пожалуйста, в поддержку);
• мы начали принимать Bitcoin, теперь оплатить услуги можно криптовалютой;
• ядро сети в Москве было переведено на 100 gbit/s агрегацию, теперь емкости наших каналов стали еще больше;

В ближайшее время у нас будет:

• новые тарифы Premium VPS на NVme накопителях(устанавливаются новые ноды);
• новая услуга(аналог бюджетным выделенным серверам), виртуальный сервер с выделенным диском и ресурсами(никакого оверселлинга).

• подключение других криптовалют для оплаты;
• мы начнем устанавливать серверы для аренды в Нидерландах;
• появится новая локация для VPS;

и многое другое, что улучшит качество сервиса для вас!
С Уважением, Ваш хостинг-провайдер Serv-Tech.ru
serv-tech.ru

Почему OVHcloud рассматривает возможность приобретения стартапов в рамках следующего пятилетнего стратегического плана, 2020-2025?

Приветы!
Хоть Хэллоуин и не является официальным праздником, считаем неплохой идеей разбавить осенние будни жутким весельем. Вырезать тыквенные лица и готовить яблоки в карамели необязательно – погрузиться в атмосферу Хэллоуина можно вместе с новым выпуском нашего дайджеста.



А теперь подробнее о том, что нас сегодня ждёт. В октябрьском выпуске поделимся с вами полезными статьями о Линуксе и доменах, расскажем про обновления CLO и заглянем к FirstDEDIC посмотреть на тесты AMD Ryzen 9 3950X. А ещё не пропустите праздничную акцию – о ней в конце дайджеста.

Статьи и манускрипты
Станьте заклинателем Линукс
Если вы всегда обходили стороной операционную систему Линукс, а команды в терминале напоминали вам странные заклинания – у нас есть решение. В этом месяце выпустили целый цикл статей о работе
с Линукс, чтобы вы могли сделать свои первые шаги в администрировании. Не будем тянуть и перейдём к первым статьям. Остальные материалы вы найдете в разделе «Гайды по Linux» в Базе знаний.

• Знакомство с Linux
• Подключение к Linux-серверу
• Первые шаги в командной строке

Разгадайте тайну доменного имени
У каждого сайта в интернете есть уникальное имя – домен. DNS, система доменных имён, позволяет связывать сложные для запоминания IP-адреса сайтов с их названиями. Всего за долю секунды DNS-запрос проходит огромный путь от вашего браузера до авторитетного сервера. Если хотите разобраться, как происходит эта магия, читайте наши статьи, в них вы найдете ответы на все свои вопросы.

• Вопросы о доменных именах
• Что такое серверы имён?
• Что такое DNS и как это работает

Если не нашли решение проблемы в Базе знаний, напишите нам на sales@firstvds.ru — добавим статью.

Новости
Статьи на сегодня всё, перейдем к новостям.

Поставь оценку всяк сюда входящий
Расскажите, насколько вы удовлетворены качеством наших услуг, чтобы мы могли провести работу над ошибками. На сайте запущен опрос, в котором вы можете поставить оценку и подробно раскрыть её в комментарии. Ваши ответы укажут на наши сильные и слабые стороны и помогут нам стать ещё лучше.
firstvds.ru/

Магический камень для дедиков
У наших коллег FirstDEDIC в продаже появились новые конфигурации серверов, теперь вы можете заказать выделенный сервер на базе AMD Ryzen 9 3950X. Новинка имеет 16 ядер и может разгоняться до 4,7 ГГц в турборежиме. Перед началом продаж процессор прошёл череду тестов, а также выдержал сравнение с флагманами от Intel. Если хотите узнать, чем кончилось их противостояние, заглядывайте к FirstDEDIC.
1dedic.ru/content/amd-ryzen-9-3950x-okazalsya-proizvoditelnee-flagmana-intel-i9-10900k

Что нового на облаках
Весной наши разработчики запустили виртуальные серверы в облачной инфраструктуре – проект CLO. Прошло полгода, сервис растёт и развивается. В последних обновлениях ребята добавили снапшоты (быстрые точки восстановления) и возможность использовать SSH-ключи для доступа к серверу без ввода логина-пароля. Также на сайте проекта появился Changelog, в котором можно следить за нововведениями.
clo.ru/changelog

Мешок релизов
Релиз ядра Linux 5.9
Представлена новая версия ядра Linux 5.9, в ней принято более 16 тысяч исправлений от двух тысяч разработчиков. Почти половина всех изменений относится к драйверам устройств, также обновлена часть кода, связанного с аппаратными архитектурами и сетевым стеком. Например, добавлена поддержка ARM-плат, графических процессоров AMD Navi 21 и Navi 22, поддержка сжатия образа ядра с помощью алгоритма Zstandard и многое другое.
Подробнее о обновлении на opennet.ru

Релиз сервера приложений NGINX Unit 1.20.0
Выпущена новая версия сервера приложений NGINX Unit 1.20.0, который позволяет одновременно запускать приложения на разных языках программирования. В текущем релизе добавлена поддержка ПО ASGI (аналог WSGI) для Python, обеспечивающая взаимодействие серверов, фреймворков и приложений, которые поддерживают работу в асинхронном режиме.
О других изменениях на opennet.ru

Релиз Python 3.9
В прошлом году разработчики языка программирования Python решили выпускать корректирующие обновления каждые два месяца, а крупные релизы – раз в год. Таким образом, в октябре состоялся первый большой релиз Python 3.9. Из интересных новшеств: увеличена скорость работы за счёт протокола Vectorcall, к декораторам теперь можно обращаться без ограничений, добавлен оператор для объединения словарей.
Узнать больше на opennet.ru

Релиз Nextcloud Hub 20
Состоялся выпуск Nextcloud Hub 20, платформы для организации совместной работы и общего облачного хранилища. Она представляет собой аналог Google Docs и Microsoft 365, однако позволяет развернуть на своих серверах полностью контролируемую инфраструктуру, независимую от внешних облачных сервисов. Для работы с Nextcloud можно использовать любой хостинг с PHP-скриптами и доступом к SQLite, MariaDB/MySQL или PostgreSQL.
Подробнее на opennet.ru

Магические скидки на Форсаж

Традиционно в Хэллоуин принято наряжаться в костюмы и просить сладости. Сладостями поделиться не можем, но кое-что для вас всё же приготовили. С 29 октября до 12 ноября дарим скидку 15% на гибкий тариф VDS Форсаж по промокоду HALLOWEEN15. Подробные условия акции читайте на нашем сайте.
firstvds.ru/products/vds_vps_forcing

Компания Linxdatacenter, международный эксперт в сфере высокотехнологичных решений хранения и обработки данных, облачных сервисов и телекоммуникаций, подтвердила полное выполнение требований стандарта Payment Card Industry Data Security Standard 3.2.1, предъявляемых для облачных провайдеров и центров обработки данных.

Сертификат PCI DSS подтверждает высокий уровень безопасности и надежности ИТ-сервисов компании, включая виртуальные решения (IaaS). В рамках аудита, проведенного компанией Compliance Control Ltd, была выполнена оценка всей физической, виртуальной и сетевой инфраструктуры Linxdatacenter, программного обеспечения и систем безопасности. Независимые эксперты исследовали организационные и технические меры защиты, реализуемые в рамках облачных сервисов и услуг по размещению оборудования, а также сопутствующую документацию.

Стандарт PCI DSS содержит требования по обеспечению безопасности данных о держателях платежных карт. Требования направлены на защиту информации, несанкционированный доступ к которой может привести к потере конфиденциальности и денежных средств. В соответствии с данными требованиями оцениваются системы защиты информации на физическом и прикладном уровне, защищенность сетевой инфраструктуры, управление доступом к данным и механизмы аутентификации, протоколирование событий и действий, контроль защищенности информационной инфраструктуры и многое другое.

Ранее инфраструктура ЦОДов Linxdatacenter в Москве и Санкт-Петербурге, включая помещения машинных залов, системы управления доступом и видеонаблюдения, уже была аттестована на соответствие стандарту PCI DSS. В результате новой сертификации в перечень услуг компании, полностью отвечающих требованиям стандарта, вошли и облачные сервисы.

Проведенный аудит на соответствие стандарту PCI DSS продемонстрировал, что ИТ-решения Linxdatacenter обеспечивают надежную защиту и конфиденциальность данных и могут использоваться нашими клиентами для обработки данных платежных карт. Мы получили подтверждение высокой степени защищенности наших продуктов и способности максимально отвечать требованиям крупного бизнеса

говорит Георгий Беляков, специалист по информационной безопасности Linxdatacenter.



ru.linxdatacenter.com/

«Черная пятница» — одна из крупнейших распродаж. В России в этом году она пройдет с 27 по 29 ноября и, учитывая пандемию и легализацию онлайн-продажи ювелирных изделий и лекарств, практически целиком сосредоточится в интернете.

Для интернет-магазинов такое событие — это не только повод заработать, но и огромные нагрузки на все системы и серверы. В 2019 году объем онлайн-продаж во время «черной пятницы» в России увеличился примерно на 30% и превысил 22 миллиарда рублей. Из-за наплыва покупателей на сайты магазинов нагрузка на инфраструктуру увеличилась как минимум в два раза, а на пиках в четыре-шесть раз.



Переход в облака
При этом нагрузки испытывает не только внешняя инфраструктура — сайт и приложение, которыми пользуются тысячи и десятки тысяч людей сразу. Под удар попадают CRM и WMS системы, колл-центр и другие важные части инфраструктуры продавца. Падение любого сервиса обернется потерей клиентов, упущенной прибылью, репутационными рисками (пользователи ожидают 100%-й доступности) и даже нарушениями SLA и невыполнением требований регуляторов. Например, в 2018 году в «черную пятницу» была нарушена работа сайтов Walmart, Lululemon и Ulta. Один только бренд J.Crew за пять часов простоя потерял 775 тыс. долларов.

Выстраивать локальную инфраструктуру, которая выдержит пиковые нагрузки, сложно и очень дорого. Необходимо закупить и обслуживать оборудование, которое будет работать только несколько раз в году. И даже оно не гарантирует, что система не обрушится в самое неподходящее время.
Чтобы обеспечить полную отказоустойчивость инфраструктуры, ритейл переходит на облачные решения, которые автоматически масштабируются и равномерно распределяют нагрузку и запросы пользователей между разными дата-центрами. При этом резерв мощностей подключается и оплачивается только на время, необходимое, чтобы справиться с нагрузкой.

Давно известно, чем хороши облачные решения, однако ими пользуются далеко не все онлайн-ритейлеры. Перенести инфраструктуру в облако — это сложно, долго и дорого: провайдеры часто рассчитывают стоимость перехода как отдельную услугу. С этого и начинаются преимущества Yandex.Cloud: мы умеем переносить крупные инфраструктуры в облако за один день. У нас много сертифицированных партнеров, которые помогут вам с миграцией.

Что предлагает Yandex.Cloud
Yandex.Cloud предлагает три готовых и многократно опробованных решения, которые позволяют быстро развернуть инфраструктуру клиента в облаке и масштабировать ее при пиковых нагрузках.


Instance Groups и Load Balancer — масштабируемые группы виртуальных машин и балансировщик нагрузки: самое простое решение в списке с минимальным порогом вхождения.

Serverless-платформа, разворачивание Yandex Database в бессерверном режиме: для тех, кто хочет создать инфраструктуру с нуля или готов полностью обновить существующее решение.

Managed Service for Kubernetes — для тех, кто уже перешел на микросервисную архитектуру.

Первые два решения подразумевают перенос инфраструктуры в облако и настройку окружения. Все основные этапы миграции в Yandex.Cloud — создание виртуальных машин, подбор конфигураций, контроль переноса данных — полностью автоматизированы.

Миграция данных с помощью Yandex Data Transfer и Hystax Acura
Для миграции данных предусмотрено два варианта: через приложение Hystax Acura и новый сервис Yandex Data Transfer.

Hystax Acura позволяет перенести в Yandex.Cloud инфраструктуру с платформ любых мировых облачных провайдеров, платформ виртуализации VMware и OpenStack и собственного железа. Миграция происходит без простоев, бизнес-процессы не останавливаются, а данные гарантированно не теряются. Стоимость миграции известна заранее: одна виртуальная машина обойдется в 1500 рублей. Приложение можно запустить непосредственно из маркетплейса.

Также, на конференции Scale 2020 мы рассказали про Yandex Data Transfer — новый сервис для миграции баз данных из других облачных платформ или локальных баз данных в сервисы управляемых баз данных Yandex.Cloud. Data Transfer позволяет перенести данные с сохранением рабочего состояния источника и минимизировать время простоя приложений, использующих базу данных. При этом сервис при возникновении проблем сам перезапускает задачи репликации. Если продолжить с нужного момента не получится, сервис автоматически вернется к предыдущей стадии миграции. Data Transfer находится на стадии Preview и не тарифицируется.

Виртуальные машины — Instance Groups и Yandex Load Balancer
Первое решение — Instance Groups — компонент сервиса Compute Cloud, который позволяет создавать и управлять группами автоматически масштабируемых виртуальных машин без установки стороннего программного обеспечения. Если заранее указанная нагрузка увеличится, в группу добавятся новые машины, а Yandex Load Balancer (/services/load-balancer) автоматически распределит нагрузку между ними. Если нагрузка уменьшится, лишние виртуальные машины просто отключатся.

Instance Groups умеет автоматически обнаруживать и исправлять неработоспособные виртуальные машины в группе, а также поддерживать работу служб приложений в надежной среде с многозональными функциями вместо выделения ресурсов для каждой зоны. Все это полностью защищает инфраструктуру от сбоев.


Managed Service for Kubernetes
Если вы уже перешли на микросервисную архитектуру и используете Kubernetes® для управления контейнеризованными рабочими нагрузками и сервисами, то Yandex.Cloud может взять на себя большую часть работы по обслуживанию кластера. Второе решение — сервис Managed Service for Kubernetes — предоставляет окружение для удобного управления контейнеризованными приложениями. Вы получаете привычные инструменты для работы с кластерами, безопасную инфраструктуру (все взаимодействия между мастером и узлами кластера шифруются при помощи протокола TLS), легкое обслуживание и высокую доступность. При этом все ноды кластера находятся за балансировщиком нагрузки, а сам балансировщик защищен сервисом DDoS Protection.


Serverless-платформа
В serverless-подходе нет понятия единицы ресурсов: количества виртуальных машин, нод базы данных и т. д. Это и безразмерные хранилища данных, и горизонтально масштабируемые СУБД. Вы просто создаете новую инфраструктуру, которая будет способна справиться с любыми нагрузками, а платить нужно только за реально потребленные ресурсы.

В основе serverless-платформы Yandex.Cloud лежит множество сервисов, которые образуют решение, позволяющее справиться с непредсказуемыми нагрузками:

• Yandex Cloud Functions
• Yandex Database
• Yandex Message Queue
• Yandex Object Storage
• Yandex IoT Core

Для хранения данных используйте Yandex Database — горизонтально масштабируемую распределенную отказоустойчивую СУБД, которая проектировалась с учетом требований высокой производительности. Yandex Database может работать в двух режимах. Это:

Режим с выделенными инстансами (dedicated). Для базы выделяются виртуальные хосты с заданными ресурсами. Вы сами выбираете число хостов, их вычислительные ресурсы, параметры хранилища и настраиваете облачные сети.

Бессерверный (serverless) режим. Вы разворачиваете базу данных в обслуживаемой среде без создания хостов. Вам не нужно контролировать вычислительные ресурсы, сети и другие параметры. Все ресурсы для работы базы автоматически предоставляются сервисом и масштабируются в зависимости от нагрузки.

Для задач с неравномерной и плохо прогнозируемой нагрузкой подходит бессерверный режим. В нем вы платите за фактические операции с базой и за хранение данных и резервных копий.

В свою очередь, сервисы Cloud Functions и Message Queue помогают справиться с непредсказуемыми нагрузками:

• Cloud Functions позволяет разместить части приложений с непредсказуемой нагрузкой.=
• В managed-окружении, где за масштабирование отвечает платформа, вы платите за фактически потребленные ресурсы, поэтому можно сделать перенос в off peak сезон и начать экономить по сравнению с размещением в виртуальных машинах или в кластерах Kubernetes.
• Message Queue позволяет организовать асинхронную передачу данных между компонентами приложения и выступает слоем буферизации. Благодаря интеграции с Cloud Functions можно сэкономить на написании кода для интеграции сервисов между собой и просто подписать функцию на нужную очередь сообщений.

cloud.yandex.ru/services/functions
cloud.yandex.ru/services/message-queue

Вы всё успеете
До «черной пятницы» осталось мало времени, но вы точно успеете развернуть группы виртуальных машин, кластер и ноды Kubernetes в Yandex.Cloud (это займет от 15 минут), запустить код на Cloud Functions (время холодного старта при первом вызове <500 мс).

Для того, чтобы вам было проще решиться на миграцию, мы подготовили специальное предложение. Подробнее → cloud.yandex.ru/promo/black-friday/

5 ноября мы проведем вебинар, на котором подробно расскажем о преимуществах облачных решений, а также о том, как быстро перенести инфраструктуру в облако и обеспечить масштабирование при пиковых нагрузках. Присоединяйтесь → cloud.yandex.ru/events/276

В 2009 году Яндекс для мгновенного построения отчетов по неагрегированным логам в режиме реального времени разработал первый прототип своей аналитической системы управления базами данных — ClickHouse. Сейчас эта СУБД может применяться в различных сферах для задач, где требуется огромная скорость обработки постоянно поступающей информации.

Зачем понадобились колоночные (столбцовые) системы управления базами данных
Универсальные СУБД при достаточно большой нагрузке либо становятся очень медленными, либо начинают потреблять большое количество серверных мощностей. Например, классическая проблема любой традиционной реляционной базы данных, которая хранит все в строках, — это очень медленная работа сложных аналитических запросов, если количество записей достигает нескольких миллиардов строк. При создании отчетов таким СУБД приходится анализировать множество лишней связанной информации. На скорость построения выборок из такого количества записей не влияет даже оптимизация — правильно настроенные ключи и индексы.

Чтобы ускорить построение отчетов, были придуманы колоночные СУБД, которые, как можно догадаться, изначально хранят данные в колонках. Если один столбец содержит единственный набор значений, то становится гораздо проще строить отчеты по каким-либо показателям. Колоночные СУБД лучше всего подходят для OLAP сценариев работы — обработки аналитических запросов в режиме онлайн. Для таких задач характерны следующие факторы:

• подавляющее большинство запросов идет на чтение;
• данные добавляются и обновляются достаточно большими пачками (> 1000 строк), а не по одной строке, или не добавляются и не обновляются вообще;
• данные добавляются в базу данных, но не изменяются;
• при чтении используется достаточно большое количество строк из базы данных, но только небольшое подмножество столбцов.

Если вы попытаетесь использовать для аналитики классические СУБД, то получите очень низкую производительность по сравнению с OLAP-СУБД. Это проще продемонстрировать визуально:



ClickHouse
Колоночная СУБД ClickHouse разрабатывалась, чтобы можно было в интерактивном режиме строить отчеты по неагрегированным логам пользовательских действий. Но этим возможности системы не ограничиваются. Со временем к ClickHouse была написана подробная документация, и базу данных стали активно использовать в других продуктах Яндекса — Директе, Маркете, Почте, ADFOX, Вебмастере, в мониторинге и бизнес-аналитике. Например, сервис нагрузочного тестирования Яндекс.Танк использует ClickHouse для хранения данных телеметрии. СУБД позволяла решать задачи, для которых раньше не было подходящих инструментов, или же с ней получалось это делать намного эффективнее, чем с другими системами.

Вот лишь некоторые архитектурные особенности ClickHouse:

• столбцовое хранение данных — данные считываются только из нужных колонок, и однотипная информация эффективно сжимается;
• поддержка приближенных вычислений на части выборки — снижается число обращений к жесткому диску, что еще больше повышает скорость обработки данных;
• физическая сортировка данных по первичному ключу — можно быстро получить конкретные значения или диапазоны;
• векторные вычисления по кусочкам столбцов — снижаются издержки на диспетчеризацию, эффективно используется CPU;
• распараллеливание операций как в пределах одного сервера на несколько процессорных ядер, так и в рамках распределенных вычислений на кластере за счет механизма шардирования;
• линейная масштабируемость — есть возможность построить кластер очень большого размера;
• работа с жесткими дисками — ClickHouse достаточно эффективно работает, когда данные не попадают в кеш памяти целиком. Дополнительно это снижает стоимость эксплуатации системы, так как жесткие диски дешевле RAM;
• отказоустойчивость — система представляет собой кластер шардов, где каждый шард — это группа реплик.

ClickHouse поддерживает клиенты для подключения к базе данных: консольный клиент, HTTP API, ряд wrapper’ов на Python, PHP, Node.js, Perl, Ruby, R и многие другие. Также для ClickHouse есть JDBC- и Golang-драйверы.



Где можно применять ClickHouse
За рамки внутренних проектов ClickHouse вышла в 2013 году, когда ее начали применять для анализа метаданных о событиях эксперимента LHCb в CERN. Базу данных могли бы использовать более широко, но в то время мешал закрытый статус. Однако уже в июне 2016 года исходный код ClickHouse был выложен в open source под лицензией Apache 2.0. Это позволило взять ее на вооружение IT-департаментам множества отечественных и зарубежных компаний. В их числе Cloudflare, Bloomberg, ВКонтакте, «Тинькофф банк», Avito, онлайн-кинотеатр ivi.ru, интернет-порталы Mail.ru и Rambler. Например, социальная сеть VK использует нашу СУБД для хранения и чтения отладочных логов. Аналогично делают и другие компании, сгружая в базы данных логи микросервисов и приложений за большой период, а затем быстро возвращаясь к ним для анализа.

ClickHouse в 2020 году — это полноценная СУБД, которая обладает очень широкими возможностями. Создавайте таблицы и базы данных в runtime, загружайте из разных источников данные, анализируйте их и выполняйте запросы без переконфигурирования и перезапуска сервера. ClickHouse позволяет реализовать быстрый доступ к корпоративным хранилищам данных, поддерживает декларативный язык запросов на основе SQL, во многих случаях совпадающий с SQL стандартом. СУБД можно интегрировать с такими Big Data системами, как Apache Kafka и HDFS, а также с MySQL и прочими внешними источниками данных через ODBC или JDBC.

Возможности колоночных СУБД и преимущества конкретно ClickHouse позволяют очень эффективно использовать нашу разработку в самых разных сферах. Это могут быть:

• аналитика веб-проектов и мобильных приложений;
• рекламные сети и real-time bidding (торги в реальном времени);
• телекоммуникации;
• электронная коммерция и финансы;
• информационная безопасность;
• бизнес-аналитика;
• онлайн-игры;
• интернет вещей.

Но по-прежнему главное преимущество ClickHouse — невероятная скорость. Она позволяет решать очень важную общую задачу бизнеса в области аналитики поведения клиентов — очень быстро и легко генерировать аналитические отчеты по большим данным в режиме реального времени. Это актуально для ритейла, телекома, любой интернет-инфраструктуры, хранения данных и быстрого к ним доступа с устройств интернета вещей и т. д.

ClickHouse позволяет отслеживать бизнес-метрики для анализа поведения пользователей на сайте магазина или в онлайн-играх. Компании могут даже собирать и создавать витрины данных для своих клиентов, предоставляя им безопасный доступ только к той информации, которой можно делиться.

Что дальше?
Мир накапливает очень много больших неструктурированных данных, к которым нужно иметь доступ в режиме реального времени. И для этого необходимо развивать и совершенствовать такие системы управления базами данных, как ClickHouse.

Следующим шагом для бизнеса должен стать переход в облачные решения, чтобы иметь возможность быстро визуализировать данные без долгой покупки и настройки железа, мгновенно настраивать дашборды под свои задачи, а также в реальном времени анализировать события и бизнес-процессы.

Для этого уже есть сервис Yandex Managed Service for ClickHouse, который помогает разворачивать и поддерживать в инфраструктуре Yandex.Cloud кластеры баз данных на основе ClickHouse. Вы получаете все описанные преимущества колоночных СУБД, и при этом вам не нужно покупать и настраивать железо, разбираться со сложностями в обслуживании баз данных и решать проблемы с обновлением. Кроме того, Yandex Managed Service for ClickHouse значительно повышает безопасность работы и позволяет создавать хосты кластера в разных зонах доступности.

Создайте свой первый кластер ClickHouse
console.cloud.yandex.ru/link/managed-clickhouse/

Ура, нам исполняется 15 лет! Давайте отметим вместе!
Через пару дней у нас день рождения! Нам безумно приятно, что полтора десятка лет конструктор uCoz помогает творить и создавать веб-сайты абсолютно каждому — без привязки к возрасту, профессии или навыкам в программировании.


Без вас у нас бы точно ничего не получилось. Держите подарок!
inetglobal.ucoz.net/panel/

В период с 27 октября до 6 ноября включительно оформите покупку тарифа на срок от 12 месяцев — и получите скидку 50%. Скидка будет применена автоматически.


Акция не распространяется на тарифы «Минимальный» и «Образовательный»

Расскажите вашу историю
15 лет — срок действительно немалый! На всевозможных мероприятиях для программистов, маркетологов и дизайнеров мы регулярно встречаем тех, кто начинал свой путь именно с нами — делал первые шаги в вебе и познавал основы html/css с помощью сайта на Юкоз. Может быть, это и про вас тоже? :)
Пройдите наш небольшой опрос и расскажите про ваш первый сайт:

Рады анонсировать Вам несколько наших новых локаций для VPS — Венесуэла и Аргентина.
Обе локации имеют самую лучшую связность для своего региона при не высокой стоимости Вы получаете максимум качества.
Также, просим Вас не забывать о нашей локации в Бразилии, которая несомненно имеет лучшие показатели по качеству интернета для своего региона, а оборудование находится в современном дата-центре уровня TIER 3 в городе Сан-Пауло.!
Для заказа VPS в Аргентине и Венесуэле пожалуйста перейдите по ссылкам ниже:

Венесуэла — cp.exservers.net/cart.php?gid=10
Аргентина — cp.exservers.net/cart.php?gid=11
Бразилия — cp.exservers.net/cart.php?gid=9

Благодарим Вас за сотрудничество!