Вопросы и ответы по ценообразованию с нашим генеральным директором Мэттом Пью



Недавно мы объявили о некоторых предстоящих изменениях в структуре уровней лицензий WHMCS для предприятий с более чем 250 активными клиентами и держателями собственных лицензий.

Если вы пропустили анонс, вы можете прочитать его здесь.
hosting.kitchen/whmcs-com/vazhnye-izmeneniya-cen-na-vashu-licenziyu-whmcs.html

С момента объявления мы с командой вели много разговоров с клиентами и партнерами.

Это была хорошая возможность снова связаться со многими клиентами и узнать больше об их приоритетах и ​​бизнесе. В частности, мне понравилось слышать о различных способах использования WHMCS, а также о том, насколько наши клиенты ценят WHMCS и хотят взаимодействовать с нами в том, как мы формируем будущее нашего продукта.

В рамках этих обсуждений было несколько повторяющихся тем, и в этом сообщении в блоге я попытался сопоставить все наиболее распространенные вопросы вместе с моими ответами для тех из вас, с кем мне не посчастливилось поговорить. Если у вас все еще есть вопросы, я предлагаю вам связаться с нами по электронной почте sales [at] whmcs.com или используя нашу контактную форму на www.whmcs.com/contact

Благодарим вас за то, что вы являетесь постоянным клиентом, и желаю вам дальнейшей безопасности, здоровья и успехов.

В: Изменения кажутся большими. Как вы можете это оправдать?
Я хочу начать с того, что полностью понимаю, что для некоторых изменения значительны. С учетом сказанного, и я, и остальная часть команды WHMCS, участвовавшая в разработке этих изменений, очень усердно работали, чтобы минимизировать увеличение для как можно большего числа клиентов. Многие клиенты не увидят изменений в цене (любой, кто использует лицензию Plus и имеет менее 250 клиентов). Многие другие увидят лишь умеренное увеличение (те, кто использует предыдущий уровень лицензии Starter, или те, у кого меньше 500 клиентов). Эти две группы составляют большую часть нашей пользовательской базы.

Однако для того, чтобы продолжать предоставлять продукты и услуги, на которые полагаются наши клиенты, и чтобы мы могли продолжать развиваться и преуспевать, мы должны предпринять важные шаги для увеличения наших доходов. Веб-хостинг — это отрасль, в которой по-прежнему наблюдается значительная консолидация на верхнем уровне и переход от традиционного веб-хостинга к более цифровым и облачным услугам. С этой целью мы вводим дополнительные уровни, чтобы более точно отразить ценность, которую компании получают от нашего программного обеспечения по мере своего роста.

Заявление о миссии нашей компании на протяжении долгого времени заключалось в том, чтобы не только предоставлять ведущую платформу автоматизации веб-хостинга, но и помогать нашим клиентам расширяться и расти. Это то, что мы делаем, используя как возможности, которые мы встраиваем в наш продукт, так и партнерские отношения и интеграцию, которые мы делаем доступными. Когда вы выбираете WHMCS, вы получаете доступ не только к самой многофункциональной платформе биллинга, управления клиентами и автоматизации для веб-хостинга, но и к таким услугам, как MarketConnect и другие, которые могут позволить вам предлагать больше услуг своим клиентам, что дает больше причин. чтобы пользователи могли выбрать вашу услугу и помочь увеличить свой ARPU.

В: Я мало пользуюсь поддержкой и не думаю, что мне нужно за нее платить. Можете ли вы предложить лицензию без включенной поддержки?
Я считаю, что доступ к нашей технической поддержке, доступной 24 часа в сутки, 7 дней в неделю, является ключевым преимуществом продукта WHMCS и жизненно важен для хорошего долгосрочного опыта работы с нашим продуктом.

В прошлом году мы представили службу технической поддержки Live Chat для бизнес-клиентов, и с учетом предстоящих в июле изменений, все больше наших пользователей получат доступ к этому предложению поддержки премиум-класса.

Укомплектование группы поддержки для круглосуточного обслуживания и возможности масштабирования в часы пик, например, для новых выпусков, требует значительных вложений, и было бы невозможно предложить такой же уровень или качество поддержки только с оплатой за каждый билет.

В: Почему прекращается поддержка пакетов поддержки и обновлений для владельцев собственных лицензий? Разве это не делает мою лицензию бесполезной?
Наша команда постоянно работает над улучшением продукта, включая несколько выпусков основных функций в год и множество дополнительных выпусков между ними. Вносимые нами изменения необходимы для обеспечения постоянной совместимости с более чем 150 сторонними сервисами, с которыми WHMCS интегрируется изначально. Поддержка и обновления были несовершенной моделью, позволяющей некоторым пользователям получать обновления на многие месяцы или годы, только периодически платя за доступ. Именно по этой причине мы больше не собираемся допускать перерывов в оплате поддержки и обновлений, и это будет достигнуто за счет требования к владельцам собственных лицензий перейти на ежемесячное выставление счетов. Кроме того, цены были повышены в соответствии с арендными лицензиями, так что все пользователи платят одинаковую сумму за один и тот же продукт и услугу.

Кроме того, прошло более 5 лет с тех пор, как мы прекратили выпуск продукта с собственной лицензией, что означает, как минимум, держатели лицензий использовали лицензию более 5 лет. Во многих случаях намного дольше. Я считаю, что для любого бизнеса, который активно использует платформу WHMCS, ценность, которую они получат от продукта за время использования продукта, намного превышает стоимость, которая была заплачена, и по-прежнему представляет собой большое соотношение цены и качества.

В: Пошаговое приращение для предприятий, у которых под управлением превышает 10 тыс. Активных клиентов, очень велико. Вы можете что-нибудь сделать для решения этой проблемы?
Мы выслушали ваши отзывы и, как прямой результат, 6 мая объявляем о том, что представим 2 дополнительных бизнес-уровня для предприятий, под управлением которых находится от 10 000 до 30 000 активных клиентов.

Результатом этого изменения стали 9 уровней бизнес-лицензий, обеспечивающих более постепенное увеличение и более низкую цену для предприятий, имеющих от 10 000 до 30 000 клиентов.

Мы обновили наше руководство по лицензированию клиентов, которое можно просмотреть здесь: assets.whmcs.com/customer-licensing-guide-2021.pdf

В: Планируете ли вы перейти на предложение только SaaS?
Нет. Мы не планируем переходить на предложение продуктов на основе SaaS. Мы знаем, что автономный и настраиваемый, расширяемый и гибкий характер нашего продукта является одним из его самых больших преимуществ, и мы не собираемся терять это.

В: Почему я должен доверять WHMCS?
WHMCS с первых дней своего существования является лидером в области биллинга веб-хостов. Моя команда и я неустанно работали, чтобы предоставить не только программное обеспечение для выставления счетов, но и всеобъемлющую платформу управления бизнесом веб-хостинга, которая помогает компаниям, занимающимся веб-хостингом, использовать нашу платформу для масштабирования, роста и продвижения вперед.

Как многие из вас знают, мы недавно присоединились к группе компаний WebPros, что дает нам фантастическую возможность еще более тесно сотрудничать со всем ведущим программным обеспечением в области веб-хостинга.
  • В WHMCS наша команда всегда работала над усовершенствованием нашей платформы, технологий, лежащих в ее основе, и опыта, который вы и ваши клиенты получаете при ее использовании. Но мы удваиваем эти усилия, расширяем нашу команду по всем отделам, взаимодействуем со специализированными внешними фирмами в таких дисциплинах, как UI и UX, и продолжаем выполнять нашу миссию, чтобы помочь нашим клиентам добиться успеха и развиваться за счет ряда проектов и Особенности. Вот лишь некоторые из вещей, над которыми мы сейчас работаем:
  • Улучшение потоков покупок — мы пересматриваем процесс покупки и продажи веб-хостинга и других цифровых продуктов и услуг. Предлагая более современный и гибкий подход, это проще и актуальнее для клиентов.
  • Новый взгляд на услуги после оформления заказа — помощь пользователям в подключении к сервисам и их начало получать выгоду от услуг, которые они покупают, быстрее и проще, облегчая им доступ и предоставляя больше рекомендаций в процессе.
  • Более удобный пользовательский интерфейс — устранение разделения между порталом выставления счетов и клиентским порталом вашей компании и услугами, которые вы продаете, и обеспечение более тесного и оптимизированного взаимодействия.
  • Интеграция с новым предложением WordPress Toolkit от cPanel и Plesk — позволяет компаниям, занимающимся веб-хостингом, предоставлять лучший опыт клиентам, ищущим хостинг и решения WordPress, с более легким и простым пользовательским интерфейсом и инструментами, помогающими пользователям управлять WordPress
  • Новые и улучшенные услуги и интеграции, включая такие вещи, как еще большая автоматизация SSL, больший выбор Site Builder и автоматизация для большего количества продуктов и услуг.
  • И это только начало. Все дополнения, которые мы вносим в нашу команду и продукт, имеют единственную цель — продолжать предоставлять лидирующую платформу для веб-хостинговых компаний, и в частности лидирующую платформу, которая способна и является лидером в будущем в том, как веб-хостинг будет куплен и продан.

Если у вас все еще есть вопросы, я предлагаю вам связаться с нами по электронной почте sales [at] whmcs.com или используя нашу контактную форму на www.whmcs.com/contact

Если вы зашли так далеко, спасибо! И я хочу еще раз поблагодарить наших клиентов за поддержку и использование нашего продукта. WHMCS прошел долгий путь с тех пор, как я опубликовал самую первую версию более 15 лет назад, но я абсолютно верю, что нас ждут действительно захватывающие времена как для нашего продукта, так и для всей отрасли, и я с нетерпением жду возможности продолжать поставлять №1 выбор в автоматизации веб-хостинга.

Важные изменения цен на вашу лицензию WHMCS



Мы пишем сегодня, чтобы сообщить вам о некоторых изменениях в наших ценах и лицензировании, которые вступят в силу 1 июля 2021 года.

С 2017 года мы продолжаем нашу миссию по автоматизации и масштабированию бизнеса наших клиентов, расширяя их возможности, предоставляя критически важные функции и возможности, а также повышая автоматизацию и эффективность этих операций. Растущая расширяемость WHMCS означает, что у вас есть доступ к большему количеству продуктов, услуг и инструментов; Постоянное расширение платформы MarketConnect дает вам мгновенный доступ к услугам перепродажи удобным, бесшовным, полностью автоматизированным и оптимизированным способом.

За последние 18 месяцев мы вложили значительные средства в дополнительных людей и таланты, и еще больше инвестиций запланировано на 2021 год и далее. Наши инвестиции в бизнес — это лишь один из способов, которые позволят нам продолжать предоставлять ведущую платформу автоматизации для компаний, занимающихся веб-хостингом, и профессионалов.

У нас большие планы. Мы намерены возглавить переосмысление способов покупки и продажи веб-хостинга, включая модернизацию обслуживания конечных пользователей традиционного веб-хостинга, чтобы наши клиенты и партнеры могли лучше конкурировать на сегодняшнем рынке веб-хостинга. Мы сделаем это, предоставив новый пользовательский интерфейс, новые рабочие процессы и более тесную интеграцию с существующими продуктами и услугами в экосистеме веб-хостинга.

Мы очень рады, что вы вместе с нами станете частью этой эволюции. Мы надеемся, что вы и дальше будете осознавать ценность WHMCS для вашего бизнеса и решите использовать нас в качестве своего партнера в области автоматизации бизнеса.

Сегодня мы объявляем об изменениях цен и уровней лицензий, включая введение шести новых уровней для предприятий с более чем 1000 активных клиентов.

Вот что меняется:
  • Стартовая лицензия больше не будет доступна для покупки. Если у вас в настоящее время есть лицензия Starter, мы обновим вас до лицензии Plus 1 июля 2021 года. После обновления до Plus в вашей установке WHMCS больше не будет отображаться уведомление Powered by WHMCS.
  • Лицензия Plus остается такой же, как и сегодня, с лимитом клиентов 250 и ежемесячной стоимостью 18,95 долларов США.
  • Уровень Professional теперь будет иметь ежемесячную стоимость в размере 29,95 долларов США и клиентский лимит в размере 500 долларов США.
  • Первый бизнес-уровень будет иметь лимит клиентов до 1000 и будет стоить 44,95 доллара. Для тех, у кого сегодня более 501 клиента, мы переведем вас на соответствующий бизнес-уровень 1 июля 2021 года.
  • Все лицензии бизнес-уровня включают нашу поддержку бизнес-лицензий, техническую поддержку в чате и доступ к приоритетной поддержке.

Дополнительные бизнес-уровни теперь доступны для лицензий более 1000 клиентов. Цены на эти новые уровни указаны в таблице ниже. Чтобы помочь предоставить дополнительную информацию и ясность, мы создали Руководство по лицензированию WHMCS для клиентов 2021, доступное по адресу assets.whmcs.com/customer-licensing-guide-2021.pdf

Продолжайте вводить новшества, создавать, разрабатывать, проектировать и размещать, и знайте, что мы продолжаем инвестировать, чтобы улучшить опыт WHMCS каждого.

Виртуальная среда Proxmox 6.4


Виртуальная среда Proxmox 6.4
Мы только что выпустили версию 6.4 нашей платформы виртуализации Proxmox Virtual Environment! В новой версии представлены функции восстановления одного файла и восстановления в реальном времени, которые упрощают задачи восстановления и, следовательно, улучшают целевое время восстановления (RTO). Вот основные моменты:
  • Debian Buster 10.9, но с использованием более нового ядра LTS Linux 5.4.
  • LXC 4.0, QEMU 5.12, OpenZFS 2.0.4
  • Восстановление одного файла для архивов резервных копий виртуальных машин и контейнеров, хранящихся на сервере Proxmox Backup Server
  • Live Restore архивов резервных копий ВМ, находящихся на Proxmox Backup Server;
  • Поддержка Ceph Octopus 15.2.11 и Ceph Nautilus 14.2.20
  • Улучшенная интеграция автомасштабирования группы размещения Ceph (PG).
  • Настройте параметры Target Size или Target Ratio и посмотрите оптимальное количество PG в графическом интерфейсе.
  • Улучшенный установщик ISO — настройка загрузки для установок ZFS теперь лучше приспособлена для устаревшего оборудования.
  • Возможно добавление примечаний к резервному копированию в хранилище CephFS, CIFS или NFS.

Press Release
www.proxmox.com/en/news/press-releases
Download
www.proxmox.com/en/downloads
Documentation
pve.proxmox.com/pve-docs

Новая функция ХостТрекера: мониторинг приложений

Мы рады Вам сообщить о наших новых функциях, предоставляемых в партнерстве с компанией Scout APM. Они включают себя инструменты по мониторингу приложений, которые могут быть очень полезными для разработчиков. Простая установка, мониторинг и оповещение об ошибках приложений в реальном времени, поддержка популярных языков программирования могут значительно упростить процесс разработки и поддержки приложений. Для ознакомления с этими функциями воспользуйтесь этой ссылкой:


Scout monitoring
scoutapm.com
На данный момент мы работаем над интеграцией наших сервисов, но Вы можете уже использовать Scout APM бесплатно в течении 2-х месяцев при переходе по этой ссылке. Обязательно пишите нам, если у Вас возникнут какие-либо вопросы или если у Вас возникают предложения по поводу улучшения нашего сервиса.

С наилучшими пожеланиями,
Команда HostTracker.com
ht2support@host-tracker.com
host-tracker.com

Научим работать с Managed Kubernetes за 7 шагов



Мы запустили бесплатный курс по Managed Kubernetes на платформе «Слёрм». Курс можно пройти за 1 день, все занятия — в открытом доступе. Есть теория, разбор кейсов и практические задачи. Все участники смогут протестировать работу Managed Kubernetes в «Облачной платформе Selectel».




slurm.io/managed-kubernetes-selectel/

«Так что, у тебя есть план? Да, мистер Уайт!»



Узнали цитату из «Breaking Bad»? Вдохновившись просмотром, мы кое-что для вас «приготовили» :)

Заказывайте новые VDS с 15%-ой скидкой по промокоду BREAKINGWEB.

Арендуйте серверы по сниженным ценам на любой подходящий период: 1, 3, 6 или 12 месяцев.

Подробные условия
  • Скидка действует только при заказе новых серверов в готовых конфигурациях: «Старт», «Разгон», «Отрыв» и «Улёт», тарифов линейки «Турбо», а также VDS Форсаж, Атлант и Storage.
  • В акции не участвует тарифный план VDS Прогрев.
  • Скидка 15% предоставляется разово, в момент заказа виртуального сервера, на срок, указанный при единовременной оплате за 1, 3, 6 месяцев или год. Используя промокод BREAKINGWEB, вы можете заказать VDS со скидкой 15% сроком до 1 года.
  • Использовать скидочный промокод можно для заказа любого количества новых серверов.
  • Срок активации промокода — до 31.05.2021 23:59 по мск.
  • Сервер со скидкой нужно оплатить до 31.05.2021 включительно.
  • Скидка распространяется только на ресурсы: CPU, RAM, HDD, SSD или NVMe-диск.
  • При отказе от сервера по акции скидка не переносится на другие услуги.
  • Предложение не действует одновременно с другими скидками на виртуальные серверы.
  • Скидка не распространяется на дополнительные услуги: канал, защиту от DDoS-атак, адреса IPv4 и IPv6, автобэкапы, панель ISPmanager и другие дополнительные услуги.

Сертификат на пополнение баланса
  • Сертификатом GETMYMONEY можно воспользоваться только при наличии хотя бы одного действующего виртуального сервера на FirstVDS, при условии, что вы пользуетесь нашими услугами (аренда VDS) не менее 12 месяцев, а время простоя услуг не превышает 1 месяц.
  • Тарифы «Разминка» и «Прогрев» не учитываются.
  • Один человек может использовать лишь один подарочный сертификат на аккаунте в период с 19 по 31 мая 2021 года включительно.
  • Подарочную сумму можно использовать для оплаты услуг на FirstVDS.
  • Подарочный сертификат является скидкой на приобретение услуг в размере его номинала. Денежный эквивалент выплате не подлежит.
  • Перевод средств, полученных при активации сертификата, между аккаунтами не предусмотрен.
  • Срок активации сертификата — с 19 мая 10:00 до 31 мая 23:59 по мск.
  • Внимание! Количество сертификатов ограничено — 2000 шт.

https://firstvds.ru

Публичный API v1



API предназначен для программного управления ресурсами. Наш API построен по принципу REST, действия выполняются через HTTP-запросы.

Доступны все те же операции по управлению инфраструктурными элементами, что и в Личном кабинете: запуск, остановка и удаление серверов, создание и подключение дисков, создание снапшотов серверов, управление плавающими IP и SSH-ключами. Подробно возможности описаны в отдельной Документации API. Для работы с API понадобится Токен авторизации.
clo.ru/api/
lk.clo.ru/profile/api

Заказчикам выделенных серверов Selectel стали доступны конфигурации на базе Raspberry Pi 4B и Mac mini c чипом M1 от Apple



12 мая 2021, Москва: Selectel, провайдер облачной инфраструктуры и услуг дата-центров, объявил о расширении линейки выделенных серверов, доступных для аренды. Компания первой среди российских IaaS-провайдеров предложила для заказа конфигурации на базе одноплатных ПК: Mac mini c чипом M1, а также новый бюджетный вариант размещения на базе Raspberry Pi 4B.

Клиенты Selectel получат доступ к следующим технологическим и бизнес-преимуществам новых решений:
  • С помощью аренды сервера с macOS на M1 DevOps-инженеры и разработчики смогут улучшить CI/CD-процессы, создавать и отлаживать ПО для macOS и iOS, полностью делегируя вопросы по организации инфраструктуры и сетевой доступности облачному провайдеру.
  • Аренда сервера с Raspberry Pi 4B — самый бюджетный вариант выделенного сервера у Selectel (стоимость аренды составляет 499 руб/мес). Конфигурация подойдет компаниям и физическим лицам, для которых важно размещение на выделенном сервере, но в рамках определенного бюджета. При этом они смогут воспользоваться всеми преимуществами выделенных серверов Selectel, включая услуги технической поддержки 24/7 и возможность помесячной аренды.
Мы рады первыми среди российских провайдеров предложить услуги по аренде серверов на базе одноплатных ПК — две новые конфигурации под разные бизнес-задачи. Selectel стремится постоянно дополнять продуктовую линейку новейшими технологическими решениями, при этом фокусируясь на потребностях различных категорий заказчиков
отметил Константин Ансимов, директор по развитию выделенных серверов и оборудования, Selectel.

Клиенты Selectel — это и крупные компании, и малый бизнес, поэтому для нас важно предложить решения в различных ценовых сегментах. Так, например, аренда сервера на базе Raspberry Pi 4B — уникальная для российского рынка конфигурация с точки зрения сочетания технологических преимуществ платформы и ее стоимости
добавил Константин Ансимов.

Получить подробную информацию о доступных конфигурациях и оставить заявку на сборку сервера можно на сайте Selectel.

MSK-тарифы: новый промо за 79р/мес, локальная сеть до 10 Гбитс и burst до 10 Гбит/с!



MSK-тарифы: новый промо за 79р/мес, локальная сеть до 10 Гбитс и burst до 10 Гбит/с!

С гордостью сообщаем об обновлении всех MSK-тарифов, все новые серверы теперь выдаются на базе процессоров Intel Xeon W-3275M с частотой до 4.6 ГГц, предоставляется публичная сеть 500 Мбит/с с burst до 10 Гбит/с, а также безлимитная локальная сеть 10 Гбит/с.

Все серверы размещаются в лучшем ЦОДе СНГ — ММТС-9, что гарантирует максимальную надежность и минимальный пинг по всему миру.

Новый MSK-PROMO:
1 ядро
512МБ ОЗУ
20ГБ NVMe SSD
200Mbit/s публичная и локальная сеть
AntiDDoS Game
79р/месяц

Активация серверов автоматическая, в течение 120 секунд после момента оплаты.
Доступные ОС: CentOS7/8, Debian8/9/10, Ubuntu18/20, Windows Server 2012/2016/2019, Windows10, Arch Linux, FreeBSD.
Есть возможность установки своей ОС из ISO-образа.

Подробнее: msk.host/products/vds
Оформить заказ: my.msk.host

Самописный антиспам-сервис Gotoh, или как мы боролись за «белизну» IP-адресов



Система антиспама в Selectel до самописного решения
Привет, Хабр! Я Саша Федосеев, младший разработчик Python в Selectel. Несколько лет назад, когда наша компания начала особенно быстро расти, мы столкнулись с проблемой. Нашими ресурсами начали интересоваться всякие недобросовестные спамеры из жарких стран. У нас есть довольно бюджетные конфигурации виртуалок, а что им еще для счастья надо.

Почему мы решили с ними бороться? Ну, рассылается почта с аккаунтов, что тут такого… Однако с точки зрения облачного провайдера есть причины, почему все-таки стоит пресекать «размножение» спамеров.

Зачем бороться со спамерами
Они портят белые IP-адреса

Чтобы рассылать какую-то почту вовне, необходимо, чтобы виртуалка имела IP-адрес. Белые «айпишники» — достаточно ограниченный ресурс, поэтому нам важно понимать, что их занимают порядочные пользователи, а не спамеры. Последние провоцируют бан IP со стороны крупных email-сервисов: «айпишник» попадает в черный список, и мы даже не всегда можем это понять. Только тогда, когда передаем такой IP другому клиенту, которому нужно рассылать почту, а он в итоге не может этого делать. Выводить IP из бана — достаточно непростой процесс, поэтому лучше просто туда не попадать.

Эффект шумного соседа
Спамеры нередко разворачивают много спам-машин. И пользователи, которым не повезло находиться на том же хосте виртуализации, могут пострадать. Это неприятно.

Занимают IP-адрес и процессорное время
Зачем Selectel такие клиенты, если на их месте могут быть хорошие пользователи, которые заинтересованы в качестве наших услуг и тратят мощности на развитие своего бизнеса?

Репутационные проблемы
Ни одному провайдеру не понравится, если про него будут говорить, что у него развелись спамеры и он этим промышляет.

Как было раньше
С самого начала антиспам был ручной: проблемой занимались сотрудники технической поддержки, которые разбирали каждый инцидент. Техническая поддержка тащила на себе весь этот груз. Кроме того, администраторы периодически просматривали регистрации, чтобы убедиться, что 10 аккаунтов зарегистрировал не спамер и это просто стечение обстоятельств: 10 разных пользователей зарегистрировались в одно время.

Понятно, что такая система довольно неэффективна. Во-первых, между определением спамера и его баном проходит непозволительно долгая задержка. Во-вторых, сотрудники техподдержки могут тратить свое рабочее время более рационально. Поэтому мы начали искать другие варианты.

Возможные пути решения проблемы
Регистрация по документам
Так мы бы отпугнули спамеров, но существенно осложнили бы онбординг для добропорядочных клиентов. Кроме того, сотрудникам техподдержки пришлось бы просматривать каждую регистрацию. Кажется, не самая приятная работа. Да и наличие некоего jpg-файла не является гарантией существования реального документа.

Итог: решили не устраивать «paper, please» и отказались от этого варианта.

Закрыть возможность отправки почты для клиентов
Можно было предупреждать всех клиентов, что мы не поддерживаем отправку почты от слова совсем. Но, пожалуй, это было бы странно. Пользователи, которые не рассылают спам, лишились бы стандартных и привычных функций. Не смогли бы даже рабочую почтовую переписку вести и точно грустили бы из-за этого.

Итог: мы не хотели лишать клиентов каких-то очевидно необходимых возможностей и заставлять их искать решения «на стороне».

Создать Gateway для отправки почты
В целом, Gateway для почты — это сервер, через который проходят все письма. Он способен анализировать почту и выносить решение, является ли то или иное письмо спамом. В случае провайдера инфраструктуры, такого как Selectel, было бы правильным оформить это как сервис. Но такое решение требует отдельной команды разработчиков, постоянной поддержки и развития.

Итог: создание такой услуги не было в планах компании на момент решения.

Воспользоваться сторонним сервисом
Такой вариант мы тоже рассматривали, но нашли не один аргумент против. Во-первых, интеграция со сторонним сервисом — нетривиальная техническая задача. Во-вторых, мы бы поставили себя в ситуацию, когда мы зависим от какого-то внешнего сервиса. Наконец, это бы повысило ценник на наши услуги, ведь нам бы пришлось учитывать стоимость внешнего сервиса. А делать это не хотелось бы, конечно.

Итог: использование внешнего сервиса могло повлиять на стоимость наших услуг, мы же не могли на это пойти.

В общем, все перечисленные варианты мы отмели, поэтому решили делать собственную систему антиспама.

50 оттенков спамера
Если мы хотим самостоятельно выявлять спамеров среди пользователей, нам нужно определить, по каким критериям это делать.

Стоит обратить внимание на поведенческие особенности пользователя и проанализировать трафик:
  • → дата регистрации аккаунта. Если он зарегистрирован 5 минут назад, а уже попал в поле зрения антиспама, велика вероятность, что акк создан исключительно для спам-целей.
  • → название почты. Все мы называем почтовые адреса так, чтобы в названии был какой-то смысл (название компании или фамилия отправителя). Если название невнятное и выглядит подозрительно, это вполне весомый довод в пользу бана.
  • → платежное средство. Если это одноразовая карта или PayPal, то такой аккаунт тоже подозрителен.
  • → геолокация IP-адреса при регистрации. Подавляющее количество клиентов Selectel – из России и стран СНГ. Если очередной пользователь зарегистрировался в солнечной Бразилии или Марокко (из этих стран традиционно больше всего спамеров), это повод для беспокойства. Можно также сверить код страны и номер телефона с информацией, полученной от геолокации IP-адреса.
  • → имя пользователя. Если имя пользователя выглядит так, как будто он рандомно прошелся пальцами по клавиатуре, это подозрительно, согласитесь.

Добавлю, что анализ трафика на уровне L7 мы сразу отмели. Ведь это бы означало, что нам надо открывать каждый email и «читать», что в нем. Такой подход, возможно, могла себе позволить крупная и влиятельная компания типа Google, настроив семантических анализ содержимого почты и обложившись NDA и юристами. Но нам такой вариант не подходит.

А вот с информацией на уровне L4 уже можно работать: она обезличенная и выражается в нескольких метриках. Здесь мы можем посмотреть на количество адресов, на которое рассылается почта с наших IP-адресов, и на размер переданной информации. Логично, что у спамеров обычно очень большая база адресов, на которые они отправляют письма.

В итоге мы решили, что комплекса всех этих критериев достаточно, чтобы делать достаточно аргументированное решение, спамер перед нами или нет.

Концепция решения
Рейтинг аккаунтов
Мы решили автоматизировать процесс оценки пользователей на основе перечисленных критериев — по модели рейтинга, своеобразного «индекса доверия». Мы не читаем почту, но взвешиваем конверты и анализируем метрики публичного трафика, который выходит из облака.

Как это работает. С самого начала, когда пользователь регистрируется, ему присваивается максимально возможный рейтинг, равный 100 баллам. Изначально мы всем доверяем и считаем, что все наши клиенты будут нормально работать, а не рассылать спам.


Дальше пользователь проходит цепочку проверок. Каждая проваленная проверка отразится на итоговом рейтинге пользователя в виде штрафов. Их размер мы установили исходя из опыта «общения» со спамерами.

В первую очередь мы обычно обращаем внимание на геолокацию IP-адреса: соответствует ли он стране, откуда приходит большинство спамеров. У нас есть список таких стран, который мы периодически пополняем. Затем «прогоняем» нового пользователя через остальные фильтры, о которых я упоминал выше. В итоге у нас есть финальная оценка аккаунта, который мы сохраняем для дальнейшего использования в сервисе антиспама.

Взвешивание конвертов и просмотр IP-адресов
Наше сетевое оборудование умеет выдавать метрики публичного трафика по протоколу Netflow. Среди них — SMTP-пакеты, SMTP-байты, количество SMTP-потоков и количество IP-адресов для каждого адреса-источника. Все эти метрики мы соберем в Netflow Collector. Последний их немного отформатирует для более удобного использования, а дальше с помощью вспомогательных сервисов, которые называются NetClick fetchers, они попадут уже в Clickhouse для дальнейшего использования в антиспаме.

Gotoh

У разработчиков Selectel есть небольшая традиция: самописные сервисы мы называем именами персонажей из вселенной Hunter х Hunter. Отсюда такое название — в честь героя манги Гото.

Антиспам состоит из двух частей и написан на Go. Первая часть сервиса называется Gotoh-fetcher. Он занимается тем, что забирает данные упомянутых метрик трафика, попадающих к нам по Netflow в несколько Clickhouse readers. Эти данные идут на обработку в ядро Gotoh-fetcher. Там они форматируются в более удобный формат и отправляются в Redis writer для дальнейшей записи. На этом работа Gotoh-fetcher заканчивается.


Дальше к работе приступает Gotoh-inspector, который соответствует своему названию. Он выполняет роль принимателя решений, судьи. Куда обращается Gotoh-inspector? Он обращается к Redis за данными, которые были получены от Gotoh-fetcher.

После получения данных наш «инспектор» начинает хождение по проверкам. Во-первых, он посмотрит, превышен ли лимит по какой-либо метрике. Если нет, то дальнейшая проверка не имеет смысла — Gotoh-inspector исключает эту часть данных из рассмотрения.


Если превышение лимитов есть хотя бы по одной метрике, то мы сначала посмотрим, есть ли у клиента тег доверенного. Он был специально введен для того, чтобы разделить спамеров и пользователей, которые рассылают нормальную почту, просто в больших количествах. Тег доверенного у пользователя может появиться только после разговора со специалистами Selectel.

Мы должны убедиться, что мы имеем дело с человеком из реальной компании, который просто рассылает нормальную деловую почту, просто ее много. Если тег доверенного есть, мы формируем инцидент в Clickhouse и больше не рассматриваем эту часть данных. Но, если у клиента нет тега, мы продолжаем «следствие».

Смотрим на рейтинг, и здесь начинается самое интересное. У скоринга есть две границы. Первая из них – доверительная граница. Если по результатам проверки аккаунту был присвоен хороший рейтинг, то мы просто отправим инцидент в Clickhouse и забудем про него. В целом, с пользователем с хорошим скорингом больше делать нечего.

Если скоринг меньше доверительной границы, дальше мы смотрим, далеко ли до границы бана. Две границы нужны для более справедливой оценки. Если скоринг хороший, тогда мы не будем банить пользователя, если же рейтинг вызывает вопросы, мы посмотрим на количество инцидентов, связанных с данным аккаунтом.

Если аккаунт попадает в промежуточную зону, когда его рейтинг меньше доверительной границы, но больше границы бана, система отправит алерт в чат дежурным. Они, в свою очередь, в ручном режиме посмотрят, рассылается ли с аккаунта или виртуалки спам.

Если же рейтинг не дотягивает даже границы бана, то тут совсем все просто: аккаунт попадает в бан, потому что у нас есть достаточно оснований полагать, что перед нами нарушитель.

Результат
Так мы создали нашу нехитрую систему антиспама. Возникает вопрос: стало ли лучше?

На картинке выше – количество алертов с момента начала запуска этого сервиса в начале 2020 года. Количество алертов в пике составляло больше 60 000.

При ручном антиспаме мы просто не могли обрабатывать такое количество информации — большое количество данных проходило мимо нас. А теперь мы уже можем как-то работать с этими данными, анализировать их.

Мы посмотрели общее количество алертов, прилетающих по всем четырем метрикам трафика, которые мы анализировали. Давайте посмотрим на график по каждой метрике.

Количество пересылаемых байт


Это самая многочисленная по количеству алертов метрика. И вообще, этот график довольно схож с предыдущим, потому что эти алерты практически полностью формируют картину спам-алертов. Тут логика простая: чем больше почты рассылается с аккаунта, тем быстрее он попадает в поле зрения антиспама и тем больше по нему будет сформировано алертов.

Количество SMTP-пакетов


Между этой метрикой и предыдущей есть связь. Но почему мы анализируем количество байт и пакетов по отдельности? Потому что были случаи, когда по аккаунту формировался алерт по количеству пакетов, но не по количеству байт. Например, спам-аккаунт рассылает много мелких писем, каждое из которых улетает в отдельном пакете, — в таком случае формируется алерт именно по количеству пакетов.

Количество IP-адресов назначения


Этот график непросто анализировать, но он может стать дополнительным источником информации. На каждом аккаунт рассылка спама организована по-разному: кто-то отправляет IP на 10 или 100 разных адресов, а кто-то отправляет на 10 фиксированных и не попадает в поле зрения антиспама по этой метрике.

Количество SMTP-потоков, открытых одновременно


Самая «непопулярная» метрика — алерты по ней прилетают нечасто. Если на предыдущих иллюстрациях на шкале Y были тысячи, то здесь это сотни. Тут, видимо, спамеры все-таки перестраховываются и не рассылают почту с большого количества открытых соединений. Несмотря на то, что график не репрезентативен, на первый взгляд, на самом деле, он помогает лучше понять, как может быть организована отправка спама.

Заключение
Безусловно, эта система может быть более совершенной, и мы планируем улучшать ее в дальнейшем. Но сейчас он достаточно эффективно показывает себя в работе.

Например, мы еще ни разу не забанили добропорядочного пользователя. А если такое все же произойдет (ну, вдруг у кого-то университетский проект связан с почтовыми рассылками), то все обратимо. Если вы видите, что ваш аккаунт в Selectel забанен (в личном кабинете будет указана причина блокировки), просто напишите в техподдержку. Мы посмотрим, что повлияло на снижение рейтинга и как вам избежать этого в дальнейшем. Это не пожизненный бан.