Опыт Skyeng: тестовая среда в Яндекс.Облаке

О Skyeng
Skyeng — крупнейшая российская онлайн-школа английского языка, входящая в топ-20 IT-компаний России по версии Forbes. Со школой сотрудничают 5,8 тысяч высококвалифицированных педагогов, в ней занимается более 64 тысяч учеников, со времени основания проведено уже 5 миллионов уроков. Занятия проводятся на собственной web-платформе Vimbox с использованием технологий искусственного интеллекта и Big Data: она обеспечивает видеосвязь между студентом и преподавателем, а также хранит весь образовательный контент. За обучение «на ходу» отвечает мобильное приложение Skyeng.


Большая часть решений, используемых школой, разработаны внутри компании. Это связано с инновационностью Skyeng: аналогов просто нет. Однако, по словам Артёма Науменко, руководителя IT-инфраструктуры компании, «изобретать велосипеды» в школе не принято. «Если то, что нам нужно, уже есть и его можно купить, мы купим, а силы потратим на разработку своего продукта, — говорит специалист. — В частности, если мы находим облачный сервис, предлагающий нужную нам функциональность, мы всегда его тестируем, и если все хорошо, то покупаем и пользуемся». Одним из таких нужных сервисов стала платформа Яндекс.Облако.

Проблема: дисковый кредит и низкая скорость
Разработкой решений для экосистемы школы занимается более 80 программистов. У каждого разработчика есть своя облачная копия всей обучающей платформы. Типичный тестовый сервер — 2 ядра CPU, 8 ГБ RAM, 50 ГБ SSD.

Раньше все эти серверы располагались в Amazon Web Services (инстанс типа t2.medium в регионе eu-central-1). «Долгое время нас всё устраивало, — говорит Артём Науменко. — У Amazon удобный сервис RDS, предоставляющий возможность работать с такими СУБД, как MySQL и PostgreSQL, а также облачный Elasticsearch. Собственно, наши рабочие серверы с высокими требованиями к отказоустойчивости по-прежнему остаются там. Но вот с тестовыми серверами возникли определённые проблемы».

Архитектура информационной системы Skyeng — сервисная. «Сейчас у нас порядка 50 сервисов, — рассказывает Артём Науменко, — их число растёт, от серверов требуется все больше ресурсов, мы начали упираться в дисковый кредит — количество операций с диском за час. Разработчики страдали». Тарифный план представлял каждому серверу 3 IOPS/ГБ, т. е. всего 150 операций с диском в секунду.

У AWS нельзя изменить параметры дискового кредита, не увеличив объём самого SSD. А переход на инстансы типа C без дисковых кредитов выливается в двукратное увеличение цены.

Некоторые проблемы создавал довольно большой пинг до европейских серверов. «У нас почти все разработчики работают удалённо, — говорит Артём Науменко. — Средний пинг до серверов составлял 100 мс, из Москвы — 50 мс. При использовании удалённого xdebug задержки ощущались».

«Когда узнали, что Яндекс предлагает такие же серверы на 30% дешевле и без ограничения по дисковым операциям, конечно, захотели попробовать», — делится Артём Науменко.

Решение в Яндекс.Облаке
Поскольку на момент переезда Яндекс.Облако только запустилось, среди доступных сервисов было только два подходящих: Managed Service for PostgreSQL и Сompute Сloud. «Но первое нам не подошло, потому что у Яндекс.Облаке десятая версия PostgreSQL, а у нас 9.6, — говорит Артём Науменко. — Решили вручную поднимать базы и Elasticsearch».


Пинг до Москвы уменьшился до 5 мс, средний — до 50, что значительно облегчило разработчикам использование пошагового дебага.

Появилась возможность менять отдельные параметры сервера. «У нас могут быть разные запросы, не только по диску, — рассказывает Артём Науменко. — Например, для каких-то задач может потребоваться увеличить память. В AWS при этом нужно было добавлять ещё и производительность CPU, в Яндекс.Облаке мы можем получить ровно то, что нам необходимо».

Результат: быстрый «переезд» и экономия
Процесс переноса серверов занял около месяца:

• Подняли базы данных PostgreSQL, MySQL, Elasticsearch;
• Сделали образ одного сервера разработчика (тестинга);
• С помощью Terraform размножили этот тестинг на 70 разработчиков;
• Залили 70 копий баз данных во все базы.

Сейчас в Яндекс.Облаке у Skyeng уже 86 виртуальных машин и отдельные серверы с PostgreSQL, MySQL, Elasticsearch, Prometheus и VPN шлюз.

«За счет переезда в Яндекс.Облако мы экономим около 60 тысяч рублей в месяц по сравнению с тем, что у нас было, — говорит Артём Науменко. — Если же сравнить с инстансами type C, то получится 200-300 тысяч. К концу года, с учётом планируемого расширения штата разработчиков, мы полностью окупим затраты на перенос».


Артём Науменко, руководитель IT-инфраструктуры компании Skyeng. Выступление на конференции cloud up!

Специалист отмечает, что пока в Яндекс.Облаке не так много сервисов, но их количество быстро растёт: на днях появился сервис управляемой базы данных MySQL. «Если картина с отсутствием отказов и даунтаймов сохранится, вполне возможно, что в будущем попробуем перенести в Яндекс.Облако что-то более требовательное к надежности», — заключает Артём Науменко.