За сценой крупной инфраструктурной компании

Интернет имеет очень специфическую и невосприимчивую работу.
За невероятной легкостью и скоростью, которые вы чувствуете, когда вы запрашиваете физический или виртуальный сервер в нескольких кликах, ничто не является виртуальным.

В течение примерно 3 месяцев некоторые из наших клиентов были разочарованы, пытаясь приобрести новые серверы BareMetal Dedibox, особенно в наших семействах серверов среднего и высокого уровня, PRO & WOPR: ни один из них не был доступен, поскольку мы, к сожалению, отсутствовали на складе Эти предложения.

Наше планирование потенциала повлияло на ряд неожиданных событий и ошибок, которые полностью нарушили нашу продукцию. Мы не выполнили наши задачи по предоставлению нашей инфраструктуры по требованию наших клиентов и полностью осознаем нашу ответственность в этом случае. Это второй раз, когда мы сталкиваемся с этой ситуацией через двенадцать лет.

В этом блоге мы постараемся быть прозрачными, объясним проблемы, с которыми мы столкнулись, чтобы поддержать наш рост и причины этой очень неловкой ситуации.

0 Немного истории
Двенадцать лет назад мы определили как оседлый принцип освоения 100% технологий, стоящих за нашей работой. Наша цель состояла в том, чтобы контролировать всю нашу инфраструктуру и избегать любых компромиссов для ваших ценных данных.

В 2006 году, когда мы начали свою деятельность в сфере промышленного хостинга, мы решили контролировать весь производственный трубопровод. Мы приняли это решение по двум основным причинам: обеспечить высококачественные услуги, контролируемые от начала до конца, и предложить нашим клиентам наилучшую реакционную способность.


С тех пор наши команды проектируют, строят и эксплуатируют наши собственные центры обработки данных. Мы используем нашу собственную европейскую оптоволоконную сеть для подключения наших центров обработки данных. Большая часть наших продуктов разработана внутри компании Online Labs и производится на нашей фабрике Laval. Оставшаяся часть исходит от известных поставщиков оборудования: Dell, Quanta Computing, HP или Supermicro.

Мы управляем крупномасштабными промышленными инфраструктурами с критическими ограничениями качества. Наши ежедневные единицы — гектары, мегаватты, экзабайты, килонетоны, Tb / s. Мы являемся одним из крупнейших компьютерных сборщиков в Европе и находимся в топ-10 [1] крупнейшего поставщика инфраструктуры.

В Интернете 150 человек работают для вас каждый день. Представлено 19 различных рабочих мест: от инженеров-холодильников, инженеров электроники, специалистов по поддержке до разработчиков на низком уровне, которые делают невероятные вещи каждый день, чтобы вы могли создавать и управлять своей инфраструктурой за считанные секунды.

1 сервер Dedibox — это потрясающий успех
Удивительный рост
Уже несколько лет мы наблюдаем значительную мутацию в крупных хостинг-провайдерах.
Многолетние игроки все больше сосредотачиваются на облачных продуктах с высокой маржой и отказываются от рынка BareMetal, который обеспечивает меньшую маржу и требует больших финансовых вложений.

Новые продукты производителей менее привлекательны, чем раньше, цены на ЦП растут, и рынок DRAM & NAND сталкивается с беспрецедентным кризисом, который ускоряет это преобразование рынка.

Сегодня мы являемся единственным поставщиком в мире, предлагающим последние конфигурации серверов в больших объемах менее чем за € 20 в месяц. Наши отпускные цены всегда были чрезвычайно конкурентоспособными и предлагали лучшее соотношение цены и качества на рынке.

Следовательно, мы столкнулись с невероятным ростом, в четыре раза превышающим наши прогнозы, во всех наших семействах продуктов и особенно в наших серверах среднего и высокого уровня.

2 — масштабирование центров обработки данных
Больше продаж также означает большее пространство для центров обработки данных

DC2, DC3, DC4, DC5

Амстердам
В июне 2016 года мы объявили о нашем первом объекте за пределами Франции в Амстердаме. Спрос на AMS1 был потрясающим, и в течение недели мы были в наличии. С тех пор мы предложили столько серверов, сколько могли, но недостаточно быстро, чтобы удовлетворить все требования. Теперь мы достигли полной сети и мощности.

Чтобы увеличить пропускную способность нашего объекта в Амстердаме, мы выполняем следующие операции:

• Мы приобрели 5x новых 100Gbit / s связей между нашей основной сетью в Париже DC3 и Amsterdam AMS1, чтобы удовлетворить наш рост в течение следующих месяцев. Но в то же время наш поставщик ссылок обновил все сетевое оборудование и на него повлияли многочисленные проблемы на их европейских оптических волокнах. Последний выпуск произошел 3 июля 2017 года, когда в Бельгии было уничтожено пять оптических волокон. Эти инциденты задерживают наше развертывание дополнительных мощностей.
• Мы обновим нашу магистраль в AMS1 двумя Cisco ASR9910, чтобы предложить зону высокой доступности и увеличить плотность восходящих линий 100 Гбит / с. Но некоторые проблемы с документами добавляют дополнительные задержки для развертывания.

Амстердамская магистраль Август 2016 года

Сегодня ситуация в Амстердаме начинает стабилизироваться. Мы добавим 350 кВт мощности и 500 Гбит / с дополнительной пропускной способности сети в течение лета для удовлетворения спроса в этом регионе.

Париж
В то же время в Париже мы достигли 100% мощности всех наших центров обработки данных:

• DC4 задерживается несколько раз из-за отсутствия административных полномочий. Мы надеемся, что все разрешения будут утверждены к концу 2017 года. Ядерный осадок для радиоактивных осадков открыт и находится в производстве с 1 июля и в настоящее время предназначен для нашей платформы для хранения холода — C14.

DC4 ядерного осадка до / после

• В DC3 мы развернули расширение пропускной способности в сентябре 2016 года, как и ожидалось. Это расширение увеличило мощность, охлаждение и объемную емкость в два раза и должно было поддерживать два года роста. Но через пять недель после открытия все было заполнено из-за огромного спроса, в основном на наши высококачественные услуги.

DC3 до / после

• DC2 заполнена с 2015 года, но мы оптимизируем объект с модернизацией и увеличением плотности в залах данных первого поколения.
• Для удовлетворения постоянно растущего спроса мы приобрели новое здание DC5. Этот сверхпрочный объект обеспечивает исключительные характеристики. Это одна из самых больших инвестиций, которую мы когда-либо делали. Объект предлагает в три раза больше мощности DC3 и является решающим проектом для поддержания нашего роста в течение семи следующих лет. Мы закончили дизайн в декабре 2016 года, и строительство продолжается. DC5 станет одним из крупнейших центров обработки данных в Европе, и в январе 2018 года он будет поставлять до 20,8 МВт чистой ИТ-мощности с целевой PUE 1.1. На прошлой неделе мы открыли первую комнату в DC5 мощностью 250 кВт.

Первая комната DC5

• Мы предоставим мощность в 500 кВт на партнерском объекте в Париже до запуска DC5.

Самая большая проблема в индустрии центров обработки данных — это время. Для проектирования и создания центра обработки данных требуется от двенадцати до восемнадцати месяцев. Мы всегда отвергали идею предоставления дешевых центров обработки данных для поддержания нашего роста, а сокращение расходов, несмотря на то, что наши клиенты никогда не были выбором. Это решение было признано сертификатом, предоставленным Институтом Uptime Institute в 2014 году.

Все наши прогнозы были превзойдены, всего за несколько лет мы заполнили более 8500 стендов и 42 тыс. Кв. М пространства для центров обработки данных. С DC5 мы планируем сделать один шаг вперед и поддерживать наш рост на среднесрочный период.

3 — Аппаратный сбой

Еще в феврале 2017 года мы были предупреждены одним из наших поставщиков об ошибке относительно компонента, используемого на некоторых наших серверах начального уровня (Dedibox SC 2016, Dedibox XC 2016, Dedibox XC 2015, Scaleway C2S, C2M, C2L, VC1S, VC1M, VC1L). Эта ошибка влияет на компонент за счет сокращения его продолжительности жизни с ускоренной скоростью. На данный момент мы не видим каких-либо происшествий для этой ошибки в наших центрах обработки данных. С тех пор наш поставщик полностью прекратил производство этого компонента. Сейчас мы ожидаем поставки обновленного и фиксированного компонента для продолжения нашего производства. В настоящее время он вызывает проблемы с запасами на серверах, перечисленных выше.

В то же время команда Online Labs работала над выпуском ранее наших продуктов 2018 года. Мы смогли ускорить разработку этих новых серверов, и теперь они готовы к производству.
Наша фабрика во Франции в настоящее время начинает производство электронных плат для наших серверов следующего поколения. Мы планируем развернуть эти новые серверы в наших центрах обработки данных в октябре.

4 — Влияние кризиса на рынок DRAM и NAND

Больше продаж также означает больше ОЗУ и SSD на неустойчивом рынке.

В октябре 2016 года мы столкнулись с серьезной проблемой с одним из наших поставщиков компонентов. Цены на диски RAM и SSD повысились неделю за неделей, сроки доставки больше не гарантировались, что начало нарушать наш производственный трубопровод. В настоящее время ситуация хуже, чем мы ожидали. Более того, вспышка цен, проблема в том, что мы даже не знаем, когда и если мы получим все SSD и ОЗУ, которые мы заказываем.

Чтобы минимизировать затраты и улучшить наше время выхода на рынок, мы используем стратегию бережливого производства. Эта стратегия позволяет нам быстро перемещаться и часто обновлять наше оборудование. Этот метод дает много преимуществ, кроме случаев, когда такой сценарий происходит. Сегодня ситуация по-прежнему сложная, но мы адаптируем нашу цепочку поставок к ситуации, даже если у нас нет видимости на сроках поставки наших поставщиков. Мы продолжаем получать то, что мы заказываем, но время доставки действительно неустойчиво и может быть отложено более трех месяцев. В качестве иллюстрации мы частично получаем заказы, которые мы сделали 6 месяцев назад.

С мая мы пытаемся защитить наши SSD, жесткие диски и запасные части RAM, чтобы удовлетворить спрос в ближайшие месяцы, и теперь работаем с тремя разными производителями, чтобы получить решение для резервного копирования в случае проблем с доставкой. Все наши усилия по-прежнему недостаточны для удовлетворения спроса на рынке. Наша команда цепочки поставок делает магию каждый день, чтобы улучшить ситуацию, которая по-прежнему актуальна.

5 — Недостаток IPv4

Больше продаж также означает больше IPv4

Ничто не быстрее скорости света… кроме, может быть, роста скорости использования нашего ресурса IPv4. Как вы, наверное, знаете, существует нехватка адресов IPv4, и получение диапазона IPv4 все более сложным и дорогостоящим. Подобно центрам обработки данных, получение IPv4 является очень жестким моментом масштабирования, если вы не купите их на черном рынке. Большинство доступных диапазонов IPv4 принадлежат правительствам и администрациям, и иметь дело с ними — очень длительный судебный процесс, который может занять до 11 месяцев. Брексит заморозил 12 месяцев переговоров, которые мы завершали. В настоящее время у нас есть 311 238 IPv4. Это адресное пространство используется на уровне 94%. Мы приобретаем три новых / 16 IPv4 диапазона (196 602 IPs), чтобы сохранить здоровый запас в ближайшие месяцы для Online и Scaleway. Мы надеемся завершить это приобретение до конца лета.

6 — Преобразование цепочки поставок

Феникс должен гореть, чтобы появиться. -Janet Fitch

Еще в июле мы решили модернизировать нашу индустриальную цепочку, чтобы увеличить нашу скорость производства с 2500 до 6000 серверов в месяц. Мы перешли с логистической платформы на сайт на уникальную централизованную логистическую платформу для всех сайтов в Париже и Амстердаме.


Логистическая платформа
Наш новый центр цепочки поставок будет полностью запущен к ноябрю и будет массово увеличивать ежедневное производство.

Новая настройка была недооценена и оказала непосредственное влияние на доставку наших серверов в дополнение к другим проблемам. Мы полностью должны были переосмыслить наши процессы и методы, чтобы ослабить производственный процесс, который в настоящее время работает практически на полной производственной мощности. Окончательные корректировки завершаются.

• Наша логистическая платформа была поставлена ​​в феврале 2017 года с задержкой в ​​3 месяца.
• Мы изменили нашу информационную систему в пользу Odoo. Настройка этого нового решения потребовала много изменений в нашей организации и продолжительного периода работы, прежде чем все получилось хорошо.
• Мы централизовали все наши запасы на платформе логистики, которые ранее были разделены между четырьмя объектами. За этот период было передано и инвентаризовано более 200 тонн оборудования.
• Отправка запасных запасов в центры обработки данных заняла больше времени, чем ожидалось, и все еще не полностью функционирует. Эта задержка влияет на нашу систему и успешную команду клиентов в повседневной работе.
• Испытательные стенды для квалификации оборудования после сборки еще не полностью работоспособны и являются результатом узкого места в сроках поставки наших серверов.
• Наша команда по цепочке поставок была недостаточной, и мы не ожидали правильной оценки команды успеха в этой задаче быстрой индустриализации.

Вывод

В 2006 году, когда мы объявили Dedibox, это было реальное землетрясение. Мы развернули и продали 10 тысяч единиц за 10 месяцев. Мы достигли первого достижения компании: полностью заполнены в центре обработки данных DC1 с огромной долей рынка. Все было легко масштабироваться, у нас было только 1 продукт, 1 огромный и пустой центр обработки данных, 1 простая сеть и команда из 6 человек.

Первая проблема, с которой мы столкнулись, заключалась в достижении этой безумной вехи: нам нечего было продавать в течение следующих 22 месяцев, время, необходимое для создания нашего первого центра обработки данных DC2



Этот первый аннулированный период вызвал необратимые убытки в Интернете. В течение этого долгого времени высокий спрос на выделенные серверы, которые мы создали на рынке, были подобраны нашими конкурентами, и нам никогда не удастся догнать, даже 9 лет спустя.

После этого периода мы решили учиться на наших ошибках и изменили все необходимое, чтобы никогда не оказаться в такой ситуации.
Мы переработали наш имидж бренда, нашу техническую помощь, вложили значительные средства в строительство объектов и развернули собственную независимую сеть. Мы сосредоточились на качестве и отказались предоставлять шаткую инфраструктуру и продукты. Этот главный рефакторинг заканчивается успехом, который мы знаем сегодня. В настоящее время мы выращиваем в два раза в два раза каждые два года, и мы обеспечили общий объем наших производственных мощностей в течение семи лет без каких-либо серьезных трудностей.

Следующим шагом будет развитие крупномасштабной индустриализации. Мы ожидали этого в нужное время, но мы столкнулись со многими проблемами в каскаде, чтобы добиться успеха. Мы были немного энтузиастами и недооценивали некоторые детали, реструктурируя то, как мы работаем каждый день. Эта ошибка напрямую повлияла на наши запасы и продажи в последние месяцы.

Наши команды работают каждый день, чтобы делать невероятные вещи и обеспечивать плавный опыт работы с онлайн-сервисами. Хорошей новостью является то, что в сентябре все вернется к норме, и мы не планируем сталкиваться с подобными проблемами в ближайшие годы.

Мы более 150 человек и рассчитываем на 24 часа 24 часа на запуск части Интернета, и, давайте посмотрим правде в глаза, это не так просто масштабировать.

Мы надеемся, что вам понравится наша прозрачность, и мы хотим поблагодарить каждого из вас, кто помогает нам делать замечательные и удивительные вещи своими отзывами и предложениями.

Если у вас есть какие-либо вопросы об этой истории, пожалуйста, оставьте здесь комментарий, мы будем рады ответить вам.



Чтобы поддержать наш рост, в ближайшие месяцы мы будем открывать новые позиции в Париже! Вы уже можете отправить нам свое резюме на работу в сети онлайн-сети