EN

Антон Алексеев · ML-инфраструктура

Делаю так, чтобы GPU не простаивали

ML- и inference-платформы на Kubernetes: шеринг GPU, скедулинг, автоскейлинг инференса.

Антон Алексеев, MLOps-инженер. Строю ML-платформу на 1000+ пользователей и инференс для ML и LLM в крупном сервисе объявлений, до этого делал ML-платформу и инференс в облачном провайдере. Программный эксперт курса по MLOps в Яндекс Практикуме, спикер HighLoad++, DevOops и PyCon.

Написать в Telegram

Что я решаю

Запустить модель через docker run можно за вечер. А дальше её надо держать под нагрузкой, делить GPU с другими командами, обновлять без простоя и не спалить бюджет. Вот этим я и занимаюсь.

DAY 0 · ПРОЕКТИРОВАНИЕ

Какое железо и как делить

  • Подбираю инфраструктуру под LLM: память, KV-кэш, точность, модель GPU.
  • Шеринг GPU под тип нагрузки: MIG, MPS, time-slicing, HAMi.
  • Квоты и приоритеты для команд: кто кого может вытеснить.
Шаги в роадмапе →

DAY 1 · ЗАПУСК

Платформа, а не скрипты

  • ML-платформа: команды сами запускают ноутбуки, пайплайны и обучение.
  • Inference-платформа на KServe, Triton и vLLM: модель деплоится без тикета.
  • IaC и GitOps: кластер пересоздаётся одной командой.
Шаги в роадмапе →

DAY 2 · ЭКСПЛУАТАЦИЯ

То, что ломается после запуска

  • Автоскейлинг по очереди и concurrency, а не по CPU: под vLLM процессор спит, пока GPU загружен на 95%.
  • Холодный старт: веса и образы на десятки гигабайт, реплика поднимается минутами.
  • Утилизация и fair share: приоритеты, вытеснение, квоты, чтобы research не съел прод.
  • Наблюдаемость по MIG-слайсам и SLO на TTFT, а не «под живой».
  • Обновляю драйверы, CUDA и модели без даунтайма.
Шаги в роадмапе →

Нужна своя нейросеть в компании? Подбор инфраструктуры и запуск под ключ →

5%Средняя утилизация GPU в продакшен-кластерах Kubernetes по отчёту Cast AI за 2026 год. За простаивающую карту платят как за загруженную.cast.ai ↗

Кейсы

Что я строил и что это дало. Цифры «было → стало» из реальных проектов.

крупный сервис объявленийинференс

Inference-платформа на KServe для ML и LLM

дни→минуты

от модели в registry до прода, вместо веб-сервиса в PaaS с бизнес-логикой

>10 тыс. RPSгеораспределённый кластерprefill/decode

банкNDA

ML-платформа on-prem на ClearML

Helm → прод

платформа на серверах банка и модель оттока с автообучением и выкаткой

getMentorконсультации

20+ индивидуальных консультаций

Антон не просто разбирается - он практикующий профессионал, и его ответы основаны на непосредственной практике.

George
Записаться на getMentor ↗
Все кейсы →

Роадмапы

Day 0 → Day 2

Продакшен ML-платформа

Одиннадцать шагов от первой GPU в кластере до платформы, где команды сами обучают и деплоят модели.

Открыть →карьерный трек

Кто такой MLOps-инженер

Карта навыков на стыке ML, разработки и эксплуатации. Оцени себя и скачай план, что изучать.

Открыть →

Журнал

Заметка

Роадмап MLOps: уровни и свой трек обучения

Обновил интерактивный роадмап для MLOps-инженера: теперь можно собрать персональный трек изучения по уровням Junior, Middle и Senior, получить рекомендации по проектам и выгрузить план в JSON или Markdown.

ML-платформы · Карьера и комьюнити

Заметка

NVIDIA открыла Run:ai в open source: полная платформа для GPU-кластеров

NVIDIA выложила исходники всей платформы Run:ai под Apache 2.0. Рассказываю, что там внутри: control plane, KAI scheduler с gang scheduling, GPU fractioning с жёсткой изоляцией памяти и инструменты для мультикластер-управления.

Скедулинг и утилизация · ML-платформы

Весь журнал →

Выступления

Все выступления →

Связаться

Проще всего написать в Telegram.

TelegramLinkedIngetMentor

↑↓ выбор · Enter открыть · Esc закрыть