Антон Алексеев

Авито · Senior MLOps / SRE · 08.2025 - н.в.

• 15→60% утилизация GPU
• >10k RPS
• дни→минуты вывод модели в прод
• 2× меньше ресурсов на пайплайны

• Поднял утилизацию GPU с ~15% до ~60% на ML-платформе Kubeflow (~1000 активных пользователей в месяц, сотни GPU Ampere, Hopper и Blackwell): шеринг GPU через Kueue с квотами команд и вытеснением с чекпоинтом, topology-aware scheduling для HGX по NVLink и InfiniBand, DRA, дашборды утилизации на DCGM.
• Сократил вывод модели в прод с дней до минут: спроектировал и разрабатываю inference-платформу на KServe (Knative и Standard) для ML и LLM в геораспределённом кластере, больше 10 тыс. RPS.
• Запустил распределённый LLM-инференс на стеке llm-d с vLLM и SGLang: DP/TP/PP, дезагрегация prefill/decode с распределённым KV-cache, маршрутизация через Gateway API Inference Extension (InferencePool, EPP). Подбирал параметры Triton, vLLM и SGLang нагрузочными тестами в AIPerf.
• Масштабировали платформу до ~70 тыс. ранов пайплайнов и до 3 тыс. запусков распределённого обучения в месяц при 3000+ namespace.
• Снизили в 2 раза расход ресурсов Kubernetes на пайплайны: доработки Kubeflow Pipelines командой с отправкой в апстрим; интеграция Vault в платформу.

Яндекс Практикум · программный эксперт курса «MLOps для разработки и мониторинга моделей» (part-time) · 07.2025 - н.в.

• 10 модулей
• 5+ авторов

• Собрал программу из 10 модулей, писал ТЗ и ревьюил материалы команды из 5+ авторов, спроектировал инфраструктуру курса и оптимизировал облачные затраты на студента.

Selectel · MLOps Engineer · 12.2022 - 08.2025

• 8 ч→24 мин развёртывание платформы клиенту

• Сократил развёртывание ML-платформы клиенту с 8 часов до 24 минут: платформа по требованию на Kubernetes (ClearML, JupyterHub, Keycloak, Istio), Terraform и GitLab CI вместо ручных шагов.
• Построил inference-платформу на Triton для клиентов облака вместо Seldon Core: canary, автоскейлинг, scale to zero, кеш весов.
• Провёл R&D шеринга GPU (MIG, TimeSlicing, MPS, динамический MIG) и внедрил автоматическую разметку MIG и TimeSlicing в ML-платформу, запустил маркетплейс образов с CUDA.
• Подбирал инфраструктуру под LLM: расчёт VRAM, выбор GPU, нагрузочные тесты, сравнение vLLM и SGLang, квантизация.

Газпром нефть · Software Engineer → R&D Engineer → DevOps Engineer · 02.2019 - 12.2022

• Перевёл on-prem инфраструктуру двух регионов (OpenStack, Proxmox) на IaC: Terraform, Ansible, GitLab CI; развернул JupyterHub для DS-команды.
• Разрабатывал прогнозные модели (CatBoost) и IIoT-сервисы диагностики оборудования (MQTT, Kafka).

Независимый консультант · 02.2025 - н.в.

• 20+ консультаций

• 20+ индивидуальных консультаций по ML-инфраструктуре на getMentor: архитектура ML-платформ, GPU в Kubernetes, подбор инфраструктуры под LLM.
• Банк (консалтинг и заказная разработка): развернул ML-платформу на серверах банка Helm-чартами (ClearML, Feast, JupyterHub, KServe) и собрал автоматический пайплайн обучения и выкатки модели оттока.