Антон Алексеев, MLOps-инженер: GPU в Kubernetes, инференс, ML-платформы. Роадмапы, выступления и журнал по инфраструктуре для ML.https://ml-infra.pro/ruhttps://ml-infra.pro/journal/2026-06-29-122/https://ml-infra.pro/journal/2026-06-29-122/Вышла текстовая версия доклада с infra.conf 2026 про ML-платформу на Kubeflow. Со ссылками на наши PR в community и манифесты, чтобы воспроизвести платформу у себя.Mon, 29 Jun 2026 08:21:20 GMThttps://habr.com/ru/companies/avito/articles/1050838/https://habr.com/ru/companies/avito/articles/1050838/Как ML-платформа в Авито выросла из DevBox-решений и юнит-платформ разных команд в единую платформу на Kubeflow и с какими проблемами мы столкнулись по пути. Отдельно рассказываю про инференс-платформу и то, как могут выглядеть агентские платформы. Пригодится и тем, кто строит платформы в больших компаниях, и тем, кто работает на DevBox или небольших юнит-платформах.Fri, 26 Jun 2026 00:00:00 GMThttps://ml-infra.pro/journal/2026-06-23-121/https://ml-infra.pro/journal/2026-06-23-121/Speculative decoding от Modal, prefix caching в GKE Inference Gateway, AI-платформа Databricks и Ray на AKS.Tue, 23 Jun 2026 08:09:45 GMThttps://ml-infra.pro/journal/2026-06-17-120/https://ml-infra.pro/journal/2026-06-17-120/Cloud native становится AI native: DRA, Workload API и Inference Gateway, vLLM в Foundry Local, надёжный LLM-инференс в Databricks и serverless GPU от Modal.Wed, 17 Jun 2026 07:49:48 GMThttps://ml-infra.pro/journal/2026-06-11-119/https://ml-infra.pro/journal/2026-06-11-119/Собрали шеринг GPU между ML-инженерами, похожий на Dev Cluster Яндекса, на ванильном Kubernetes + Kueue в Kubeflow. Разбираю, из каких сущностей он состоит.Thu, 11 Jun 2026 10:12:42 GMThttps://ml-infra.pro/journal/2026-06-04-116/https://ml-infra.pro/journal/2026-06-04-116/Как обещал на докладе, ссылки на наши proposal, PR и issue в Kubeflow Pipelines: central driver, оптимизация recurring runs, метрики и диагностика ошибок подов.Thu, 04 Jun 2026 15:41:01 GMThttps://ml-infra.pro/journal/2026-05-25-115/https://ml-infra.pro/journal/2026-05-25-115/4 июня на infra.conf рассказываю, как в Авито строим ML-платформу на Kubeflow: очереди на Kueue, патчи пайплайнов, observability, инференс на KServe и свой model registry.Mon, 25 May 2026 13:12:38 GMThttps://ml-infra.pro/journal/2026-04-22-114/https://ml-infra.pro/journal/2026-04-22-114/Ссылки по темам доклада и запись выступления: подходы к MLOps-платформам, профили Kubeflow, Kueue, Istio Sidecar, распределённое обучение и LLM-инференс в KServe.Wed, 22 Apr 2026 13:03:01 GMThttps://ml-infra.pro/journal/2026-04-21-113/https://ml-infra.pro/journal/2026-04-21-113/Дайджест накануне MLечного пути: апдейты open source serving-проектов, асинхронный инференс через GKE Inference Gateway и DRANET на AKS.Tue, 21 Apr 2026 13:41:55 GMThttps://ml-infra.pro/journal/2026-04-15-112/https://ml-infra.pro/journal/2026-04-15-112/Сложность уже не в том, как поднять модель, а в том, как ей управлять в production: DRANET, Inference Gateway и inference operator от AWS.Wed, 15 Apr 2026 08:05:52 GMThttps://ml-infra.pro/journal/2026-04-14-111/https://ml-infra.pro/journal/2026-04-14-111/Курс «MLOps для разработки и мониторинга моделей» в Яндекс Практикуме с упором на инфраструктуру: я собирал ядро программы и проектировал инфраструктуру курса.Tue, 14 Apr 2026 08:02:31 GMThttps://ml-infra.pro/journal/2026-04-09-110/https://ml-infra.pro/journal/2026-04-09-110/Что уже есть в open source для скедулинга AI-ворклоудов: плагины планировщика с метриками GPU и topology-aware scheduling от NVIDIA.Thu, 09 Apr 2026 10:37:06 GMThttps://ml-infra.pro/journal/2026-04-08-109/https://ml-infra.pro/journal/2026-04-08-109/Запускаю инфраструктурные дайджесты: доставка тяжёлых весов моделей, AI conformance в Kubernetes, мультинодовый инференс на Dynamo и llm-d в CNCF Sandbox.Wed, 08 Apr 2026 07:45:13 GMThttps://ml-infra.pro/journal/2026-04-06-108/https://ml-infra.pro/journal/2026-04-06-108/22 апреля третий раз выступаю на MLечном пути, теперь про платформизацию: путь от DevBox с JupyterLab до централизованной платформы, Kueue, Kubeflow и агентные платформы.Mon, 06 Apr 2026 13:48:19 GMThttps://ml-infra.pro/journal/2026-02-16-105/https://ml-infra.pro/journal/2026-02-16-105/Почему компании идут в платформизацию, как я делю ML-платформы на уровни Data, ML и Inference. И открытый вопрос: нужна ли она вам прямо сейчас.Mon, 16 Feb 2026 14:18:55 GMThttps://ml-infra.pro/journal/2025-12-30-104/https://ml-infra.pro/journal/2025-12-30-104/Подвожу итоги года по трекам: доклады и статьи, менторство и курс по MLOps, жизнь канала и немного личного.Tue, 30 Dec 2025 16:58:23 GMThttps://ml-infra.pro/journal/2025-12-21-101/https://ml-infra.pro/journal/2025-12-21-101/Записали подкаст с Юрой Классеном из Купера: как перейти в MLOps, как выглядит типичный рабочий день, с какими болями сталкиваешься и какие навыки нужны на рынке.Sun, 21 Dec 2025 14:10:43 GMThttps://ml-infra.pro/journal/2025-12-01-98/https://ml-infra.pro/journal/2025-12-01-98/Начинаю серию постов про инференс-платформы с основ: что такое инференс, чем инференс-сервис отличается от веб-сервиса и зачем отделять бизнес-логику от модели.Mon, 01 Dec 2025 15:27:44 GMThttps://ml-infra.pro/journal/2025-11-29-97/https://ml-infra.pro/journal/2025-11-29-97/Завтра жду на карьерном митапе сообщества self и Звук: поговорим про карьеру в ML и MLOps, собеседования в бигтех и трек развития.Sat, 29 Nov 2025 14:50:50 GMThttps://ml-infra.pro/journal/2025-11-29-96/https://ml-infra.pro/journal/2025-11-29-96/Посты стали реже, но контент есть: исследую инференс-платформы для ML и LLM, хожу на митапы в Москве и пишу вторую часть статьи про подбор инфраструктуры для LLM.Sat, 29 Nov 2025 12:55:19 GMThttps://ml-infra.pro/journal/2025-10-04-91/https://ml-infra.pro/journal/2025-10-04-91/Спасибо, что послушали доклад! Выложил в open source лабораторию для подбора инфраструктуры под LLM и делюсь картинками, которые не попали в презентацию.Sat, 04 Oct 2025 10:46:36 GMThttps://ml-infra.pro/journal/2025-09-30-90/https://ml-infra.pro/journal/2025-09-30-90/В субботу рассказываю на «Я про бэкенд», как подбираю инфраструктуру для LLM с GenAI Perf. Новое в докладе: автоматизация подбора через Terraform, vLLM production stack и Argo Workflows.Tue, 30 Sep 2025 17:07:04 GMThttps://ml-infra.pro/journal/2025-09-17-89/https://ml-infra.pro/journal/2025-09-17-89/Все источники к докладу на DevOops в одном сообщении: инференс как веб-сервис, ускорение автоскейлинга, скедулеры для GPU и шеринг видеокарт.Wed, 17 Sep 2025 11:06:24 GMThttps://ml-infra.pro/journal/2025-08-29-88/https://ml-infra.pro/journal/2025-08-29-88/После двух месяцев паузы делюсь планами: пишу курс по MLOps, готовлю доклад про аллокацию GPU-ворклоудов в K8S на DevOops и выпустил первую часть статьи про подбор инфраструктуры для LLM.Fri, 29 Aug 2025 09:20:15 GMThttps://habr.com/ru/companies/selectel/articles/941784/https://habr.com/ru/companies/selectel/articles/941784/Первая часть серии о том, как подобрать инфраструктуру под инференс LLM, когда клиент просит «разверните мне Qwen». Разбираемся, из чего складывается требуемая VRAM (параметры модели, активации, KV-кэш, буферы), как подобрать GPU и запустить базовый инференс. Полезно тем, кто впервые прикидывает железо под LLM.Fri, 29 Aug 2025 00:00:00 GMThttps://ml-infra.pro/journal/2025-06-24-87/https://ml-infra.pro/journal/2025-06-24-87/На канале Evrone вышла запись моего доклада про частную инсталляцию Inference-платформы. Хороший повод вспомнить, как устроена платформа.Tue, 24 Jun 2025 11:16:26 GMThttps://ml-infra.pro/journal/2025-06-06-84/https://ml-infra.pro/journal/2025-06-06-84/Как тензерирование весов ускоряет загрузку модели в GPU при старте vLLM. Внутри замеры на Qwen3-8B и Qwen3-32B и примеры конфигов.Fri, 06 Jun 2025 10:01:36 GMThttps://ml-infra.pro/journal/2025-06-05-83/https://ml-infra.pro/journal/2025-06-05-83/Кеширую веса из HuggingFace в S3 для vLLM. Почему кеш HF не залить как есть и какие есть варианты: rclone, скачивание в локальную папку, тензерирование.Thu, 05 Jun 2025 07:34:42 GMThttps://ml-infra.pro/journal/2025-05-30-79/https://ml-infra.pro/journal/2025-05-30-79/Нас 500! По этому поводу видео с кластером DGX B200 и немного статистики канала: посты, доклады, статьи, консультации и подкасты.Fri, 30 May 2025 07:36:12 GMThttps://ml-infra.pro/journal/2025-05-29-78/https://ml-infra.pro/journal/2025-05-29-78/Материалы к докладу на ODS Data Fest в одном сообщении: инференс на Triton, автоскейлинг и его ускорение, аллокация и шеринг GPU.Thu, 29 May 2025 15:28:01 GMThttps://ml-infra.pro/journal/2025-05-27-76/https://ml-infra.pro/journal/2025-05-27-76/29 мая веду ODS DataFest в Selectel и рассказываю про узкие горлышки автоскейлинга инференса в k8s, шеринг GPU и скедулеры для ML-нагрузок.Tue, 27 May 2025 15:14:20 GMThttps://ml-infra.pro/journal/2025-05-14-75/https://ml-infra.pro/journal/2025-05-14-75/Вспоминаем ML-митап Selectel по статье коллеги-организатора. А если нужна текстовая версия моего доклада про подбор инфраструктуры, ставьте реакции.Wed, 14 May 2025 12:55:29 GMThttps://ml-infra.pro/journal/2025-04-23-74/https://ml-infra.pro/journal/2025-04-23-74/Источники к докладу про подбор инфраструктуры для LLM: оценка VRAM, инференс-фреймворки, конфигурация vLLM и инструменты нагрузочного тестирования.Wed, 23 Apr 2025 15:32:41 GMThttps://ml-infra.pro/journal/2025-04-18-72/https://ml-infra.pro/journal/2025-04-18-72/Потрогал KAI Scheduler, open source планировщик из Run:ai. Разбираю сущности: очереди с квотами, эластичные ворклоуды, приоритеты и шеринг GPU.Fri, 18 Apr 2025 14:20:43 GMThttps://ml-infra.pro/journal/2025-04-17-71/https://ml-infra.pro/journal/2025-04-17-71/Вышла статья-гайд по репозиторию с туториалами по Triton Inference Server: демо платформы, деплой разных форматов моделей и LLM, автоподбор конфигурации и простые UI.Thu, 17 Apr 2025 13:32:16 GMThttps://habr.com/ru/companies/selectel/articles/901358/https://habr.com/ru/companies/selectel/articles/901358/Гайд по репозиторию с рецептами для NVIDIA Triton Inference Server: демо Inference-платформы с автоскейлингом и canary-деплоем, запуск моделей разных форматов и популярных LLM, подбор конфигурации через Model Navigator и Model Analyzer. Пригодится тем, кто собирает собственный инференс на Triton в Kubernetes.Thu, 17 Apr 2025 00:00:00 GMThttps://ml-infra.pro/journal/2025-04-16-70/https://ml-infra.pro/journal/2025-04-16-70/Так называется мой доклад на ML-митапе Selectel 23 апреля. А по картинке можно угадать, в какой франшизе пойдёт рассказ и что я думаю про TensorRT-LLM.Wed, 16 Apr 2025 09:01:19 GMThttps://ml-infra.pro/journal/2025-04-10-66/https://ml-infra.pro/journal/2025-04-10-66/MIG, MPS и TimeSlicing не единственные варианты. Смотрю на альтернативы: HAMi с vGPU и dynamic-mig, DRA и шеринг в KAI Scheduler.Thu, 10 Apr 2025 07:29:02 GMThttps://ml-infra.pro/journal/2025-04-02-65/https://ml-infra.pro/journal/2025-04-02-65/23 апреля веду ML-митап Selectel в Петербурге и рассказываю про подбор инфраструктуры для LLM: GPU под инференс, конфигурация vLLM и SGLang, нагрузочное тестирование.Wed, 02 Apr 2025 11:43:48 GMThttps://ml-infra.pro/journal/2025-03-24-64/https://ml-infra.pro/journal/2025-03-24-64/27 марта в Москве рассказываю про автоскейлинг инференса в K8S: scale to zero и scale from zero, кеширование образов и ускорение пуллинга.Mon, 24 Mar 2025 09:57:00 GMThttps://ml-infra.pro/journal/2025-03-20-63/https://ml-infra.pro/journal/2025-03-20-63/NVIDIA выпустили open source Dynamo для инференса LLM на нескольких GPU с бэкендами vLLM, SGLang, TensorRT-LLM и mistral.rs. Сам пока не тестировал, но бенчмарки обещаю.Thu, 20 Mar 2025 18:06:14 GMThttps://ml-infra.pro/journal/2025-03-17-62/https://ml-infra.pro/journal/2025-03-17-62/Гайдлайн с консультации: как задеплоить инференс на виртуалке с GPU: от архитектур NVIDIA, драйверов и CUDA до Docker-образов и выбора инференс-сервера.Mon, 17 Mar 2025 08:52:15 GMThttps://ml-infra.pro/journal/2025-02-26-61/https://ml-infra.pro/journal/2025-02-26-61/Вышел выпуск подкаста «Сегодня на ретро» с моим участием: поговорили про личный бренд, пользу выступлений для работы и стоит ли компаниям вкладываться в разработчиков-спикеров.Wed, 26 Feb 2025 16:42:04 GMThttps://ml-infra.pro/journal/2025-02-19-60/https://ml-infra.pro/journal/2025-02-19-60/Рынок сам не понимает, кто такой MLOps. Объясняю на диаграмме: три сущности (Data, ML и Inference), вертикали специалистов и горизонтальный пайплайн доставки ценности.Wed, 19 Feb 2025 10:34:29 GMThttps://ml-infra.pro/journal/2025-02-12-58/https://ml-infra.pro/journal/2025-02-12-58/Нашёл свою сферу (инфраструктура для ML), поэтому снова переименовываю канал. Делюсь планами исследований на год и тем, с какими вопросами можно ко мне прийти.Wed, 12 Feb 2025 08:03:02 GMThttps://ml-infra.pro/journal/2024-12-31-47/https://ml-infra.pro/journal/2024-12-31-47/Вспоминаю выступления 2024 года, от DevOps Conf и ML-митапа до PyCon, TechDay и HighLoad++, и делюсь планами на следующий год.Tue, 31 Dec 2024 14:22:10 GMThttps://ml-infra.pro/journal/2024-12-28-45/https://ml-infra.pro/journal/2024-12-28-45/Выложили записи HighLoad++: мой рассказ про Inference-платформу теперь можно посмотреть вместе с презентацией и ответами на вопросы.Sat, 28 Dec 2024 11:02:11 GMThttps://ml-infra.pro/journal/2024-12-27-44/https://ml-infra.pro/journal/2024-12-27-44/Завершаю год второй частью на Хабре: как мы реализовали автоскейлинг, canary-деплой, инференс-граф и автоматический подбор конфигурации Triton.Fri, 27 Dec 2024 08:09:26 GMThttps://habr.com/ru/companies/selectel/articles/867972/https://habr.com/ru/companies/selectel/articles/867972/Вторая часть про Inference-платформу Selectel: пять фич поверх стандартного Triton в Kubernetes. Это canary-деплой, автоскейлинг с ускорением пуллинга образов, инференс-граф, оптимизация Triton и UI без разработчиков. Для тех, кому мало просто задеплоить Helm chart с Triton.Fri, 27 Dec 2024 00:00:00 GMThttps://ml-infra.pro/journal/2024-12-18-43/https://ml-infra.pro/journal/2024-12-18-43/Нашёл калькулятор, который считает, сколько памяти GPU нужно LLM для обучения или инференса, причём и для готовых моделей, и по вашим параметрам.Wed, 18 Dec 2024 12:51:04 GMThttps://ml-infra.pro/journal/2024-12-16-42/https://ml-infra.pro/journal/2024-12-16-42/Первая часть по мотивам доклада на HighLoad: требования к платформе, почему начинали с Seldon и отказались от него и как платформа выглядит сейчас.Mon, 16 Dec 2024 08:42:47 GMThttps://habr.com/ru/companies/selectel/articles/866256/https://habr.com/ru/companies/selectel/articles/866256/Первая часть рассказа об Inference-платформе Selectel: какие требования мы к ней предъявляли, почему начинали с Seldon Core и в итоге пришли к NVIDIA Triton, как устроены инфраструктура платформы и её доставка клиенту. Полезно тем, кто выбирает, на чём строить свой инференс.Mon, 16 Dec 2024 00:00:00 GMThttps://ml-infra.pro/journal/2024-12-02-41/https://ml-infra.pro/journal/2024-12-02-41/Источники к докладу на HighLoad в одном сообщении: Istio и canary-деплой, автоскейлинг, ускорение пуллинга образов, шеринг GPU и не только.Mon, 02 Dec 2024 07:40:27 GMThttps://ml-infra.pro/journal/2024-11-27-39/https://ml-infra.pro/journal/2024-11-27-39/Рассказываю на HighLoad++ про разработку Inference-платформы на Triton: почему ушли от Seldon, canary-деплой, автоскейлинг GPU-нод, цепочки моделей на Ray и UI без фронтендеров.Wed, 27 Nov 2024 14:41:09 GMThttps://ml-infra.pro/journal/2024-11-15-36/https://ml-infra.pro/journal/2024-11-15-36/На KubeCon подробно рассказали про DRA для GPU: нативный шеринг через TimeSlicing и MPS уже доступен, а динамический MIG обещают в 1.33.Fri, 15 Nov 2024 08:46:46 GMThttps://ml-infra.pro/journal/2024-11-06-35/https://ml-infra.pro/journal/2024-11-06-35/Нужна была форма выбора образа при создании инстанса в JupyterHub. Вместо шаблонов jinja2 нашёл решение попроще: profileList с unlisted_choice в kubespawner.Wed, 06 Nov 2024 10:00:37 GMThttps://ml-infra.pro/journal/2024-10-30-33/https://ml-infra.pro/journal/2024-10-30-33/Разбираюсь, можно ли в Kubernetes регистрировать GPU под именем модели, как MIG-партиции. Спойлер: только патчем device plugin, а выбрать карту поможет nodeSelector.Wed, 30 Oct 2024 13:53:53 GMThttps://ml-infra.pro/journal/2024-10-11-32/https://ml-infra.pro/journal/2024-10-11-32/На TechDay анонсировали Inference-платформу на базе NVIDIA Triton, которую я разрабатываю. Делюсь записью продуктового доклада и анонсом технического на HighLoad++.Fri, 11 Oct 2024 14:30:43 GMThttps://ml-infra.pro/journal/2024-10-08-31/https://ml-infra.pro/journal/2024-10-08-31/В четверг рассказываю на TechDay про наш новый продукт, Inference-платформу на базе NVIDIA Triton: жизненный цикл модели, автоскейлинг, canary-деплой и инференс-граф на Ray.Tue, 08 Oct 2024 14:45:07 GMThttps://ml-infra.pro/journal/2024-09-28-30/https://ml-infra.pro/journal/2024-09-28-30/Побывал на AI Conf от Онтико и выписал запомнившиеся доклады: тестирование LLM-приложений, краудсорсинг разметки данных, GPT в обучении моделей.Sat, 28 Sep 2024 11:25:33 GMThttps://ml-infra.pro/journal/2024-09-18-29/https://ml-infra.pro/journal/2024-09-18-29/По мотивам вебинара: пошагово разбираю, как в облаке работает автоскейлинг ресурсов с GPU, и показываю схему на практике с vLLM и GPT-2.Wed, 18 Sep 2024 16:58:11 GMThttps://habr.com/ru/companies/selectel/articles/844026/https://habr.com/ru/companies/selectel/articles/844026/Как устроен автоскейлинг инференса на GPU в Kubernetes: HPA, автоскейлер нод, GPU Operator и почему пуллинг образов тормозит масштабирование. На практике разворачиваем GPT-2 на vLLM, делаем кастомные метрики через Prometheus Adapter и подаём нагрузку. Пригодится тем, кто готовит ML-сервисы к пиковому трафику.Wed, 18 Sep 2024 00:00:00 GMThttps://ml-infra.pro/journal/2024-09-10-28/https://ml-infra.pro/journal/2024-09-10-28/Зову на митап по Kubernetes, где в этот раз я слушатель: доклады от Selectel, Flant, Магнит Tech и Hilbert Team. Подумаем, как переиспользовать это в ML-инфраструктуре.Tue, 10 Sep 2024 09:50:06 GMThttps://habr.com/ru/companies/selectel/articles/839528/https://habr.com/ru/companies/selectel/articles/839528/Почему настройка GPU на сервере превращается в головоломку из совместимости фреймворка, драйвера и ядра ОС и как NVIDIA GPU Operator автоматизирует это в Kubernetes. Разбираем мультидрайверность, precompiled driver containers и эффект Манделы в nvidia-smi, а также как мы применяем оператор для автоскейлинга и шеринга GPU.Fri, 30 Aug 2024 00:00:00 GMThttps://ml-infra.pro/journal/2024-08-29-26/https://ml-infra.pro/journal/2024-08-29-26/Через час вебинар: настроим кластер k8s для работы с видеокартами, развернём инференс GPT-2, автоскейлинг нод по трафику и разделение GPU через MIG.Thu, 29 Aug 2024 11:56:56 GMThttps://ml-infra.pro/journal/2024-08-27-25/https://ml-infra.pro/journal/2024-08-27-25/В Kubernetes 1.31 можно будет монтировать в под другой контейнер как том. Для ML это способ версионировать веса моделей и конфиги в container registry.Tue, 27 Aug 2024 09:20:37 GMThttps://ml-infra.pro/journal/2024-08-17-24/https://ml-infra.pro/journal/2024-08-17-24/Express42 опубликовали результаты State of DevOps 2024. Выписал, что зацепило: рынок облаков, AI-ассистенты, managed-сервисы и навыки DevOps-инженеров.Sat, 17 Aug 2024 13:03:50 GMThttps://ml-infra.pro/journal/2024-07-24-23/https://ml-infra.pro/journal/2024-07-24-23/Перед докладом на PyCon про GPU Operator собрал ссылки, где смотреть зависимости между архитектурой GPU, драйвером, CUDA, ядром ОС и версиями фреймворков.Wed, 24 Jul 2024 10:04:39 GMThttps://ml-infra.pro/journal/2024-06-27-21/https://ml-infra.pro/journal/2024-06-27-21/Текстовая версия доклада с ML-митапа: ML-система по аналогии с производством, подбор конфигурации под ML-нагрузки, поиск узких горлышек и эффективное использование GPU.Thu, 27 Jun 2024 13:02:35 GMThttps://habr.com/ru/companies/selectel/articles/822651/https://habr.com/ru/companies/selectel/articles/822651/Текстовая версия доклада с ML-митапа Selectel: что ML-системам можно взять у заводских конвейеров, как подобрать минимальную конфигурацию под ML-нагрузку, искать узкие горлышки по теории Голдратта и с профайлером. И как потом эффективно утилизировать GPU в обучении и инференсе.Thu, 27 Jun 2024 00:00:00 GMThttps://ml-infra.pro/journal/2024-06-21-20/https://ml-infra.pro/journal/2024-06-21-20/Вернулся с концерта Rammstein. Пока готовлю новый контент, можно послушать подкаст, где я рассказываю про свой опыт в DevOps и задачи, с которыми сталкиваюсь.Fri, 21 Jun 2024 14:04:27 GMThttps://ml-infra.pro/journal/2024-06-09-19/https://ml-infra.pro/journal/2024-06-09-19/Уезжаю в отпуск и оставляю подборку для DevOps: awesome-списки, роадмапы, руководства. Источники собирали с коллегами, а структуру помог сделать ChatGPT.Sun, 09 Jun 2024 04:38:53 GMThttps://ml-infra.pro/journal/2024-05-26-17/https://ml-infra.pro/journal/2024-05-26-17/Продолжаю разбираться с пуллингом и развёртыванием образов в containerd: пробую nerdctl, eStargz, Nydus, SOCI и zstd на своих образах. Спойлер: мой любимчик - zstd.Sun, 26 May 2024 10:37:17 GMThttps://ml-infra.pro/journal/2024-05-15-16/https://ml-infra.pro/journal/2024-05-15-16/Моя статья про шеринг GPU в Kubernetes вошла в шорт-лист Технотекста 2023. Вспоминаю, о чём она: несколько подов на одной видеокарте и автомасштабируемый инференс на MIG.Wed, 15 May 2024 15:08:34 GMThttps://ml-infra.pro/journal/2024-05-08-15/https://ml-infra.pro/journal/2024-05-08-15/Копаю глубже: как устроены пуллинг и распаковка образов и как ленивая загрузка слоёв через Stargz Snapshotter ускоряет старт сервиса.Wed, 08 May 2024 10:55:41 GMThttps://ml-infra.pro/journal/2024-05-08-14/https://ml-infra.pro/journal/2024-05-08-14/ML-образы весят по 10–15 ГБ, и новая реплика при автоскейлинге поднимается долго. Пробую кеширующий реджестри и выясняю, что узкое место в распаковке слоёв.Wed, 08 May 2024 10:55:12 GMThttps://ml-infra.pro/journal/2024-04-24-13/https://ml-infra.pro/journal/2024-04-24-13/Перед Admin-митапом Selectel, где я веду программу, делюсь своим подходом к докладам: сначала рассказ, потом слайды. Плюс книги и упражнения, которые помогли.Wed, 24 Apr 2024 15:09:42 GMThttps://ml-infra.pro/journal/2024-04-18-9/https://ml-infra.pro/journal/2024-04-18-9/Сегодня выступаю на MLечном пути. Делюсь трансляцией и источниками, по которым готовились: схемы ML-систем, MLOps-принципы, книги про бережливое производство и теорию ограничений.Thu, 18 Apr 2024 15:05:08 GMThttps://ml-infra.pro/journal/2024-04-17-8/https://ml-infra.pro/journal/2024-04-17-8/Начинаю цикл «от автоматизации производств до DevOps»: разбираю принципы бережливого производства на примере программного продукта и кофейного завода.Wed, 17 Apr 2024 19:21:12 GMThttps://ml-infra.pro/journal/2024-04-04-6/https://ml-infra.pro/journal/2024-04-04-6/Коротко о трёх способах поделить видеокарту NVIDIA между задачами: чем отличаются TimeSlicing, MPS и MIG по поддержке GPU и изоляции памяти.Thu, 04 Apr 2024 11:36:24 GMThttps://ml-infra.pro/journal/2024-04-04-4/https://ml-infra.pro/journal/2024-04-04-4/Завожу свой канал: буду делиться исследованиями в DevOps и MLOps, мыслями об инструментах и доп. материалами к статьям на Хабр и выступлениям. И всё это простым языком.Thu, 04 Apr 2024 08:39:38 GMThttps://habr.com/ru/companies/selectel/articles/803883/https://habr.com/ru/companies/selectel/articles/803883/Как мы в отделе DataML-продуктов Selectel ушли от ClickOps и автоматизировали деплой облачной ML-платформы на GitLab и Terraform: от даунстримов к монолитной Terraform-джобе и её распилу через remote state, плюс автотесты. Пригодится тем, кто хочет перестать бояться деплоя в прод.Thu, 04 Apr 2024 00:00:00 GMThttps://habr.com/ru/companies/selectel/articles/776132/https://habr.com/ru/companies/selectel/articles/776132/Можно ли переразмечать MIG на лету, когда на GPU уже есть нагрузка? Разбираем решения от run.ai и Nebuly, проверяем динамический MIG в Kubernetes на экспериментах и сравниваем TimeSlicing, MPS и MIG на одном тесте. Для тех, кто уже делит видеокарты и хочет делать это гибче.Fri, 24 Nov 2023 00:00:00 GMThttps://habr.com/ru/companies/selectel/articles/756934/https://habr.com/ru/companies/selectel/articles/756934/Продолжение про шеринг GPU, теперь в Kubernetes: как GPU Operator делит видеокарты через MIG и TimeSlicing, как настроить балансировку, мониторинг и автомасштабирование через Prometheus Adapter и HPA. В итоге за вечер собираем прототип автомасштабируемой инференс-платформы.Wed, 30 Aug 2023 00:00:00 GMThttps://habr.com/ru/companies/selectel/articles/748544/https://habr.com/ru/companies/selectel/articles/748544/Практическое пособие по шерингу GPU: почему связка «одна GPU на контейнер» неэффективна и чем отличаются CUDA-потоки, TimeSlicing, MIG, MPS и vGPU. Дальше на практике настраиваем MIG, запускаем инференс-серверы на партициях и меряем пропускную способность. Для тех, кто хочет делить видеокарты между задачами и коллегами.Tue, 18 Jul 2023 00:00:00 GMT