← Журнал · · Заметка
NVIDIA открыла Run:ai в open source: полная платформа для GPU-кластеров
Хей всем привет! NVIDIA открыла исходники всей платформы Run:ai. Раньше в open source был только скедулер KAI, теперь доступна вся платформа под Apache 2.0.
Из чего состоит:
- control plane - управление ворклоудами, квотами, политиками и доступами, одна точка входа на несколько кластеров;
- cluster-сервисы - контроллеры и admission-вебхуки в каждом кластере;
- KAI Scheduler - gang scheduling, fair-share, bin-packing, топология и DRA, уже в CNCF Sandbox;
- инсталлер, CLI, web UI и REST API.
Всё, кроме KAI, лежит в монорепе.
Что выложили впервые и стоит глянуть:
📌 GPU Fractioning - дробные GPU на нативных фракциях CUDA 13.4 с жёсткой изоляцией памяти. Раньше фракции в KAI были по сути time slicing, интересно посмотреть что сейчас предлагают.
📌 KAI Resource Management - проекты и департаменты с иерархией квот, node pools под разное железо
📌 Workload Map - одна абстракция над разными CRD: PyTorchJob, RayCluster, JobSet и KServe InferenceService
📌 MCP-сервер - операции Run:ai как инструменты для AI-ассистентов
📌 Нагрузочные тесты платформы и локальный стенд на Kind одной командой - в той же монорепе
Рядом в анонсе - Model Streamer для быстрой загрузки весов (уже встроен в vLLM и SGLang) и Grove из NVIDIA Dynamo для оркестрации многокомпонентного инференса.
По сути, у связки Kueue + HAMi появилась открытая альтернатива «в одной коробке»: квоты, фракции GPU и мультикластер, что не может не радовать. Пойду смотреть глубже что внутри ☺️