← Журнал · · Заметка
KubeCon 2024: шесть докладов про GPU и что из них взять
Помните, в июне я обещал: наберём 1000 подписчиков - лечу в Японию на KubeCon?
Набрали, слетал, и вот вышла статья на Хабре🔥
Ко второму дню я понял, что у всех одни и те же слайды: квоты, изоляция тенантов, bin packing и «GPU дорогие - давайте делить». Так что разобрал шесть докладов про то, как утилизируют GPU, и сравнил с тем, что делаем мы.
Также небольшое самари из статьи:
1️⃣ Инференс стал главным потребителем GPU. Две трети AI-compute уходит на инференс, и экосистема CNCF разворачивается к сервингу.
2️⃣ Все делят GPU, и слайды у всех одинаковые. Мультитенантность, квоты и плотная упаковка стали главным трендом конференции. Kueue, HAMi, vCluster и HNC — разные точки одной шкалы.
3️⃣ llm-d становится стандартом LLM-инференса. KV-aware routing почти даром даёт кратный выигрыш, а P/D без настройки легко делает только хуже.
4️⃣DRA стал фундаментом для новых проектов. На нём уже строят топологию GPU + NIC и composable-железо, так что миграцию стоит закладывать уже сейчас.
5️⃣На KubeCon едут за open source. Почти всё из докладов можно забрать к себе, а также поговорить с реальными мейнтейнерами проектов.
А в конце - впечатления, чем KubeCon отличается от наших конференций, и немного Японии: рамен, конбини и Фудзи, которая так и не вышла из облаков 😅
Налевайте что-нибудь крепкое (например, чай) и налетайте читать!