← Журнал · · Источники доклада
Автоскейлинг инференса в k8s: источники доклада
Материалы по следам моего доклада на ODS Data Fest - все источники в одном сообщении.
1. Инференс на Triton
Как мы строили платформу на основе Triton
Метрики Triton для скейлинга
Triton дашборд для информации о скейлинге
2. Autoscaling
Что это такое?
Автоскейлинг в k8s с GPU нодами
Node autoscaler в k8s
Как работает GPU оператор
Вебинар по автоскейлингу VLLM
Ускоряем автоскейлинг
Выносим кеш моделей в PVC S3
Harbor и Kuik для кеширования образов на ворклоудах
Lazy loading образов - как помогает ускорить пуллинг контейнеров
eStargz, SOCI, Nydus - снепшоттеры для ленивой загрузки образов
ZSTD формат образов - быстрее чем gzip
Супер доклад на тему ускорение аплоуда образов
3. Аллокация GPU
Шерим GPU
MIG, MPS, Timeslicing - технологии шеринга GPU и их сравнение
Бенчмарк для замера производительности GPU на основе YOLOv5
Hami-Project и статья по его настройке
Автоскейлинг с MIG
Динамический MIG с помощью InstaSlice и Nos
Скедулинги
DRA driver
KAI-scheduler
Kueue
Volcano
Спасибо большое за прослушивание доклада, оставляйте реакции и комменты под этим постом)