← Журнал · · Анонс
Как готовить Triton: рецепты вашей инференс платформы
Привет! Вышла моя новая статья - в этот раз я выпустил небольшой гайд лайн по репозиторию, где собрал полезные туториалы по Triton Inference Server.
В самом репозитории вы можете найти
- Демо инференс платформы, которую мы поставляем как частную инсталляцию в Selectel
- Деплой различных форматов моделей в Triton
- Деплой популярных LLM и дифузеров (некий fondational models)
- Автоподбор формата моделей и конфига Triton
- Простенькие примеры UI для ваших инференсов
Часть примеров взяты из официальной репы Triton (но иногда в их доке можно ногу сломать). Поэтому я постарался вынести все в одно место.