← Журнал · · Заметка
NVIDIA Dynamo AI
NVIDIA выпустили новое опенс сорс решение для инференса LLM - dynamo AI
В качестве бекендов поддерживает популярные фреймворки mistralrs, sglang, vllm, и tensorrtllm.
Упор сделали на LLM с большим количеством миллиардов параметров, преимущественно которые запускаются на нескольких GPU.
И действительно к triton есть вопросики на этот счет.
Сам я пока не тестировал, как дойдут руки, попробую скинуть бенчмарки. Пока что на скриншоте приведены бенчи от разработчиков.
Подробнее можно прочитать в этой статье