← Журнал · · Заметка
Подкаст Контура про продакшен инференс LLM: vllm, sglang и оптимизация
Рекомендую посмотреть подкаст от Контура про то как они делают продакшен инференс LLM. Не часто в рф рынке об этом рассказывают, можно многое подчерпнуть про опыт эксплуатации vllm/sglang, почему не triton и как оптимизировать инференс на большой поток трафика.
Сам активно использую суммарайзеры в толке - годная вещь, рад за отечественный продукт. С Азиком знаком лично, он большой молодец)