← Журнал · · Заметка
Что реально ускоряет cold start LLM-сервера: кеши, snapshots и weight daemon
На CNCF вышел обзор подходов к быстрому запуску vLLM, SGLang и llm-d. В статье - кеши весов и компиляции, weight daemon с переиспользованием GPU-памяти через CUDA IPC, sleep/wake и snapshots инициализированного движка. Плюс разбор того, что уже реализовано, а что пока остаётся предложениями в Kubernetes и OCI.
Полезный нюанс: snapshot не обязательно избавляет от загрузки весов. Например, экспериментальный snapshot vLLM сохраняет инициализацию, но веса загружает заново; пока работает на той же машине, с одной NVIDIA GPU и TP=1.
Хорошая карта темы для тех, кто занимается serving и автоскейлингом: что сохраняем между запусками и за какие этапы старта всё ещё платим.