← Журнал · · Анонс
Вышла статья про автоскейлинг инференса в Kubernetes
Привет!
Сегодня вышла моя новая статья по мотивам прошедшего вебинара - про автоскейлинг инференсов в kubernetes 👩💻
Там я пошагово расписал как работает в облаке автоскейлинг ресурсов, если у вас используются GPU, а также показал на практике как можно реализовать такую схему у себя с настоящим инференсом (брал за основу фреймворк VLLM и модель chat gpt2)
Так что налетайте читать статью 😎😎😎