← Журнал · · Источники доклада
По следам подбора инфраструктуры для LLM
Привет!
Спасибо что послушали доклад❤️
С источниками, которые я использовал для подготовки материала, вы можете ознакомится в этом посте.
Также я выложил в опенсорс целую лабораторию по подбору инфраструктуры LLM.
Вы сами сможете подобрать себе нужную GPU и конфигурацию инференса за пару тестов (например у моих друзей - в облаке Selectel)
Недавно кстати наткнулся на новый интересный проект от k8s-sigs inference-perf. Будет интересно посравнивать с genai. Кто уже добрался обязательно делитесь в комментариях)
Также бонусом выкладываю картинки, которые не попали в презентацию, но также дополняли мою историю!
А я пошел пить медовуху, всем skal!