← Журнал · · Личное
Планы: инференс-платформы, митапы и вторая часть статьи
Друзья, всем привет!
Хочу сделать пару небольших анонсов для вас на ближайшее время.
1️⃣Хотя и посты стали чуть реже, это не значит, что для вас контент закончился. Сейчас активно исследую проблему построения Инференс-Платформ как для ML нагрузок, так и для LLM. Ждите постов с обзором open source решений, а также размышлений на тему делать ли инференс на существующем PaaS компании или идти в отдельное решение.
2️⃣В течение следующих двух неделей буду посещать митапы в Москве, где сможем понетворкать. По ним будут отдельные посты!
3️⃣Приступаю писать вторую часть статьи про подбор инфраструктуры для LLM на основе моего доклада. Раскрою подробнее тему genai perf инструмента для нагрузочного тестирования, какие параметры влияют на производительность и как помогает квантизация LLM.
Так что оставайтесь на связи! Продолжаем изучать инфраструктуру для ML вместе!