← Журнал · · Анонс
Inference-платформа на Triton: доклад на TechDay
Всем привет!
Уже в этот четверг я буду выступать с рассказом про наш новый продукт Inference платформа на базе Triton Nvidia Server на конференции TechDay.
Вы можете посмотреть онлайн, если зарегистрируетесь по ссылке
Я расскажу про жизненый цикл модели, как будет не очень хорошо делать свои собственные инференсы, а также как устроена наша платформа
Расскажу про автоскейлинг, как мы избавляемся от даунтайма с помощью canary деплоя и как построить инференс граф с помощью Ray!
Также кто будет оффлайн - покажу демо по платформе, как ей пользоваться)
Еще у нас будет стенд, где расскажем что за дела у AMD и как он конкурирует с NVIDIA в ML части. Регистрируйтесь и присоединяйтесь!