← Журнал · · Анонс
Запустили Inference-платформу Selectel
Привет, привет, привееет!
Вчера на тех дее мы анонсировали наш новый продукт, разработчиком которой я непосредственно являюсь - Инференс платформа!
Платформа сделана на базе nvidia triton server, который вы часто можете видеть в моих статьях на хабр. А ведь это действительно отличный опенсорс инференс, который закрывает кучу болей связанных с оптимизацией его работы на уровне железа.
Я рассказывал про ее основные фичи в докладе, который уже доступен по ссылке. В этот раз он больше продуктовый - так как конференция про наши продукты, а не про технику. Но при этом он раскрывает причины разработки такой платформы и основную ее функциональность) Так что налетайте смотреть!
Но если вы интересуетесь с какими проблемами мы сталкивались и как их решали при разработки платформы - я рад вам сообщить что в декабре буду рассказывать технические нюансы на HighLoad++
Там я уже расскажу почему мы отказались от Seldon, как реализовывали автоскейлинг, канареечный деплой и инференс граф🔥🔥🔥