← Журнал · · Заметка
Кто такой MLOps-инженер?
Недавно помогал на менторской консультации сформировать понимание - что из себя представляет MLOps инженер?
Из ~180 вакансий на HH вы сможете увидеть в основном такие заголовки:
- MLOps
- DevOps
- ML Engineer
- Data Scientist
- Senior ML Python Developer
- Technical Product Manager)))
и у всех будет написано что-то такое (MLOps в бэкграунде, MLOps практики). Как видим - рынок сам не понимает что это такое. Некий солдат универсал, который умеет все.
И у меня спросил менти - куда в итоге развиваться и что делает то MLOps инженер?)
Как я ответил на этот вопрос.🗣
Я нарисовал небольшую диаграмму📈. Из моего опыта как млопса обычно приходиться работать с тремя сущностями:
1️⃣ Data - платформы данных, ваши любимые Spark, Airflow и ETL. Feature stores и Data Lakes
2️⃣ ML - эксперименты и автоматизация обучения моделей. MLFlow, Clearml, распределенное обучение и даже GPU!
3️⃣ Inference - модельки в продакшене, http/grpc эндпоинты, хайлоуд нагрузки и оптимизация инференса
И здесь кажется, что в одном инженере очень сложно уложить все три сущности. Поэтому я поделил их на Вертикали - специалисты, которые в основном варятся в инфраструктуре для каждого кружочка и процессами, связанными с ними.
А что, если мы проведем горизонтальную линию на все три кружка? Мы получим пайплайн доставки ценности до конечного клиента - от подготовки данных до эндпоинта. И конечно задача таких инженеров - автоматизировать эту поставку.
Так что мой ответ - смотря в какой специализации ты хочешь развиваться) Можно попробовать все сущности, можно углубиться в одну, здесь зависит от задач, которые ты выполняешь. Надеюсь скоро более менее рынок поймет, кто такой MLOps инженер, и возможно даже появится стандарт собеседований.
А пока что на первых этапах учите DevOps/Backend/DataScience, так как под них стандарты собесов уже есть!
Пишите в комментариях, что вы думаете про специализации MLOps инженера? LLMOps, InferenceOps, GPU-allocation-engineer - кто накинет больше вариантов?)