Ведущий разработчик MM LLM

Мы — группа мультимодальных языковых моделей в составе отдела экспериментальных технологий блока AI (направление рекомендаций) VK. Команда объединяет сильных ML-инженеров и ресерчеров — выпускников ШАД, МФТИ, ФКН и других топовых вузов. Мы применяем cutting edge модели и подходы для решения прикладных задач: соединяем тексты, визуальную модальность и метаданные в единых модели, которые понимают контент глубже, чем любые отдельные сигналы.

Наша цель — создавать и внедрять мультимодальные LLM/VLM, которые становятся ядром систем VK: от автоматической разметки данных и обучения рекомендательных моделей до новых продуктовых сценариев. Мы работаем на стыке исследований и production — проверяем гипотезы и доводим сильные решения до реального использования на многомиллионной аудитории.

Сейчас мы ищем Ведущего разработчика Multimodal LLM, который сможет взять на себя техническое лидерство в направлении мультимодальных моделей и масштабируемых пайплайнов.

Технологии
ML-стек: Python , PyTorch, Lightning, DeepSpeed.
Distributed training: DDP / FSDP / ZeRO, mixed precision.
Инфраструктура: GPU-кластеры (A100/H100), k8s.
Данные: распределённые хранилища, S3, YT.
Полный цикл: от подготовки данных до production-инференса.

Задачи

• Проектировать и реализовывать пайплайны автоматической разметки данных на базе LLM/VLM (multimodal labeling, synthetic data, preference data).
• Масштабировать обучение и инференс больших моделей: multi-node training, DDP/FSDP/ZeRO, mixed precision, efficient serving.
• Работать с качеством данных и моделей: метрики, EDA, деградации при масштабировании, alignment и preference learning.
• Интегрировать LLM/VLM в production и гибридные пайплайны.
• Принимать архитектурные решения: выбор моделей, стратегий обучения, инструментов и инфраструктуры.
• Влиять на технический roadmap направления мультимодальных моделей.

Требования

• Глубокое понимание LLM и мультимодальных моделей (Transformers, VLM, alignment, preference learning).
• Практический опыт distributed training и оптимизации обучения больших моделей.
• Опыт построения end-to-end ML-пайплайнов.
• Способность мыслить архитектурно и брать ответственность за техническое направление.