Разработчик мультимодальных VLM (visual language models)
Мультимодальные модели — один из трендов в области глубокого обучения. Мы, команда компьютерного зрения, строим визуально-текстовые мультимодальные модели (visual language models, VLM). Они адаптируют большие языковые модели для работы не только с текстом, но и с изображениями.
Мы ищем разработчиков, которые будут работать над нейросетями нового поколения и доводить свои решения до уровня готового продукта.
Задачи и обязанности
Обучать большие языковые модели работать с визуальной информацией (изображениями и видео)
Вы будете работать на стыке двух областей: компьютерного зрения и обработки естественного языка. Для создания VLM используются нестандартные технические и архитектурные решения.
Создавать большие дата-пайплайны, которые обрабатывают все данные интернета
Для обучения VLM требуется очень много данных. Мы строим полноценные дата-пайплайны для сбора, обработки и фильтрации мультимодальных данных.
Оптимизировать large-scale-обучение моделей и ускорять их инференс
В процессе обучения VLM много нюансов. Чтобы сделать его эффективным, приходится много профилировать узкие места. А после обучения нужно подумать про то, как сделать быстрый инференс таких моделей.
Адаптировать модели к продуктовым требованиям
Наша цель — внедрить VLM в каждый сервис Яндекса. Для этого приходится учитывать специфику каждой задачи, а главное — адаптировать модель (как архитектурно, так и функционально) к конкретным требованиям.
Больше об ML в Яндексе — в канале Yandex for ML
Требования
- Понимаете, как работают современные архитектуры нейронных сетей
- Знакомы с большими языковыми моделями
- Работали с большими объёмами данных
- Обучали модели глубокого обучения и внедряли их в продакшен
- Следите за последними достижениями в областях компьютерного зрения и обработки естественного языка (понимаете, чем ViT отличается от ConvNeXt)