Аналитик-разработчик мультимодальных моделей
Команда аналитики визуальных генеративных моделей на стыке NLP и компьютерного зрения создаёт визуально-текстовую генеративную модель, которая будет решать задачи пользователей по изображению. Мы разрабатываем инструменты для сравнения моделей, создаём датасеты для бенчмарков и для обучения моделей.
Ищем талантливых специалистов в области аналитики, которые готовы присоединиться к нашей команде.
Задачи и обязанности
Создание инструментов для оценки качества ответов моделей
Основная наша задача — научиться оценивать качество работы нашей модели на разнообразных классах задач. Для этого мы адаптируем опенсорсные бенчмарки, создаём свои и пользуемся помощью исполнителей, которые занимаются разметкой данных.
Исследование точек роста
Чтобы улучшать качество, необходимо находить слабые места модели: классы запросов или свойства запросов, на которых мы работаем недостаточно хорошо.
Создание новых и улучшение текущих датасетов, на которых обучается модель
Имея хорошие инструменты для оценки качества, а также понимая, что именно необходимо улучшать, мы собираем данные для роста качества. Это могут быть данные как для SFT, так и для RL.
Больше об аналитике в Яндексе — в канале Yandex for Analytics
Требования
- Занимались аналитикой больше года
- Уверенно пишете на Python и SQL, знаете основные библиотеки
- Знаете основы машинного обучения
- Готовы проектировать разметки для удалённых исполнителей
Дополнительные требования
- Знакомы с Толокой или другими краудсорсинговыми платформами
- Создавали процессы разметки данных с помощью удалённых исполнителей
- Работали с продуктами из области компьютерного зрения