ML-разработчик в группу срабатываний генеративных ответов

Алиса в Поиске — ключевой продукт Яндекса: генеративные ответы вверху выдачи ежедневно видят десятки миллионов пользователей. Под капотом работает не одна LLM, а целое семейство моделей с разными размерами и свойствами: одни отвечают картинками, другие решают математику, подбирают товары или формируют сжатые ответы. Наша команда определяет, какую модель запустить под конкретный запрос и когда лучше вовсе отказаться от генерации (например, если пользователь ищет просто «vk»).

Задачи и обязанности

Разработка моделей интеллектуального роутинга запросов

Вы будете заниматься классификацией запросов, выбором оптимальной модели для генерации и предсказанием прироста качества от использования конкретной модели.

Работа с данными и шумными сигналами

Вас ждёт сбор и подготовка датасетов из логов и разметки, работа с LLM-разметкой, а также обучение моделей на неполных и шумных данных.

End-to-end-цикл: от экспериментов до A/B-тестов

Предстоит формулировать таргеты, обучать и калибровать модели, запускать офлайн-оценку и проводить A/B-эксперименты на живом трафике с большой аудиторией.

Инженерные и продуктовые решения на стыке NLP, LLM и классического ML

Вы будете участвовать в выборе архитектур, настройке пайплайнов и обсуждении продуктовых решений, влияющих на качество генеративных ответов для миллионов пользователей.

Требования

• Разбираетесь в современном NLP и решали c его помощью продуктовые задачи
• Умеете и хотите решать продуктовые ML-задачи полного цикла: от сбора данных до внедрения в продакшен
• Понимаете принципы работы LLM и интересуетесь задачами роутинга и комбинирования моделей