Аналитик-разработчик в Алису AI

Алиса — это голосовой помощник Яндекса, который ежедневно помогает миллионам пользователей. Наша цель — лучший AI-ассистент на рынке. Мы стремимся достичь максимального качества ответов: детально разбираемся в большом количестве задач и тщательно анализируем датасеты с эталонными текстами.

Ищем аналитика-разработчика, который будет вместе с нами совершенствовать систему сбора и обработки данных для обучения Алисы.

Почему у нас классно

• Вы окажетесь в самом центре развития Алисы AI
• Будете тесно работать с ML-командой и аналитиками сложных процессов разметки данных
• Сможете прокачать технические и коммуникативно-менеджерские навыки
• Будете обмениваться опытом с коллегами (аналитиками и ML-инженерами)
• Улучшите фокусный, узнаваемый продукт Яндекса — результаты вашей работы увидят миллионы людей, включая ваших друзей и близких

Задачи и обязанности

Анализ качества эталонных ответов

Вы будете анализировать данные вручную, с помощью метрик и AI-тренеров. Если для оценки нет подходящего инструмента, его предстоит придумать и сделать.

Улучшение эталонных ответов

Найти проблему — только половина дела. Вам предстоит придумывать алгоритмы исправлений: определять, как нужно выделить срез с проблемой, что можно поправить автоматически, а где потребуется помощь AI-тренеров.

Приёмка датасета

Важно убедиться, что качество датасета повысилось, а соседние сценарии не сломались. Поэтому после внесения правок необходимо будет оценивать результат — проводить автоматические проверки, делать новые разметки или отсматривать изменения вручную.

Синхронизация принципов

Вам предстоит подсвечивать смежным командам найденные проблемы и добиваться необходимых изменений. Тогда все инструменты обучения будут работать согласованно, а модель лучше усвоит новый навык.

Больше об аналитике в Яндексе — в канале Yandex for Analytics

Требования

• Уверенно работаете с Python и SQL
• Знаете на базовом уровне математическую статистику и теорию вероятностей
• Самостоятельны и готовы браться за новые задачи, для которых нет готового решения
• Можете спокойно и аргументированно отстаивать свою точку зрения и выслушивать чужую

Дополнительные требования

• Работали с BI-инструментами
• Писали инструкции и самостоятельно запускали проекты разметки данных
• Имеете опыт анализа текстов или обучения языковых моделей
• Умеете создавать точные и эффективные промпты для генеративных нейросетей