Аналитик GPT-моделей в Алису

Основная ответственность аналитика — сбор данных для обучения и оценка качества моделей через построение автоматизированных систем обработки данных. Для оценки качества используем как офлайн-подход (оценка качества на заранее собранных корзинах), так и онлайн-подход (проводим А/В-эксперименты). Продовые модели на основе собранных нами данных обучают ML-разработчики, а мы применяем ML для анализа логов, создания метрик и упрощения своей жизни.

Для аналитика работа с Алисой — это уникальный микс продуктовых исследований и Data Science, возможность работать с разными устройствами (телефонами, колонками, телевизорами, автомобилями и не только) и участвовать в создании виртуального ассистента, в отношении которого не стыдно применить термин Artificial Intelligence (AI).

Алиса и наша команда — это:

• передовой продукт с MAU >70M с состоявшейся бизнес-моделью, где сохранено умение двигаться с целью максимально быстро приносить пользу людям;
• продукт, который экономит пользователям «когнитивные калории», помогает в развитии и работе, развлекает и поддерживает беседой, может решать широкий спектр повседневных и сложных человеческих задач;
• неравнодушная аудитория пользователей и коллег, которая даёт быструю обратную связь;
• место работы, где легко и не стыдно показать другим людям, чем занимаешься и каков твой вклад в работу;
• место развития технологий Cutting Edge, где ещё нет готовых решений, задачи не имеют потолка сложности и дают шанс сделать что-то первым в мире.

Очевидно, что прогресс в AI доходит до уровня Commodity на уровне гонки моделей, а ценность для человечества переходит в сторону решения задач в реальном мире. Многие задачи нельзя решить одной моделью в точке через порепличное взаимодействие в чате, поэтому мы делаем большую ставку на агентов.

Мы хотим создать вау-продукт на базе агентских технологий. В общем виде это:

• система, которая решает растянутые во времени задачи, может выяснить все детали, разработать план и использовать набор внешних инструментов для достижения цели;
• Алиса — оркестратор технологий, личный ассистент и второй мозг, она проактивна и персональна;
• умение качественно решать задачи людей в разнообразных и естественных формулировках, для которых в пресс-релизе достаточно одной строчки — «Алисе теперь можно делегировать...».

Задачи и обязанности

Метрика качества Алисы и агентских систем end-to-end

Вместе с нами вы будете разрабатывать общую систему офлайн-метрик Алисы, делать пайплайн оценки, определять критерии качества и данные для создания вау-продукта.

Качество решения агентских задач

Для отдельных задач агентов нужно будет обеспечить дополнительные продуктовые метрики качества и данные.

Рефлексия, память и персонализация

Алиса должна знать о своих умениях и возможностях, не забывать, о чём с ней общались раньше, и не быть бездушной системой. Вы будете работать над этим.

Больше о бэкенде в Яндексе — в канале Yandex for Backend

Требования

• Знаете теорию вероятностей и математическую статистику
• Глубоко владеете SQL, Python/Pandas
• Умеете писать аналитический production-код и создавать инструкции, способны видеть продукт или проект в целом
• Работали как с Data Science, так и с продуктовой аналитикой
• Обладаете навыками анализа и построения эффективных процессов обработки данных
• Интересуетесь развитием AI-помощников
• Инициативны и готовы к самостоятельному поиску решений

Дополнительные требования

• Работали с NLP, краудсорсинговыми разметками и ML