ML-аналитик в команду Вселенной ассистентов

Ищем аналитика в команду, которая отвечает за качество персональных AI-ассистентов. Вы будете организовывать разметку качества и создавать систему оценки

Обязанности

• Создавать и прокачивать систему оценки ассистента — от создания корзинок с запросами и разработки метрик до анализа результатов и добавления фич в продукт 

• Организовывать разметку качества руками краудсорсеров и строить автоматизированные пайплайны с LLM-as-a-Judge 

• Рассчитывать продуктовые метрики и организовывать регулярную отчетность по продукту 

• Искать инсайты в пользовательских диалогах, придумывать эксперименты и предлагать, как еще улучшить качество нашего продукта 

• Собирать данные для алаймента нашей языковой модели под задачи ассистентов

Требования

• У вас есть опыт на границе продуктовой аналитики и Data Science: чат-боты, рекламные аукционы, поисковые системы, генеративные технологии 

• Владеете SQL и Python на уверенном уровне, в приоритете Pandas 

• Умеете писать хороший аналитический продакшен-код 

• Хотите работать с текстовыми данными в LLM-продуктах 

• Пользуетесь LLM в работе и жизни 

• Будут плюсом самостоятельные pet-проекты с ML- и LLM-агентами, понимание современных подходов к оценке LLM: LLM-as-a-Judge, инструкции для разметчиков, офлайн- и онлайн-эксперименты, human-in-the-loop

Задачи

Мы работаем над новыми продуктами — AI-ассистентами на базе LLM. Сердце всей экосистемы — General-ассистент. Это первая точка входа для пользователя: General отвечает на общие вопросы и перенаправляет на нужного ассистента, если задача специализированная.

Задача General-ассистента — понимать запрос и отвечать на общие вопросы с помощью знаний LLM и поиска. Если запрос относится к конкретной сфере — аккуратно маршрутизировать пользователя в соответствующий вертикальный навык: Шопинг, Путешествия и так далее. Запросы могут быть разными — от оформления загранпаспорта до подбора развивающих игр для детей.

Ассистент отвечает за единый стиль общения, качество базового опыта и целостность взаимодействия со всеми ассистентами.

Ищем ML-аналитика, который будет отвечать: 
— за качество LLM-ассистента: понятность ответов, отсутствие галлюцинаций, корректный роутинг, единый тон общения; 
— перевод качественных метрик в продуктовые: конверсию в сценарии, удержание, удовлетворенность, глубину использования, эффективность маршрутизации и так далее.

У нас новая команда без легаси-процессов: много экспериментов, быстрые прототипы, постоянная связь с продакт-менеджером и NLP-командой. 

Ждем аналитика с насмотренностью в LLM-решениях, который будет с нами на одной волне и сможет привносить новые фичи в продукт.

Мы предлагаем

• Гибридный график и офис у метро «Белорусская», в котором есть все что нужно: Т-Клиника, салон красоты, фитнес-зоны, комнаты для сна и медитации. Если захочется поработать на свежем воздухе — терраса с панорамным видом

• Возможность работы в аккредитованной ИТ-компании

• ДМС со стоматологией, включая чекапы, компенсацию покупки лекарств и льготные условия страхования для близких. Еще — страховка от несчастных случаев и болезней

• Рост по карьерному треку: проходите курсы по софт- и хард-скиллам, развивайтесь с поддержкой ментора и повышайте уровень с матрицей компетенций и регулярным ревью

• Сильное комьюнити. Вы будете работать с экспертами в своей области, сможете делиться знаниями и выступать на конференциях, посещать митапы и писать статьи

• Онлайн-консультации с психологами, юристами, специалистами по финансам и здоровому образу жизни

• Компенсацию затрат на спортивные абонементы, приложение Т-Спорта для онлайн-занятий и командные тренировки с коллегами

• Завтраки и обеды в Т-Кафе. В офисе есть ресторан и кофейни, на каждом этаже — кухня, где можно перекусить

• 3 дополнительных дня к отпуску — можно использовать для отдыха или получить компенсацию

• Специальные тарифы на продукты Т-Банка и широкую программу скидок от партнеров

• Достойную зарплату — обсудим ее на собеседовании