Аналитик-разработчик в Международный Поиск

Приложение Yandex AI (Турция) — это не просто выдача ссылок. Yandex AI создаёт подробные структурированные ответы с разделами, картинками и видео. Но как понять, что качество этих ответов хорошее?

На этот вопрос можно отвечать по-разному: например, классический подход — анализировать поведение пользователей. Но современный интернет стал настолько сложным, что часто одних онлайн-метрик недостаточно. Поэтому мы подходим к задаче комплексно: дополнительно строим офлайн-приборы, которые позволяют перед экспериментами заранее отвечать на конкретные практические вопросы. Соответствуют ли ответы запросам пользователей? Стали ли они лучше? Как часто в них встречаются серьёзные ошибки?

Вы будете не просто анализировать данные, а создавать правила и метрики, которые станут детектором качества для ответов.

К чему мы стремимся

Сделать приложение нового поколения

Не просто выдачу ссылок, а интеллектуального помощника, способного решать задачи пользователя на месте, без необходимости переходить куда-либо.

Не только на русском

Мы запускаемся в новых регионах, где нас ждут новые вызовы, связанные с языковыми и региональными особенностями.

К богатым ответам

Наша цель — ответы, где текст, мультимедиа, карты, новости и многое другое работают вместе. Мы делаем информацию живой, чтобы она запоминалась с первого взгляда.

Не врать!

Никаких домыслов или «креативных интерпретаций». Мы строго следим, чтобы ответы опирались на проверенные данные, а каждое утверждение подкреплялось надёжными источниками. Мы учим модели не фантазировать, а опираться на факты, даже если это сложнее.

У нас классно, потому что:

• Мы работаем над приложением Yandex AI — продуктом Яндекса на основе LLM — и ориентированы прежде всего на результат в продакшне.
• Наши задачи тесно связаны и с дизайном самого продукта, и с ML.
• Мы даём возможность развивать как технические, так и коммуникативные и менеджерские навыки.
• Ваша работа прямо повлияет на то, каким станет приложение Yandex AI через полгода.
• Мы делаем уникальные по сложности, масштабу и архитектуре краудсорс-проекты.
• У нас слаженная команда аналитиков и ML-инженеров качества.

Задачи и обязанности

Управление редакторами и системой качества в краудсорс-проекте

Вы будете отвечать за полный цикл работы редакторов: обеспечивать выполнение плана по разметке в срок и с требуемым уровнем качества, управлять их производительностью и снижением «шума», а также проектировать и внедрять методологии оценки.

В ваши задачи также будет входить разработка надёжных инструментов контроля качества, построение прозрачной системы измерения эффективности исполнителей, запуск обучающих программ и механизмов обратной связи, формирование критериев отбора и отсева. Цель — выстроить сквозную, технически реализованную систему управления качеством и эффективностью редакторов, напрямую влияющую на итоговый результат проекта.

Обеспечение надёжного хранения, обработки и доступности данных разметки

Генерация разметки производит значительные объёмы данных. Вы будете отвечать за проектирование и поддержку инфраструктуры, гарантирующей целостность и сохранность этих данных. Это включает разработку и поддержку ETL-процессов для очистки, трансформации и загрузки данных в аналитические хранилища, создание механизмов фильтрации и агрегации, формирование удобных для анализа таблиц и представлений.

Разработка систем LLM-as-Judge

Для эффективного дообучения моделей в соответствии с внутренними принципами качества объёма человеческой разметки зачастую недостаточно. В связи с этим разрабатываются автоматизированные методы оценки качества с использованием LLM в роли judge-моделей.

В рамках данной задачи предполагается развитие таких систем, оценка их надёжности и валидности, а также интеграция получаемых сигналов в процессы дообучения моделей.

Больше об аналитике в Яндексе — в канале Yandex for Analytics

Требования

• Пишете на Python и SQL
• Знаете математическую статистику и теорию вероятностей
• Любите работать с данными и умеете извлекать из них практический результат
• Умеете общаться в команде, ясно излагать мысли, понимать и убеждать коллег
• Готовы разбираться в том, как и почему должен работать продукт

Дополнительные требования

• Работали с Толокой или другими краудсорс-платформами
• Писали инструкции и самостоятельно запускали проекты разметки данных
• Знаете принципы функционирования и разработки LLM
• Обладаете продвинутыми навыками промпт-инжиниринга