Аналитик в команду офлайн-метрик Яндекс Картинок

Яндекс Картинки — это сервис, которым миллионы людей ежедневно пользуются для поиска визуальных идей, товаров и для решения бытовых задач. Сердце качества нашего поиска — это метрика Image Proxima. Она строится на оценках живых людей и машинных предиктах (релевантность, качество изображения, эстетика и т. д.) и служит «маяком» для всех ML-алгоритмов ранжирования.

У нашей команды большая зона ответственности, и у нас много идей, как стать лучше. Мы ищем сильного аналитика, который поможет воплощать эти идеи в жизнь и делать Яндекс Картинки ещё полезнее.

Задачи и обязанности

Улучшение офлайн-метрик

Вы будете отвечать за весь «измерительный прибор» Поиска. Вам предстоит разобраться с устройством офлайн-метрик и помогать улучшать их качество по всему пайплайну — от оценок отдельных сигналов асессорами до формы итоговой метрики. На этом пути нужно будет не только работать с оценками асессоров, но и внедрять автоматическую разметку с помощью современных LLM- и VLM-моделей. Вы будете исследовать, формулировать и оцифровывать проблемы в метрике и итоговом ранжировании, придумывать способы исправления и реализовывать их.

Поиск проблем

Нужно будет анализировать, что ищут пользователи, находить проблемные срезы, где мы отвечаем плохо, и придумывать, как это исправить. Ваши инсайты будут напрямую управлять развитием сервиса.

Оценка качества метрики и её изменений

Вместе с командой вы будете оценивать, насколько чувствительны и устойчивы наши метрики. Вам предстоит придумывать методики, как замерять улучшения там, где это сложно сделать, и искать границы применимости текущих моделей.

Больше об аналитике в Яндексе — в канале Yandex for Analytics

Требования

• Анализировали данные на Python или SQL
• Знаете основы теории вероятностей и математической статистики
• Умеете решать нестандартные математические задачи
• Способны спокойно и аргументированно отстаивать свою точку зрения и выслушивать чужую

Дополнительные требования

• Любите математику
• Участвовали и побеждали в олимпиадах по математике, физике, программированию
• Работали с платформами для разметки данных: Яндекс Заданиями, Толокой
• Владеете базовыми знаниями в машинном обучении