Лид в команду офлайн-KPI-метрики ранжирования
С помощью офлайн-KPI-метрики ранжирования оценивается качество поисковой выдачи Яндекса по отдельным сигналам: релевантности веб-страниц запросу, их авторитетности и т. д. Метрика должна полностью отражать качество выдачи для любых тематик запросов, типов веб-страниц и других аспектов и задавать вектор развития Яндекс Поиска.
Мы постоянно улучшаем качество сигналов для метрики и используем LLM. Метрика должна адаптироваться к этим изменениям и выжимать максимум из улучшения качества сигналов для итогового ранжирования.
Вам предстоит взять на себя зону ответственности по подбору KPI-метрики Поиска и вместе с командой построить регулярный процесс её улучшения.
Задачи и обязанности
Улучшение офлайн-метрики ранжирования
Вы будете исследовать, формулировать и оцифровывать проблемы в метрике и итоговом ранжировании, придумывать способы их исправления и реализовывать их. Результат напрямую влияет на продакшн, ведь офлайн-метрика — это таргет для модели ранжирования в Поиске.
Построение и поддержка аналитических моделей в оценке качества Поиска
Команда офлайн-KPI-метрики отвечает не только за саму форму офлайн-метрики, но и за множество процессов офлайн-оценки качества поиска: приёмку новых ML-моделей ранжирования, сбор «корзин» (множества запросов для оценки качества поиска), сбор дашбордов мониторинга качества и получение по ним инсайтов о проблемных зонах и методах их решения. Потребуется решать множество важных продуктовых и аналитических вопросов и вести сложные проекты.
Работа с офлайн-метриками всех компонентов выдачи
Выдача Яндекса состоит не только из ссылок на веб-страницы (так называемой органической выдачи), но и из рекламы, тематических блоков. Для каждого из этих компонентов тоже существует офлайн-сигнал. В перспективе вы будете отвечать за внедрение этих офлайн-сигналов в единую офлайн-метрику всей выдачи и улучшать как качество самих сигналов, так и процессы вокруг них.
Больше об аналитике в Яндексе — в канале Yandex for Analytics
Требования
- Были руководителем или ментором в аналитике
- Глубоко знаете математику
- Умеете выстраивать стабильные и прозрачные рабочие процессы
Дополнительные требования
- Разбираетесь в области машинного обучения, внедряли модели
- Участвовали и побеждали в олимпиадах по математике, физике, программированию
- Читаете и понимаете профильные тексты на английском языке