Аналитик в группу релевантности ранжирования

Сигнал релевантности измеряет, какие страницы лучше всего отвечают на запрос пользователя: мы хотим поднимать наверх наиболее полные, точные и удобные документы. От результатов нашей работы напрямую зависит как мониторинг качества поиска, так и обучение тех самых ранжирующих моделей, которые вызываются при каждом запросе для составления выдачи. Мы активно внедряем LLM для экономии и улучшения качества.

Наша команда поддерживает полный цикл аналитики и приёмок сигнала — от сырых данных до мониторинга в продакшне. При этом перед нами встают серьёзные вызовы — из-за масштаба даже небольшие изменения в сигнале имеют большой эффект, поэтому как ручная разметка, так и LLM нуждаются в продвинутых инструментах мониторинга. Нам угрожают фрод исполнителей, галлюцинации моделей, data drift и многое другое — чтобы справиться с этим, мы ищем сильного аналитика.

Задачи и обязанности

Улучшать качество данных

Вы будете находить и устранять проблемы в пайплайнах разметки и агрегации, строить метрики качества и автоматические проверки, чтобы ловить деградации ещё до попадания данных в обучение и мониторинг. Также важная задача — отсеивать плохих исполнителей и выделять хороших.

Отслеживать неочевидные проблемы с моделями

Нужно будет выявлять скрытые деградации: data drift, сдвиги по типам запросов и документов, галлюцинации LLM и фрод в разметке, которые не видны в верхнеуровневых метриках. Для этого вы будете настраивать алерты, строить дашборды и разрабатывать процессы перевода статусов.

Развивать сигнал

Вы будете предлагать и валидировать улучшения в самом сигнале: правки в инструкцию, шаблон разметки и LLM-подсказки.

Больше об аналитике в Яндексе — в канале Yandex for Analytics

Требования

• Обладаете аналитическим складом ума, работали с данными
• Знаете основы теории вероятностей и математической статистики
• Хорошо знаете Python и SQL для анализа и обработки данных
• Проактивно действуете в своей зоне ответственности

Дополнительные требования

• Работали с поисковыми системами
• Работали с крауд-платформами: Яндекс Заданиями, Толокой, MTurk или аналогами
• Знакомы с промпт-инжинирингом и принципами работы LLM
• Участвовали и побеждали в олимпиадах по математике, физике, программированию