Разработчик-исследователь в команду оценки эффективности AI-инструментов в Рекламу

Команда метрик Рекламы развивает ключевые метрики Рекламного продукта Яндекса — одного из самых технологичных и прибыльных бизнесов компании.

Наши основные проекты

• Главная приёмочная метрика A/B-экспериментов Рекламы — основной KPI для многих технических команд Рекламы. В работе над метрикой мы уже решили задачи правильного учёта конверсий, оценки ценности конверсий с помощью AI и пессимизации неэффективных площадок.
• Разработка и поддержка более 6000 метрик Рекламы — это работа с высоконагруженной распределённой системой, обработка нескольких петабайт данных в день и проведение исследований.
• KPI-дашборд — удобный инструмент аналитики всех A/B-экспериментов Рекламы. С использованием KPI-дашборда перед командами ставят цели и принимают результаты.
• Оценка эффективности использования AI-инструментов разработки — новый проект, для реализации которого мы ищем исследователя-разработчика.

В команде мы работаем над задачами всего цикла разработки: от исследований и проверки гипотез до реализации инструментов и выкатки их в продакшн.

Задачи и обязанности

Развитие метрик оценки эффективности AI-инструментов разработки

По последним исследованиям, инструменты, основанные на AI-технологиях, ускоряют процесс разработки, однако не так существенно, как прогнозировалось. Мы в Яндексе разрабатываем метрики, которые объективно показывают профит от использования прорывных технологий на разных этапах реализации новых фич.

Исследование перспективных направлений оптимизации процесса разработки в компании

Аналитический подход в развитии метрик поможет вам точнее оценивать выгоду от внедрения технологий и находить инсайты.

Визуализация метрик и защита результатов перед техническими лидерами бизнес-групп

Вам предстоит создать удобный и быстрый дашборд эффективности процесса разработки, который поможет отделам ставить цели по оптимизации и оценивать эффекты от внедрения новых инструментов.

Больше о бэкенде в Яндексе — в канале Yandex for Backend

Требования

• Уверенно пишете быстрый и надёжный код на Python
• Владеете YQL и умеете оптимизировать запросы под большие объёмы
• Хорошо знаете математику и статистику: корректно оцениваете эффекты, понимаете физический смысл метрик
• Умеете исследовать и проверять гипотезы на данных (формулировка → расчёт → выводы)
• Интересуетесь современными AI-инструментами разработки и хотите понять, что именно в них нужно измерять

Дополнительные требования

• Работали с большими данными и высоконагруженными системами
• Проектировали и сопровождали метрики, включая дашборды и мониторинги
• Обладаете ML/DS-бэкграундом (умеете оценивать модели и метрики, понимаете источники смещений)