Системный аналитик данных (DWH)

Data Platform DWH позволяет главам продуктовых хранилищ Такси, Доставки и других сервисов, дата-партнёрам и инженерам понимать, что происходит с данными: отслеживать их использование, качество, актуальность и соблюдение SLA, контролировать стоимость расчёта и хранения и оптимизировать её.

Вам предстоит развивать продукт Data Platform DWH и отвечать за его ключевые функции. Для этого потребуется совмещать роли системного аналитика и инженера: проектировать метамодели, наполнять их данными, расширять и модернизировать инструмент для эффективного управления DWH. Вы будете работать с технологиями ClickHouse, YTsaurus, Greenplum, Flink, рассматривая их как предметную область и продукт для нашего DWH.

Если вы не боитесь сложных задач и готовы погрузиться в специфику разнородных систем хранения и обработки данных — приходите к нам.

Задачи и обязанности

Анализ требований и проектирование

Вы будете собирать и анализировать требования команд различных DWH, чтобы понять их боли и спроектировать метамодели, которые решат проблемы видимости и управляемости данных, позволят анализировать затраты на вычисления и хранение в DWH.

Разработка и визуализация

Вам предстоит реализовывать модели в ETL/ELT-процессах — от сбора данных до создания финальных витрин, а на основе витрин проектировать и строить дашборды в DataLens.

Больше об аналитике в Яндексе — в канале Yandex for Analytics

Требования

• Умеете выявлять, декомпозировать и формализовать требования пользователей и технических команд
• Понимаете принципы построения хранилищ данных, схемы «звезды», Data Vault, их плюсы и минусы
• Отлично знаете SQL и разбираетесь в теории баз данных
• Уверенно владеете Python для решения инженерных задач
• Имеете опыт реализации ETL-процессов
• Не боитесь трудных задач, готовы разбираться в устройстве систем хранения данных (ClickHouse, Greenplum, YTsaurus и других) и глубоко погружаться в сложные технические процессы, чтобы растить данные как продукт

Дополнительные требования

• Проектировали или развивали крупные хранилища данных
• Понимаете принципы мониторинга и обеспечения качества данных
• Знакомы со стеком технологий Hadoop
• Работали с системой визуализации данных DataLens или аналогами