Data Engineer в Маркет

Яндекс Маркет — один из крупнейших мультикатегорийных маркетплейсов, которым ежедневно пользуются миллионы людей. Наши команды помогают покупателям приобретать товары не выходя из дома и получать заказы по всей стране, а партнёрам — развивать свой бизнес, повышая продажи и привлекая новых клиентов.

Мы команда инженеров данных, и наш продукт — Data Warehouse (хранилище данных), которое мы строим для нужд бизнес-подразделений. Наши пользователи — как руководители Маркета, которым нужна отчётность для принятия решений, так и эксперты в области глубокого анализа данных. Можно утверждать, что все бизнес-подразделения Маркета являются потребителями поставляемых нами данных.

Технологически ядро хранилища построено на системах хранения данных YTsaurus и СlickHouse. Разработка процессов ETL идёт на собственном фреймворке, который создан внутри Яндекса.

Наше хранилище данных сейчас одно из самых крупных в России — порядка 30 петабайт — и с учётом темпов роста бизнеса обещает стать самым большим. К нему предъявляются высокие требования по надёжности, что ставит перед нашей командой нетривиальные задачи, для которых нет готовых решений.

Задачи и обязанности

Принятие конечных сетевых решений по реализации поставок данных

Вам предстоит проектировать схемы поставок данных, выбирать подход к внесению доработок в витрины за оптимальное время с минимизацией рисков от релизов. И ещё нужен будет критический взгляд на результат в интересах потребителей данных.

Развитие фреймворков обработки данных

Вы будете применять существующие инструменты работы с данными и выделять их недостатки, продвигать повестку по их улучшению или поиску новых для более эффективного решения задач.

Руководство реализацией сложных технических поставок

Нужно будет разбираться в алгоритмической составляющей инструментов и находить эффективные решения, в том числе упрощая постановку задачи.

Больше о разработке в Яндексе — в канале Yandex for Developers

Требования

• Уверенно знаете Python на уровне написания собственного фреймворка и SQL на уровне оптимизации запросов
• Умеете проектировать DWH: слои, модели хранения данных, процессы ETL
• Хорошо понимаете принципы работы распределённых систем Hadoop или YTsaurus, ClickHouse
• Умеете выбирать технологии для решения конкретных задач
• Знаете основные алгоритмы и структуры данных, особенно используемые в работе с большими данными
• Имеете опыт работы от трёх лет
• Умеете работать в командной строке Unix-подобных систем (Linux, macOS)

Дополнительные требования

• Имеете опыт промышленной разработки на C++
• Работали в ecom-отрасли
• Решали задачи в роли аналитика, управляли командой или проектами