Инженер данных
Наша команда развивает собственное решение On-Shelf Availability (OSA) в крупнейшем офлайн-ритейлере Магнит. Мы строим систему сквозного мониторинга доступности товаров для покупателей. Сейчас продукт активно развивается: интегрируемся с действующими системами компании, масштабируем решение на тысячи магазинов, готовим расширение в смежные бизнес-процессы.
Сейчас мы находимся в поиске Инженера данных (middle), который сможет усилить нашу фулл-стек команду (DS, DE, DA).
Задачи
- Разрабатывать, внедрять и поддерживать конвейеры данных (Airflow)
- Развивать и поддерживать объектное хранилище данных (S3)
- Разрабатывать потоки для ETL-процессов между различными хранилищами (PySpark, JDBC)
- Писать код для обработки данных на Spark (PySpark, Spark SQL)
- Автоматизировать рутинные задачи на Python
- Взаимодействовать с владельцем продукта и командой разработки для понимания требований к данным и построения решений, поддерживающих бизнес-цели
Стек технологий: SQL, Python, Spark, Yandex Cloud, Hadoop (Yandex Data Proc), S3 (Yandex Object Storage), Airflow, GitLab, Docker, Kubernetes
Требования
- Опыт самостоятельной работы с распределёнными системами обработки данных (Spark/Hadoop) от 2 лет
- Уверенное знание Python и опыт написания структурированного, поддерживаемого кода
- Уверенное владение SQL
- Уверенные навыки работы со Spark: оптимизация приложений, умение читать план запроса
- Опыт разработки ETL/ELT-процессов
- Понимание схем проектирования хранилищ данных
- Опыт работы с реляционными СУБД (например, PostgreSQL, Teradata, MSSQL, Oracle)
- Понимание принципов работы распределённых высоконагруженных вычислений
- Умение документировать разработанные пайплайны и процессы так, чтобы ими могли пользоваться коллеги
Будет плюсом
- Опыт работы с Big Data или ML-продуктами
- Опыт работы с облачной инфраструктурой (Yandex Cloud, AWS, MS Azure)
- Уверенная работа в Linux
- Понимание принципов работы ритейла, товародвижения и складских процессов
Мы предлагаем
- Оформление в аккредитованную IT-компанию
- Возможность работать из офиса в Москве, Краснодаре или удалённо
- ДМС со стоматологией
- Технику для работы
- Уникальную возможность работать с передовым форматом и развивать его вместе с командой профессионалов
- Безграничные возможности для развития и прокачки своих навыков
- Свободу в принятии решений в рамках общей стратегии
- Корпоративные скидки и программы лояльности от наших партнёров
