Дата-инженер — Spark

Развиваем лучшие практики ETL и производительность Spark-процессов. Ищем дата-инженера, который будет находить узкие места и внедрять улучшения в ETL-процессы

Обязанности

• Анализировать работу существующих Spark-процессов, искать проблемные места и давать рекомендации по их улучшению

• Вырабатывать и документировать лучшие практики Iceberg + Spark для сообщества дата-инженеров

• Развивать алгоритм выделения ресурсов для ETL-процессов на Spark

• Искать и реализовывать стратегические меры, которые улучшат производительность ETL-процессов на Spark

Требования

• У вас есть промышленный опыт реализации ETL-процессов

• Есть опыт анализа данных, знаете математическую статистику

• Глубоко понимаете архитектуру хранилищ данных DWH и озер данных DLH

• Знаете на уверенном уровне принципы распределенных данных и вычислений

• Отлично разбираетесь в Spark

Задачи

Команда ETL Performance разрабатывает и контролирует соблюдение лучших практик разработки ETL-процессов и внедряет их в работу команд. Мы влияем на интегральные показатели эффективности и скорости разработки ETL-процессов.

Мы системно улучшаем метрики процессов регулярного обновления данных, отвечаем за утилизацию ресурсов платформы с помощью ETL и вырабатываем лучшие практики в технологиях целевого стека Spark + Iceberg/S3 и их трансляцию.

Узнать больше о профессии: дата-инженеры в Т‑Банке.

Мы предлагаем

• Работу в офисе или удаленно — по договоренности

• Возможность работы в аккредитованной ИТ-компании

• ДМС со стоматологией, включая чекапы, компенсацию покупки лекарств и льготные условия страхования для близких. Еще — страховка от несчастных случаев и болезней

• Рост по карьерному треку: проходите курсы по софт- и хард-скиллам, развивайтесь с поддержкой ментора и повышайте уровень с матрицей компетенций и регулярным ревью

• Сильное комьюнити. Вы будете работать с экспертами в своей области, сможете делиться знаниями и выступать на конференциях, посещать митапы и писать статьи

• Онлайн-консультации с психологами, юристами, специалистами по финансам и здоровому образу жизни

• Компенсацию затрат на спортивные абонементы, приложение Т-Спорта для онлайн-занятий и командные тренировки с коллегами

• 3 дополнительных дня к отпуску — можно использовать для отдыха или получить компенсацию

• Специальные тарифы на продукты Т-Банка и широкую программу скидок от партнеров

• Достойную зарплату — обсудим ее на собеседовании