Дата инженер

1 день на сайте

VK Tech

Москва гибкий удалённо Инженерия данных полный Middle

Откликнуться на сайте VK Tech →

Задачи

Разработка DWH платформы;
Проектирование схем для хранения данных;
Автоматизация загрузки данных из различных источников (как внутренние БД, так и внешние аналитические/ маркетинговые платформы и т.д.);
Автоматизация data-pipelines, ETL процессов;
Автоматизация построения витрин данных;
Организация CI/CD и мониторинга процессов обработки данных;
Готовность разбираться в чужом коде;
Ревью кода в команде.

Требования

Опыт DWH разработки от 1 года, знание Python;
Понимание принципов работы классических СУБД;
Работа с Linux & Bash.

Будет плюсом

Знакомство и опыт работы с экосистемой Hadoop;
Знакомство и опыт работы с экосистемой YTsaurus;
Опыт работы с ClickHouse;
Опыт организации ETL-процессов обработки данных.

python