Data Engineer (интеграция с источниками)

Мы построили кластер Hadoop общей емкостью 1 петабайт. Команда ETL отвечает за интеграцию кластера с источниками данных. Мы загружаем данные из различных источников как внутри компании, так и извне в кластер Hadoop. Результат работы механизмов, которые разработала наша команда, — стабильно обновляемые базы данных в Hive. На основе этих баз данных ДБД разрабатывает различные продукты для широкого круга заказчиков внутри X5 Group и снаружи.

Стек

Java, Python, Groovy, Spring boot, NiFi, Gradle, Spark, Kafka, Hadoop, Gitlab, Docker, Kubernetes, Jira, Confluence, Idea

В нашей команде тебе предстоит:

Разрабатывать ETL приложения и тесты к ним
Проводить технический анализ источников данных
Исправлять ошибки загрузки данных
Применять и развивать инженерные практики в команде
Настраивать CI и деплоить приложения в Kubernetes
Поддерживать и развивать существующую кодовую базу

Мы ждем тебя, если ты:

Владеешь навыком работы с GIT

Имеешь хорошие знания SQL (Oracle/PostgreSQL/MSSQL)
Знаешь CI/CD (Gitlab CI)
Владеешь навыком работы с Docker
Имеешь опыт работы с Linux
Работал в BigData проектах
Можешь общаться и понимать технический английский

Условия работы

Удобный офис рядом с м. «Добрынинская» / удобный офис с бесплатной парковкой на м. «Волгоградский проспект» / МЦД «Калитники»

Возможность работать удалённо или в гибридном формате

Поможем в обучении и развитии

Научим круто рассказывать

о том, что ты делаешь

Внутренняя школа спикеров и авторов
Возможность участвовать в крупнейших
конференциях страны и прокачать
личный бренд

Вместе прокачаем харды и софты

Корпоративный университет, онлайн-библиотека,
программы развития управленческих навыков
Дистанционные курсы на образовательных
платформах
Тренинги, митапы и вебинары