Data engineer (интеграция с источниками)

На данный момент, у нас построен кластер Hadoop общей емкостью 1 петабайт. Команда ETL отвечает за интеграцию кластера с источниками данных. Мы загружаем данные из различных источников данных (как внутри компании, так и извне) в кластер Hadoop. Результат работы разработанных нашей командой механизмов - стабильно обновляемые базы данных в Hive. На основе этих баз данных ДБД разрабатывает различные продукты для широкого круга заказчиков внутри X5 Group и снаружи.

Стек

Java, Groovy, Spring boot, NiFi, Gradle, Spark, Kafka, Hadoop, Gitlab, Docker, Kubernetes, Jira, Confluence, Idea

В нашей команде тебе предстоит

Разработка ETL Java приложений и тестов к ним;
Технический анализ источников данных;
Отладка и исправление ошибок загрузки данных;
Применение и развитие инженерных практик в команде;
Настройка CI и деплой приложений в Kubernetes;
Поддержка и развитие существующей кодовой базы.

Мы ждем тебя, если ты имеешь

Навык работы с GIT
Уверенные знание Java;
Хорошие знания SQL (Oracle/PostgreSQL/MSSQL);
Знание и понимание CI/CD (Gitlab CI)
Навык работы с Docker;
Опыт работы с Linux;
Опыт работы в BigData проектах;
Технический английский.

Условия работы

Удобный офис рядом с м. "Добрынинская" / удобный офис с бесплатной парковкой на м. "Волгоградский проспект" / МЦД "Калитники".

Возможность работать удалённо или в гибридном формате.

Поможем в обучении и развитии

Научим круто рассказывать

о том, что ты делаешь

Внутренняя школа спикеров и авторов
Возможность участвовать в крупнейших
конференциях страны и прокачать
личный бренд

Вместе прокачаем харды и софты

Корпоративный университет, онлайн-библиотека,
программы развития управленческих навыков
Дистанционные курсы на образовательных
платформах
Тренинги, митапы и вебинары