Team Lead Data Engineer в Чековую аналитику

PythonHadoop

Основная задача, которую решает направление чековой аналитики — это обеспечение доступности товара на полке для конечного потребителя. У нас разработаны 2 системы, которые помогают в решении этой задачи: 1) Система детекции аномалий в продажах и отправка предупреждение для сотрудников магазинов о том, что нужно проверить/положить товар на полки; 2) Система, выполняющая оценку упущенных продаж и нахождение причин недоступности товаров. На выходе получается дашборд, с которым работает менеджмент компании, чтобы управлять доступностью товаров. Проект строится вокруг ML моделей, также большая часть проекта связана с биг-дата-инженерией и интеграционными сервисами. Продукт работает на масштабе всех магазинов торговых сетей Пятерочка и Перекресток.

В нашей команде тебе предстоит:

Заниматься написанием пайплайнов по работе с данными с использованием Airflow, Spark (пример: регулярный расчет фичей для модели, построение витрин с данными, их обновление, расчет метрик качества данных для мониторинга);
Оптимизировать расчеты для выдерживания SLA;
Настраивать мониторинг и алертинг качества данных и фичей;
Проектировать продукты (пример: пайплайны данных, микросервисы, взаимодействие с бэкендом);
Выбирать оптимальное хранилище данных, движка расчетов, под различные проекты/продукты подразделения;
Заниматься миграцией на новые версии hadoop, spark;
Общаться с заказчиком/продуктом, понимать бизнес-логику (пример: приземлить желания бизнеса на наши доступные данные). Также детальное погружение в требования бизнеса и оценка трудозатрат, поиск альтернатив;
Общаться с аналитиками (пример: поставить задачу на проверку качества данных смежной команде и по итогам сделать ревью), перевод концепций в SQL.

Мы ждем тебя, если ты:

Владеешь опытом работы с Python от 5 лет;
Имеешь опыт с Hadoop, Hive, Spark, понимание архитектуры больших данных;
Обладаешь опытом работы с потоками данных (Kafka или аналог);
Знаешь SQL;
Знаешь классические алгоритмы и структуры данных;
Имеешь опыт работы с docker, git (kubernetes, pyspark, airflow и ds фреймворков – не обязательно, но будет плюсом);
Умеешь нанимать команду и развивать ее, брать ответственность за ее результат.

Будет дополнительным плюсом:

Понимание процессов тестирвоания (unit tests, pytest), тестов для различных участков ML пайплайна, участие в код ревью;
Внедрение и поддержание правил оформления кода в команде (с использованием CI, а также собственной харизмы);
Опыт работы с ML, выведения ML моделей в прод.

Поможем в обучении и развитии

Научим круто рассказывать

о том, что ты делаешь

Внутренняя школа спикеров и авторов
Возможность участвовать в крупнейших
конференциях страны и прокачать
личный бренд

Вместе прокачаем харды и софты

Корпоративный университет, онлайн-библиотека,
программы развития управленческих навыков
Дистанционные курсы на образовательных
платформах
Тренинги, митапы и вебинары