Data Engineer (Python Hadoop Spark)
Стек
Python 3.5-3.8, Fastapi, Hadoop, PySpark + Airflow, PostgreSQL, Kafka, Kibana, ElasticSearch, Docker, K8s, GitLab
В нашей команде тебе предстоит:
- Писать пайплайны по работе с данными с использованием Airflow, Spark (регулярный расчет фичей для модели, строить витрины с данными и обновлять их, рассчитывать метрики качества данных для мониторинга и др.);
- Оптимизировать расчеты фичей для модели с целью выдерживания SLA при масштабировании продукта под большее количество магазинов;
- Настраивать мониторинги и алертинги качества данных и фичей с использованием Zabbix, Grafana;
- Писать unit tests (pytest), тесты для различных участков ML-пайплайна, участвовать в ревью кода.
Мы ждем тебя, если ты:
- Имеешь опыт работы с Python от 2 лет;
- Работал с Hadoop, Hive, Spark;
- Знаешь SQL (чтобы писать и оптимизировать запросы);
- Знаешь классические алгоритмы и структуры данных;
- Имеешь опыт работы с Docker (Kubernetes, Pyspark, Airflow и DS фреймворками Python– необязательно, но будет плюсом).
Условия работы
- Гибкий график работы (с 8/9/10/11 утра);
- Любой формат работы на выбор: полная удаленка, гибридный формат, работа из офиса.
Поможем в обучении и развитии
Научим круто рассказывать
о том, что ты делаешь
- Внутренняя школа спикеров и авторов
- Возможность участвовать в крупнейших
конференциях страны и прокачать
личный бренд
Вместе прокачаем харды и софты
- Корпоративный университет, онлайн-библиотека,
программы развития управленческих навыков - Дистанционные курсы на образовательных
платформах - Тренинги, митапы и вебинары
Предоставим не просто социальный пакет, а пакет с пакетами
Наградим плюшками передовой
компании
- Удалённый или в гибридный формат работы
- Премии по результатам работы
Позаботимся о здоровье
- Широкий пакет ДМС со стоматологией
- Онлайн-психотерапия от «Ясно»
Поделимся скидками сотрудника
«Пятёрочка», «Перекрёсток», «Много лосося», «Перекресток Впрок», а также программа привилегий Prime-zone
Покажем, насколько яркой может быть корпоративная жизнь
Организуем встречи
с топ-менеджментом: слышим
и открыто делимся планами
и результатами
Поощряем активность
сотрудников
За участие в жизни компании награждаем ачивками и баллами, на которые можно купить классный мерч
Развиваем корпоративные
сообщества
Технические, лайфстайл, спортивные или все сразу? Выбирать тебе!
Творим добро
Организовываем благотворительные ярмарки, выезжаем в приюты и устраиваем субботники
Помогаем реализовываться
Корпоративное предпринимательство X5 Idea Challenge
Устраиваем масштабные праздники
Корпоративы, день рождения компании, новый год, день IT-специалиста, день спасибо.
Поделиться вакансией