Проект по миграции внутренних корпоративных систем в единое хранилище данных на платформе Hadoop.
ЧЕМ ТЫ БУДЕШЬ ЗАНИМАТЬСЯ:
- Разработка ETL процессов;
- Разработка потоков обработки данных на PySpark;
- Создание DAGs в AirFlow;
- Разработка систем контроля качества данных;
- Написание Bash скриптов;
- Обработка структурированных данных (XML/JSON) на Python/PySpark;
- Исправление багов и проблем функционала;
- Работа с системами контроля версий GIT.
ТЫ НАШ ИДЕАЛЬНЫЙ КАНДИДАТ, ЕСЛИ У ТЕБЯ: - Знание SQL на уверенном уровне;
- Уверенное владение ЯП Python;
- Опыт работы с любым ETL инструментом;
- Опыт работы с СУБД (Oracle, MS SQL, PostgreSQL);
- Опыт работы с Linux;
- Опыт работы с Hadoop (Hortonworks);
- Опыт работы с инструментами обработки больших данных (Spark, MapReduce и др.);
- Опыт работы с Kafka, Debezium, ClickHouse, DataHub.
У НАС ТЫ СМОЖЕШЬ НАЙТИ:
- Официальное трудоустройство по ТК РФ;
- Амбициозные задачи и проекты;
- Работа в команде профессионалов в доброжелательной атмосфере;
- Подключение к программе ДМС (включает стоматологию, обследования, лечение заболеваний и т.д.), а также возможность страхования родственников по корпоративной цене;
- Корпоративное обучение и развитие (портал обучения и развития удаленным доступом 24/7; собственный Центр развития компетенций);
- Насыщенная корпоративная жизнь: яркие корпоративы, праздники для детей сотрудников, корпоративные спортивные мероприятия; мотивационные награждения.
Мы ищем кандидата без привязки к локации.
Офисы компании находятся в городах: МОСКВА, САНКТ-ПЕТЕРБУРГ, НИЖНИЙ НОВГОРОД, САРАТОВ, ВОРОНЕЖ, ПЕНЗА.