Чем вы будете заниматься:

• Разработка и поддержка автоматизированных ETL/ELT процессов;
• Интеграция источников данных в Data Lake;
• Сбор, обработка и парсинг "сырых" данных;
• Написание сервисов для работы с внешними источниками/потребителями данных;
• Создание инфраструктуры передачи больших данных;
• Обработка и аркестрация данных при помощи Spark и Airflow, NiFi и аналоги;
• Обработка real-time данных;
• Написание ТЗ для DevOps, DevSecOps, Data Ingineer;
• Развитие систем управления данными, систем ETL и BI отчетности.

Эта работа для вас, если имеете:

• Опыт проектирования и разработки архитектуры БД;
• Опыт работы c MPP системами (Greenplum);
• Опыт разработки Python и Java/Scala;
• Опыт разработки сложных SQL запросов;
• Опыт работы с ETL инструментами;
• Опыт работы и понимание принципов оптимизации структур данных, потоков данных и алгоритмов;
• Опыт проектирования и реализации загрузки и преобразования данных.

Преимуществом будет:

• Уверенные знание Python;

• Опыт развития BI отчетности;

• Знание принципов гибкого подхода MLOps;
• Знание Dags.

Ждём ваше резюме!