Стек: StarRocks, Apache Airflow, Python, PostgreSQL, Gitlab, Jira и Сonfluence.

Задачи, которые будут в твоих руках:

• Разработка, тестирование и поддержка data lakehouse решения согласно бизнес требованиям и лучшим практикам инженерии данных;
• Разработка процессов извлечения, преобразования и загрузки данных в data lakehouse;
• Интеграция решений по управлению данными включая: безопасность, качество, конфиденциальность, происхождение данных;
• Умение писать и оптимизировать запросы;
• Коммуникация с архитекторами данных, разработчиками и IT для достижения целей проекта.

Что для этого нужно:

• Опыт работы в качестве инженера данных или аналогичной должности более 3-х лет;
• Знание реляционных баз данных, таких как PostgreSQL, MySQL, MS SQL и баз данных NoSQL, таких как MongoDB;
• Опыт работы с архитектурой данных и хранилищами данных;
• Наличие знаний Apache Kafka для обработки данных в реальном времени;
• Опыт пакетной обработки данных с инструментами ETL;
• Знание базы данных StarRocks является плюсом;
• Опыт работы с Apache Airflow/Python для интеграции и оркестрации данных обязателен;
• Умение работать в команде;
• Степень в области компьютерных наук, информационных технологий или аналогичной области; степень магистра является плюсом;
• Готовность работать по часовому поясу UTC +7.