Разработчик ETL Framework

Команде предстоит большой блок работ по строительству новой платформы данных на базе GreenPlum, HDFS/S3, ClickHouse, Tarantool, с запуском ELT фреймворка на стэке Airflow, Nifi, DBT, Spark, Kafka, Python, SQL. Плюс гейт в компоненты и практики Data Governance, Data Quality, DataOps (CI/CD).
Чем Вам предстоит заниматься:
– Разработка/Внедрение ELT фреймворка (автоматизация процессов трансформации данных между HDFS/S3, GreenPlum, ClickHouse, Tarantool). Развитие функциональности, оптимизация (необходима высокая скорость обработки большого объема данных);
– Интеграция ELT с фреймворками контроля качества, каталогом метаданных. (datastore, featurestore и datalinage)
– Настройка мониторинга. Разработка компонент анализа производительности и мониторинга ELT;
– Участие в выборе технологий, компонентов, архитектуры решений;
– Создание ETL процессов в рамках созданного framework
– Review работ коллег, внешних подрядчиков;
– Пилотирование выбора фреймворка, модулей интеграционного взаимодействия
Что ожидаем от кандидата:
– Опыт работы с промышленным ETL/ELT решением, опыт работы/создания ETL/ELT фреймворка;
– Опыт оптимизации и настройки производительности ETL/ELT компонент;
– Опыт разработки Apache Airflow, Apache Nifi, Apache Spark (PySpark Framework);
– Опыт ООП разработки на Python;
– Опыт работы, понимание особенностей современных СУБД;
– Опыт разработки, оптимизации SQL-процедур и запросов;
Будет плюсом:
– Понимание особенностей работы с MPP решениями GreenPlum, ClickHouse, Hadoop (Hive/Impala;
– Опыт интеграции ETL/ELT фреймворка с datastore, featurestore и datalinage компонентами;
– Опыт автоматизации командной разработки: CI/CD, git, Jira, автотесты, … .
– Опыт работы с DBT;
Условия:
Созидательная среда и интересные проекты
Работа в команде профессионалов. Неравнодушных, активных, ответственных за свой результат.
Конкурентная заработная плата и система премирования.
Привлекательный социальный пакет:
медицинская страховка с первого дня работы
отпуск 33 календарных дня
материальная помощь и дополнительные выплаты
дисконтные и корпоративные программы компаний-партнеров
Обширные возможности для всестороннего развития и расширения кругозора сотрудников:
программы по развитию профессиональных знаний, личных качеств, управленческих компетенций
-ГПБИнтеллекторий, КВИЗы, Спартакиада, программы Трансформации Духа, разума и силы – лайфхаки от гуру в различных областях:
-знакомство и обмен опытом с коллегами из других подразделений и других городов
-танцы, занятия по вокалу, актерскому мастерству – это только малая часть айсберга корпоративно-культурной жизни, предлагаемой сотрудникам.
Комфортные условия работы
Готовы предложить удаленный (РФ) или гибридный формат работы.