Senior Data Engineer (DWH, Spark)

Разработка хранилища данных на базе ClickHouse. Построение ETL-процессов. Написание / оптимизация / профилирование SQL/NoSQL запросов. Расчет сложных аналитических показателей в...

Глубокие знания SQL. Умение работать с планами запросов. Опыт работы с ClickHouse. Опыт работы с брокерами сообщений (Kafka).

Проектирование, разработка, внедрение и управление хранилищем данных и связанной с ним архитектурой, моделями данных и решениями по интеграции данных.

Минимум 5 лет опыта работы с хранилищами данных, включая проектирование, разработку и администрирование. Обязателен опыт руководства командой по хранению данных.

Развитие аналитического DWH. Планирование архитектуры, выбор технологий и организация процессов работы с хранилищем. Проектирование и реализация практик из области управления...

Опыт работы на аналогичной позиции от 3х лет. Уверенное знание SQL, Python. Опыт работы с ClickHouse, AirFlow.

Разработка отчетности (SSRS, Power BI). Разработка ETL процессов в DWH (MS SQL). Разработка интеграции DWH с внешними источниками (SSIS).

Профильный опыт от 5 лет. Опыт работы с MS SQL Server 2016 или выше, уверенное знание типов данных, принципов работы.

Разработка/поддержка автоматизированных регулярных ETL процессов. Настройка облачной ETL инфраструктуры. Внедрение ETL-процессов. Создание витрин данных. Участие в построении DWH.

Уверенное знание SQL. Знание Python. Умение организовывать ETL-процессы. Опыт работы с Google Cloud. Опыт работы с Apache Airflow.

Разработка и поддержка баз данных в экосистеме hadoop (HBase/hdfs). Разработка пайплайнов по сбору и обработке реалтайм данных на базе...

Уверенное знание Python. Знание SQL для работы с Clickhouse. Опыт работы в экосистеме Hadoop. Хорошее знание Apache Spark.