Data Engineer (remote)

2) ETL/ELT. Управление потоками данных, наполнение Data Lake и DWH, создание витрин и подобное. Для этого используются Airflow и...

До конца года мы хотим совсем отказаться от MSSQL и разгрузить Clickhouse от нетипичных для него задач. Для этого мы...

Миграционные задачи: перенос существующих витрин на фреймворк SDP Hadoop. Развитие и внедрение продуктов Сбербанка.

Опыт работы от 2х лет. Навыки программирования на Java. Наличие практического опыта работы с Hadoop (Hive, Impala, sqoop, oozie...

Проектирование и разработка процессов загрузки данных в единое хранилище данных Apache Hadoop. Оптимизация и настройка производительности ETL процессов (Apache Airflow...

Опыт работы c Linux (Centos/Ubuntu), Docker. Опыт работы с экосистемой Apache (HDFS, Hive/Spark, Apache Airflow). Уверенные знания одного...

Работа с большими данными на входе. Развитие культуры визуализации информации. Кросс-валидация по различным источникам. Формирование и ревью схемы данных...

Опыт работы с Tableau. Хорошее знание SQL. Понимание ООП, design patterns. Опыт работы с Docker. Опыт работы с UNIX-based...

Участие в разработке ядра продуктов Data Platform. Разработка и оптимизация процессов выгрузки данных.

Знание одного из языков программирования: Python, Java, Go. Знание основ ООП, теории алгоритмов, структур данных. Знание SQL. Опыт написания процессов...

Сбор статистических данных из внутренних и внешних источников в наш data-lake на базе Hadoop (по заказу внутренних заказчиков и...

Опыт промышленной разработки на Python. Уверенные знания SQL/оконные функции/CTE. Опыт работы с инструментами экосистемы Hadoop: Hive, Impala.