Создавать и улучшать процессы обработки данных (NiFi, Airflow, SQL). Оптимизировать запросы к данным (партиционирование, индексы, дистрибьюция, ... ). Делать витрины (Greenplum, Clickhouse, ... ).

Уровень: Middle / Senior. Знания принципов работы БД, построения ХД. Опыт разработки ETL процессов (NiFi, Pentaho, Informatica, SSIS, Spark).

Обобщаем все клиентские взаимодействия с компанией в одну историю, под одним универсальным идентификатором. Прогнозируем и корректируем общую выручку от клиента...

Клиентский опыт: Проработал от 2-х лет на должности data engineer. Знаешь SQL на высоком уровне (в т. ч.

Анализ требований к витринам данных (взаимодействие с владельцем продукта, BI-разработчиками, data scientist-ами). Поиск и исследование источников данных для...

Опыт разработки на Spark, Scala/Python от 2 лет. Знание стека: Hadoop, Airflow, PostgreSQL, Kafka.

Разрабатывать и сопровождать решения для пакетной и потоковой выгрузки данных из корпоративных и внешних систем в аналитическое хранилище (основной стек...

Опыт обработки больших данных, знание принципов работы БД и методологий моделирования. Продвинутый уровень владения Spark, Python, Apache AirFlow, SQL.

Разработка процедур загрузки и обработки данных с помощью языка программирования Python в среде Azure Data Bricks / Azure Data Factory.

Знание принципов построения баз данных и принципов построения запросов из различных приложений к ним. Опыт разработки на языке Python, в...

Разрабатывать витрины данных. Интегрировать новые источники данных в DataLake. Обрабатывать потоковые данные (streaming). Контролировать качество загружаемых данных. Проводить код ревью.

Понимание работы СУБД и принципов построения хранилищ данных. Опыт работы с Hadoop (Spark, HDFS, YARN etc.). Отличное знание SQL, Python...