Data Engineer

Прикладная аналитическая платформа Сбер B2C — это решение, позволяющее создавать аналитические витрины на DataLake по различным направлениям бизнеса.

Синергия в продуктах и сервисах на основе клиентских путей, каждодневное предвосхищение потребностей клиента и формирование целостного предложения для сегментов от Сбера и компаний-партнеров — ключевая задача нашей команды.

Мы активно расширяемся и усиливаем нашу команду, поэтому ищем Middle Data Engineer.

Обязанности

• разработка витрин данных
• создание и оптимизация пайплайнов сбора и обработки данных
• разработка и оптимизация базового слоя хранилища данных
• контроль качества загружаемых данных.

Требования

• отличные знания SQL: оптимизация запросов, понимание планов запроса, внутренней работы SQL (оптимизация запросов, hash join, nested loop, типы индексов и т.п.)
• владение фреймворком Spark и опыт разработки приложений на Spark
• знание и опыт программирования на Scala/Java, готовы рассмотреть Python
• знание основных компонент инфраструктуры Hadoop, понимание принципов их работы
• опыт работы со стриминговым ETL: Flink/Kafka, как плюс
• понимание концепции хранилищ данных (DWH, Data Lake): слои, витрины, агрегаты, Data Quality, полная-инкрементальная загрузки, как плюс.

Условия

• гибкий график
• официальное трудоустройство согласно ТК РФ
• белая заработная плата (оклад + годовая премия)
• страхование (от несчастных случаев, ДМС - с первого дня)
• оздоровительные программы для детей сотрудников
• возможность обучения за счет компании
• выплаты материальной помощи в особых/чрезвычайных случаях
• дисконт-программы от компаний партнеров (фитнес, страхование, туризм)
• льготное кредитование
• столовая на территории офиса.