Data engineer

з/п не указана

Требуемый опыт работы: не требуется

Полная занятость, полный день

Ищем в команду Customer decisions engine data engineer. Цель проекта сформировать платформу принятия решения по контактированию с розничными клиентами по всем продуктам Банка и экосистемы с индивидуальной частотой на основе AI.

Чем предстоит заниматься:

  • Создавать и улучшать процессы обработки данных.
  • Анализ исходных данных и их форматов в СУБД для решения бизнес-задач (оценка структуры, качества, полноты и применимости данных);
  • Самостоятельное извлечение, очистка, загрузка и трансформация больших объемов данных из различных источников (Green plum, Orаcle, Hadoop, плоские файлы) в рабочую область (Hadoop) в real-time, а также подготовка требований для разработки промышленных ETL-процессов (CTL);
  • Создание витрин данных (pySpark, sacala).
  • Создание пайплайнов поставки данных.
  • Разрабатывать схемы подключения новых источников данных.
  • Принимать участие в архитектурных решениях.
  • Разрабатывать процедуры формирования детального слоя данных и слоя витрин данных.
  • Контроль качества загружаемых данных, разработка автоматизированных инструментов для оценки качества данных;
  • Реализовывать процессы CI/CD и мониторинга разработанных процессов обработки данных (Grafana, Prometheus).

Что мы ждем от кандидата:

  • Знания принципов работы БД, построения хранилищ данных.
  • Опыта работы разработки ETL процессов.
  • Опыт работы с системами контроля версий (Git).
  • Опыт работы с высоконагруженными распределенными системами хранения и обработки данных.
  • Java/ Scala.
  • Отличное знание SQL, PL/SQL, опыт оптимизации запросов;
  • Желание обучаться и развиваться.

Что мы готовы предложить:

  • Оформление по ТК РФ
  • Социальный пакет (ДМС)
  • Возможность посещения конференций, обучения и сертификации за счет компании (в т.ч. английский язык)
  • Программа льготного кредитования в Сбербанке
  • Дисконт-программы от компаний партнеров
  • Возможность принять участие в других крупных и уникальных проектах банка

Вакансия опубликована 26 апреля 2021 в Москве

Похожие вакансии