DWH разработчик

з/п не указана

Откликнуться
Вы откликаетесь на вакансию в другой стране

Страна размещения вакансии — Россия.

В резюме не указано, что вы готовы туда переехать.

Все равно откликнутьсяНе откликаться
Смотреть отклик

Требуемый опыт работы: 3–6 лет

Полная занятость, полный день

В команде ETL Дирекции больших данных открыта позиция DWH разработчик
Наш стек: Apache Nifi, Apache Airflow, Kafka, Hadoop, Hive, Greenplum

На данный момент, у нас несколько кластеров СУБД Greenplum общий емкостью более 100 терабайт и кластер Hadoop общей емкостью 6 петабайт.

Команда разработки/развития DWH отвечает за прогрузку данных из кластера Hadoop в СУБД Greenplum. Построение основных слоёв хранилища по методу моделирования данных - Data Vault. Проверку архитектурных гипотез на практике и выработку предложений по выбору инструментов для наиболее эффективной реализации задач.

Результат нашей работы - стабильно работающее хранилище, удовлетворяющее потребностям заказчиков и техническим веяниям времени.

Чем предстоит заниматься:

  • Проектирование и разработка потоков данных на ETL/ELT инструментах;
  • Имплементация кастомных трансформаций;
  • Проектирование и построение прототипов, витрин;
  • Анализ производительности, масштабирование существующих систем;
  • Оптимизация SQL запросов и структур баз данных;
  • Разработка процедур на языке PL/pgSQL;
  • Развитие архитектуры DWH, анализ и выбор оптимальных технологий, методологий, инструментов;
  • Создание и актуализация базы знаний для пользователей DWH;
  • Контроль работы внешних подрядчиков.

Наш кандидат:

  • Знание принципов построения хранилищ данных;
  • Понимание архитектур MPP систем;
  • Опыт работы с экосистемой Hadoop/ навыки Data Engineer (HDFS/YARN/Spark/kafka/Nifi/Sqoop/flume и т.д.);
  • Знание SQL (DDL, DML), опыт оптимизации запросов;
  • Опыт работы с Greenplum, либо отличное знание PostgreSQL;
  • Практический опыт работы с SAS DIS/Informatica PowerCenter;
  • Опыт использования систем ведения проектов и документации, сопровождения и мониторинга информационных систем, находящихся в зоне ответственности;
  • Навык работы с Git, Jira, Confluence.

Мы предлагаем:

  • У нас удобный и эргономичный офис рядом с метро Парк Культуры;
  • Гибкий график работы;
  • Оформление по ТК РФ с официальной заработной платой;
  • Возможность обучаться и сертифицироваться за счет компании: очные мастер-классы, платформы онлайн - образования, электронная библиотека;
  • Бонусная программа: ДМС со стоматологией, консультации психолога, страхование жизни и выезжающих за рубеж, скидки в магазинах сети Х5, скидки от компаний-партнеров на Prime-zone.

Ключевые навыки

HadoopNifigreenplumPostgreSQLSQLDWH

Адрес

Парк культуры, Москва, улица Тимура Фрунзе, 11с13

Вакансия опубликована 27 мая 2020 в Москве

Откликнуться
Вы откликаетесь на вакансию в другой стране

Страна размещения вакансии — Россия.

В резюме не указано, что вы готовы туда переехать.

Все равно откликнутьсяНе откликаться
Смотреть отклик
Написать сопроводительное письмоПисьмо отправлено

Сопроводительное письмо к отклику