Data Engineer

з/п не указана

Требуемый опыт работы: 3–6 лет

Полная занятость, удаленная работа

Команда занимается развитием и поддержкой корпоративного хранилища данных в Лаборатории Касперского.

Один из ключевых проектов - подготовка данных для системы маркетинговых коммуникаций. На текущий момент мы меняем архитектуру проекта с батчевых процессов на стриминговую модель (Kafka + Spark Streaming)

Также мы активно занимаемся развитием DataLake на базе Hadoop (ArenaData) и подключаем всё больше новых источников данных. ETL процессы реализуются на связке Airflow, Spark, Hive.

Обязанности:

  • Разработка процессов загрузки данных из внешних источников в DataLake и формирование витрин данных в DWH (Airflow, Spark, Hive);
  • Разработка стриминговых пайплайнов на Spark Streaming;
  • Совместно с командой и архитектором заниматься развитием подходов к обработке данных;
  • Разработка автотестов на процессы загрузки данных;
  • Разработка мониторингов качества данных.
Требования:
  • Уверенное знание SQL;
  • Уверенный опыт разработки на Python;
  • Понимание принципов работы БД и построения хранилищ данных;
  • Опыт работы с большими объемами данных и оптимизации производительности;

Будет плюсом:

  • Опыт работы с Hadoop стеком (Spark, Hive) ;
  • Опыт работы с Airflow и ETL-инструментами.
  • Опыт работы с Kafka;
  • Опыт работы с MS SQL Server;
  • Опыт работы с Docker, Kubernetes;

Готовы обсуждать удаленный формат работы.

Мы предлагаем:

Интересную работу

Команда лучших экспертов

Масштабные задачи

Самые современные технологии

Расширение технического кругозора

Социальный пакет

ДМС и страхование жизни (включая детей) с первого дня

100% оплата больничного

Бесплатное обучение: митапы, конференции, сертификации, 8 иностранных языков

Ежемесячный бонус на питание

Оплата мобильной связи

Комфортные условия

2 спортзала и сауны прямо в офисе

Свой ресторан и бар

Врач и массаж в офисе

Программа релокации для кандидатов из регионов

Ключевые навыки

Spark
Python
SQL
Hadoop
ETL
Big Data

Вакансия опубликована 12 ноября 2021 в Москве

Похожие вакансии