Tech Lead Data Engineer

з/п не указана

Требуемый опыт работы: 3–6 лет

Полная занятость, полный день

Утконос ОНЛАЙН – современный фудтех, магазин нового поколения, онлайн платформа и сервис по доставке продуктов питания и сопутствующих товаров. Мы входим в инвестиционную группу «Севергрупп» и инновационно совмещаем традиционные и современные технологии розничной торговли.

Data Office – подразделение, занимающееся монетизацией данных. Развиваем и поддерживаем ETL-процессы, выстраиваем Data Governance, поддерживаем BI, встраиваем ML модели в наш CRM, сайт и приложение, встраиваем ML модели в процессы Коммерции и Операций.

В команде сейчас 3 человека + 3 вакансии на расширение.

Что сделано на текущий момент:
- DWH on Oracle. Near 200 datamarts (понимаем что пора строить DataLake)
- Airflow. Около 500 дагов. Как "Today-1" так и "near realtime"
- Другие ETL-системы (QlikSense, QlikView, windows batch, sas) с которыми нужно дружить (зависимые запуски)
- Clickhouse для хранения кликстрима

Общие задачи отдела:
- поставка необходимых данных и для отдела аналитики и для бизнеса напрямую
- вывод на регламент прототипов витрин от аналитиков и команд DS

Твои задачи:

- Техническое развитие и помощь в найме команды

- Управление потоком задач и реализация особо сложных потоков обработки самостоятельно

- Подключение новых источников данных (Kafka, rest, postgres)

- Оптимизация существующих потоков данных и выведение в прод новых

- Лидирование выбора решения по выстраиванию архитектуры по сбору и хранению данных

Необходимые навыки:

  • Spark (pyspark)
  • Kafka
  • Python 3 (airflow, celery, flask)
  • Kubernetes

Формат работы:

Частичная удаленка (обсуждаемо)

Офис: мы расположены в 10 минутах от ст. м. Улица 1905 года или Баррикадная. У нас красивый офис в стиле лофт где помимо удобных рабочих столов с комфортным освещением есть лаунджи, где можно почитать или поработать на мягких пуфах

Здоровье: пакет ДМС со стоматологией

Корпоративные программы: Samsung, «Карофильм», Lamoda, Rendez-Vous, английский со Skyeng, TUI, MAJOR, «Инград», зарплатный проект с ВТБ, Альфа банк и Сбербанк

Спорт: скидки на йогу и фитнес от сетей X-FIT, World Class

Питание: в офисе оборудованы кухни и расположены вендинговые аппараты.

Еще у нас есть своя кофейня и иногда мы кооперируемся для походов за едой тк вблизи много кафе и ресторанов

Реферальная программа «Приведи друга»: потому что мы и друзья, и коллеги

Атмосфера: у нас уютная атмосфера и регулярные дегустации вкусняшек. Мы открытые и проактивные, поэтому любые вопросы и идеи по какому-либо продукту или процессу можно обсудить напрямую с его автором или руководителем проекта

Перспектива: нам 20 лет, но в душе мы остаемся стартапом, который верит в будущее E-grocery. Вы можете расти вместе с нами и осуществлять свои идеи в любом направлении бизнеса

Развитие: регулярные семинары и тренинги, внешние и внутренние мероприятия и обучение

Ключевые навыки

Kubernetes
Spark
Kafka

Адрес

Баррикадная, Краснопресненская, Улица 1905 года, Москва, Столярный переулок, 3к6
Показать на большой карте

Вакансия опубликована 31 мая 2021 в Москве

Похожие вакансии