Senior Data Engineer

з/п не указана

Требуемый опыт работы: 3–6 лет

Полная занятость, удаленная работа

Привет!

Кошелёк — мобильное приложение, которое заменяет физический бумажник с пластиковыми картами.

Наша миссия — сделать покупки удобнее и выгоднее для пользователей и избавить мир от пластиковых карт. Вы можете перенести существующие банковские и дисконтные карты в приложение «Кошелёк», а также выпустить новые карты из каталога приложения.

В приложении уже зарегистрировано 20 миллионов пользователей. В нашей команде более 250 сотрудников, большая часть команды работает в главном офисе в Петербурге.

В Кошельке мы собираем и анализируем много разной информации. В данный момент у нас около десяти терабайт сжатых сырых данных и мы активно растем. Инфраструктура почти не менялась с самого запуска приложения и уже не справляется с поставленными перед ней задачами.

Всего у команды инженеров данных в нашей компании есть три направления работы:

1) Инфраструктура. Это поддержка всех наших серверов, сервисов и инструментов.

Сейчас у нас используются MSSQL и Clickhouse.

Мы переезжаем на полностью новую инфраструктуру хранения и обработки данных.

До конца года мы хотим совсем отказаться от MSSQL и разгрузить Clickhouse от нетипичных для него задач. Для этого мы поднимаем Greenplum.

Сырые данные мы храним в Minio, а обрабатывают это все Airflow с Flink'ом.

Кроме того, есть и PowerBI, и Metabase, и Zeppelin, и Jupyter. Нужно следить за тем, чтобы это все работало и улучшать.

2) ETL/ELT. Управление потоками данных, наполнение Data Lake и DWH, создание витрин и подобное. Для этого используются Airflow и Flink.

3) Автоматизация работы аналитиков. Сюда входит создание скриптов и инструментов, которые помогают автоматизировать рутинные задачи.

Что ждём от вас:

  • опыт поддержки инфраструктуры данных (devops, аналитические базы данных, ETL-инструменты, BI-инструменты);
  • опыт коммерческой разработки (предпочтительно Python и Java);
  • опыт работы с потоками данных и их загрузкой (ETL, батчи, потоковая обработка);
  • понимание принципов работы big data стека;
  • опыт работы с терабайтами данных;
  • умение работать с аналитиками (запросы на витрины данных и автоматизацию);
  • желателен опыт администрирования и работы с Greenplum и Clickhouse;
  • желателен опыт с Airflow, Flink и Minio.

Со своей стороны предлагаем:

  • участие в развитии полезного и популярного приложения (14 млн MAU);

  • работу с сильной инженерной командой;

  • оформление по ТК РФ, ДМС с первого дня работы;

  • гибкий график работы, возможна полностью удалённая работа;

  • оплату профильных курсов и конференций;

  • спорт четыре раза в неделю в офисе — йога и силовые тренировки;

  • командные мероприятия;

  • комфортный офис в центре города (5 минут от станции метро Чкаловская).

Ключевые навыки

Английский — B1 — Средний

Адрес

Чкаловская, Санкт-Петербург, Лодейнопольская улица
Показать на большой карте

Вакансия опубликована 8 августа 2022 в Санкт-Петербурге

Отзывы о компании

4,3очень хорошо
Оценка Dream Job

100%

Рекомендуют
Ваши отзывы помогают людям принимать взвешенные карьерные решения
Оставить отзыв

Что говорят сотрудники

Преимущества и льготы
  • Своевременная оплата труда
  • Удобное расположение работы
  • Удаленная работа
Редактор
Июль 2022
Свобода в выборе рабочего времени, вовлечённость и лояльность выше стоящего персонала
Войдите, чтобы увидеть все отзывы
Войти

Похожие вакансии

Можно работать из дома
Санкт-Петербург
Будьте первыми
Разрабатывать с нуля DWH продуктовой аналитики на современном стеке технологий Yandex.Cloud. Создание интеграций (импорт/экспорт) со всевозможными источниками/приёмниками.
Отлично владеешь SQL. Разрабатывал на Python. Имеешь опыт работы с данными. Опыт работы с различными DBMS (GreenPlum, ClickHouse).
Можно работать из дома
Санкт-Петербург
Будьте первыми
Разрабатывать с нуля DWH продуктовой аналитики на современном стеке технологий Yandex.Cloud. Создание интеграций (импорт/экспорт) со всевозможными источниками/приёмниками.
Отлично владеешь SQL. Разрабатывал на Python. Имеешь опыт работы с данными. Опыт работы с различными DBMS (GreenPlum, ClickHouse).
Можно работать из дома
Санкт-Петербург, Василеостровская
Будьте первыми
Реализация компонентов платформы, связанных с обработкой больших данных. Реализация распределенных алгоритмов на больших данных и внедрение моделей машинного обучения.
Профильное образование: информационные технологии, статистика, математика. Опыт работы по специальности от 3-х лет (для Senior Data Engineer от 5...
Можно работать из дома
Санкт-Петербург
Будьте первыми
Реализация новой модели DWH (Data Vault). Участие в миграции данных (BigQuery - Yandex.Cloud - ClickHouse). Формирование пользовательских витрин данных. Написание Python скриптов...
Опыт промышленной разработки DWH (сбор требований, конструирование DWH, работа с таблицами, сбор сложных витрин). Опыт разработки на ANSI-SQL (опыт...
Можно работать из дома
Санкт-Петербург
В роли Data Engineer у тебя появится уникальная возможность поучаствовать в выстраивании архитектуры платформы обработки данных, интеграции свежих трендов и...
Наш стек: Python, SQL, Airflow, BigQuery, PostgreSQL, Docker, GitLab(знакомство с CI/CD), GCP. Опыт работы на аналогичной позиции от...
Можно работать из дома
Санкт-Петербург
Будьте первыми
Контроль качества данных игровой аналитики. Контроль качества внутренних продуктов и сервисов обработки данных. Настройка процесса непрерывного тестирования. Функциональное тестирование данных.
Общий опыт в тестировании данных от 2 лет. Знание и применение техник тест дизайна. Уверенное знание SQL. Опыт исследования, тестирования...