Lead Data Engineer

з/п не указана

Требуемый опыт работы: более 6 лет

Полная занятость, удаленная работа

4,5
Санкт-Петербург, Чкаловская, Лодейнопольская улица

Привет!

Кошелёк — мобильное приложение, которое заменяет физический бумажник с пластиковыми картами.

Наша миссия — сделать покупки удобнее и выгоднее для пользователей и избавить мир от пластиковых карт. Вы можете перенести существующие банковские и дисконтные карты в приложение «Кошелёк», а также выпустить новые карты из каталога приложения.

В приложении уже зарегистрировано 20 миллионов пользователей. В нашей команде более 250 сотрудников, большая часть команды работает в главном офисе в Петербурге.

В Кошельке мы собираем и анализируем много разной информации. В данный момент у нас около десяти терабайт сжатых сырых данных и мы активно растем. Инфраструктура почти не менялась с самого запуска приложения и уже не справляется с поставленными перед ней задачами.

Всего у команды инженеров данных в нашей компании есть три направления работы:

1) Инфраструктура. Это поддержка всех наших серверов, сервисов и инструментов.

Сейчас у нас используются MSSQL и Clickhouse.

Мы переезжаем на полностью новую инфраструктуру хранения и обработки данных.

До конца года мы хотим совсем отказаться от MSSQL и разгрузить Clickhouse от нетипичных для него задач. Для этого мы поднимаем Greenplum.

Сырые данные мы храним в Minio, а обрабатывают это все Airflow с Flink'ом.

Кроме того, есть и PowerBI, и Metabase, и Zeppelin, и Jupyter. Нужно следить за тем, чтобы это все работало и улучшать.

2) ETL/ELT. Управление потоками данных, наполнение Data Lake и DWH, создание витрин и подобное. Для этого используются Airflow и Flink.

3) Автоматизация работы аналитиков. Сюда входит создание скриптов и инструментов, которые помогают автоматизировать рутинные задачи.

Что ждём от вас:

  • опыт поддержки инфраструктуры данных (devops, аналитические базы данных, ETL-инструменты, BI-инструменты);
  • опыт коммерческой разработки (предпочтительно Python и Java);
  • опыт работы с потоками данных и их загрузкой (ETL, батчи, потоковая обработка);
  • опыт управления командой от 1 года;
  • понимание принципов работы big data стека;
  • опыт работы с терабайтами данных;
  • умение работать с аналитиками (запросы на витрины данных и автоматизацию);
  • желателен опыт администрирования и работы с Greenplum и Clickhouse;
  • желателен опыт с Airflow, Flink и Minio.

Со своей стороны предлагаем:

  • участие в развитии полезного и популярного приложения (14 млн MAU);

  • работу с сильной инженерной командой;

  • оформление по ТК РФ, ДМС с первого дня работы;

  • гибкий график работы, возможна полностью удалённая работа;

  • оплату профильных курсов и конференций;

  • спорт четыре раза в неделю в офисе — йога и силовые тренировки;

  • командные мероприятия;

  • комфортный офис в центре города (5 минут от станции метро Чкаловская).

Ключевые навыки

Английский — B1 — Средний

Задайте вопрос работодателю

Он получит его с откликом на вакансию

Где располагается место работы?Какой график работы?Вакансия открыта?Какая оплата труда?Как с вами связаться?Другой вопрос

Адрес

Санкт-Петербург, Чкаловская, Лодейнопольская улица

Вакансия опубликована 26 сентября 2022 в Санкт-Петербурге

Отзывы о компании

4,5отлично
Оценка Dream Job

100%

Рекомендуют
Ваши отзывы помогают людям принимать взвешенные карьерные решения
Оставить отзыв

Что говорят сотрудники

Преимущества и льготы
  • Своевременная оплата труда
  • Удобное расположение работы
  • Удаленная работа
Инженер по тестированию
Сентябрь 2022
- свобода в выборе рабочего графика; - возможность работать гибридно или полностью удаленно; - классный офис (Спб); - красивый и качественный мерч; - интересный стек технологий; - высокий уровень профессионализма сотрудников; - очень комфортная атмосфера и дружелюбный коллектив; - возможность развития как в своей специализации, так и в какой-то другой; - белая зп; - своя кухня и отдельная кухня для любителей кофе; - петфрендли офис
Войдите, чтобы увидеть все отзывы
Войти

Похожие вакансии

Можно работать из дома
Санкт-Петербург
Будьте первыми
Работа над хранилищем данных для аналитики. Потоковая обработка данных. Поддержка разных типов хранилищ - транзакционных, аналитических, горячих, холодных. Предоставление данных пользователя...
Опыт работы с Kafka / ksqldb / Apache Pulsar или другими распределенными платформами обработки потоков событий. Опыт работы с OLAP базами, у...
Можно работать из дома
Санкт-Петербург, Чкаловская
Будьте первыми
2) ETL/ELT. Управление потоками данных, наполнение Data Lake и DWH, создание витрин и подобное. Для этого используются Airflow и...
До конца года мы хотим совсем отказаться от MSSQL и разгрузить Clickhouse от нетипичных для него задач. Для этого мы...
Можно работать из дома
Санкт-Петербург
Будьте первыми
Точная геолокация, анализ активности ребёнка и контроль окружения ребенка для того, чтобы помочь родителям обеспечивать безопасность детей. Аналитика использования приложений...
Владение Python. Умение разрабатывать и оптимизировать ETL-процессы (пакетные и потоковые). Умение составлять и оптимизировать SQL запросы. Умение собирать требования...
Можно работать из дома
Санкт-Петербург
Участие в разработке ядра продуктов Data Platform. Разработка и оптимизация процессов выгрузки данных.
Знание одного из языков программирования: Python, Java, Go. Знание основ ООП, теории алгоритмов, структур данных. Знание SQL. Опыт написания процессов...
Можно работать из дома
Санкт-Петербург
Разработка ETL/ELT. —Разработка слоев данных DWH, витрин DM. —Описание разработок в Confluence; Оформление работ в Jira. —Участие в выборе...
Профилирование/Понимание данных в системах источниках. — Уверенные навыки работы с одной современной СУБД (GreenPlum, PostgreSQL, MS SQL Server, Oracle, Teradata...
Можно работать из дома
Санкт-Петербург
Будьте первыми
Наша команда занимается разработкой и поддержкой программных продуктов для извлечения, трансформации, выгрузки и анализа данных. Архитектурная проработка, проведение PoC, разработка...
Опыт управления командой от 2 лет (6+ человек). Отличное знание Python, опыт разработки на нем, умение читать и анализировать...
Работодатель сейчас онлайн
4,5
Санкт-Петербург, Чкаловская, Лодейнопольская улица