Команда DE Platform строит инструменты интеграции данных, которые выступают как мост между бизнесом и BI. Эти данные используются во множестве процессов внутри компании. Экспертиза команды также позволяет решать нетривиальные задачи по гарантиям доставки, технологическому развитию как инструментов, так и инфраструктуры вокруг.

Наш стек:

• Scala, Akka-Stream, Cats, Spark, Python;
• Vertica, MS SQL, ClickHouse, Hadoop (hadoop3, hdfs, yarn, hive) и др.;
• Airflow (Celery Executor, k8s);
• Gitlab CI/CD, Kubernetes;
• Kafka, Prometheus, Grafana;
• Gitlab, GIT.

Вам предстоит:

• Поддержка и развитие существующих инструментов на базе Hadoop (hadoop3, hdfs, yarn, hive);

• Разработка spark приложений для обработки данных;

• Поддержка и развитие существующих решений на Kafka;

• Внедрение полноценного dev/stage контура для сервисов;

• Переписать/отрефакторить легаси код по довозу данных;

• Рефакторинг метрик, борды, алертов;

• Внедрение синка и подвоза данных multiDC;

• Внедрение/рефакторинг e2e тестирования сервисов;

• Участие в проектировании архитектуры разрабатываемых решений;

• Участие в выборе используемых технологий и компонентов;

• Внедрение и сопровождение технических решений;

• Документирование разрабатываемых решений;

• Проведение code review.

Мы ожидаем:

• Уверенное владение Scala;
• Опыт работы с Hadoop (hdfs, yarn, hive);
• Опыт разработки многопоточных приложений;
• Опыт работы с СУБД (Postgre SQL/MS SQL);
• Опыт работы с аналитическими БД (Vertica/Greenplum/BigQuery/Redshift/Synapse);
• Опыт работы с Kubernetes, Kafka, git;

• Опыт работы с KV-хранилищами;

• Ответственность, проактивность.

Будет плюсом:

• Опыт работы с Prometheus, Grafana;
• Опыт работы с Airflow (Celery Executor, k8s).

Мы предлагаем:

• Динамичный и быстроразвивающийся бизнес, ресурсы, возможность сделать вместе лучший продукт на рынке e-commerce;
• Свободу действий в принятии решений;
• Достойный уровень заработной платы;
• Профессиональную команду, которой мы гордимся;
• Возможность развиваться вместе с нашим бизнесом.