Мы в поиске старшего Инженера по работе с большими данными на проект по развитию платформы данных (A/B платформы).

Платформа данных это: A/B платформа; система сбора данных, хранения, подсчета, тестирования; аналитический тулинг; хранилище продуктовых логов.

Мы хотим расширять функциональность A/B платформы, способов подсчета метрик, ускорения A/B тестирования, улучшать качество сбора и хранения пользовательских данных, создавать инструменты для ускорения работы аналитиков.

Чем предстоит заниматься:

• Разрабатывать и создавать лучшую на рынке платформу данных электронной коммерции нового поколения;

• Проектировать и разрабатывать ETL пайплайны на Airflow для Spark, Hive, Trino, а также оптимизировать действующие пайплайны и джобы на Spark;

• Обеспечивать качество данных в разных системах;

• Перерабатывать архитектуру A/B платформы и проектировать хранение данных;

• Взаимодействовать с аналитиками и ML специалистами для создания/развертывания инструментов и наборов данных, соответствующих их вариантам использования - поддерживать регулярные связи с другими командами для развития платформы AB тестов;

• Анализировать и внедрять инструменты инжиниринга данных.

Мы ожидаем:

• Опыт работы со стеком Hadoop (YARN, HDFS, HBase, Hive);

• Опыт работы в Spark, PySpark;

• Опыт работы с Python;

• Опыт работы с Airflow.

Как плюс:

• Опыт работы с Docker;

• Опыт с Scala;

• Опыт с облачными технологиями (AWS, GCP, Yandex);

• Опыт работы с A/B платформой.