У нас все организовано в виде продуктов, имеющих бесконечный срок жизни. Продуктов очень много – несколько сотен.

Если делить их по группам – получится так:

Клиентский опыт:

• Обобщаем все клиентские взаимодействия с компанией в одну историю, под одним универсальным идентификатором;
• Прогнозируем и корректируем общую выручку от клиента на всем периоде жизни с компанией;
• Боремся с фродом на стороне клиентских устройств сотовой связи;
• Предсказываем отток и next-best-action для клиентов.

Управление оборудованием и качеством услуг связи:

• Собираем и анализируем метрики качества предоставления связи;
• Выполняем интеллектуальное планирование постройки базовых станций;
• Осуществляем предиктивное обслуживание оборудования.

Для продуктовых команд:

• Создаем для себя фреймворки и утилиты;
• Развиваем сервис мониторинга как единую точку сбора и просмотра метрик.

Что нужно будет делать:

• Анализировать требования к витринам данных (взаимодействие с владельцем продукта, BI-разработчиками, data scientist-ами);
• Искать и исследовать источники данных для последующей интеграции;
• Оценивать пригодность и качество исходных данных;
• Разрабатывать ETL процессы на Spark;
• Оркестрация ETL процессов в Airflow;
• Проектировать базы данных;
• Создавать конвейеры данных NiFi.

Мы понимаем, что каждый DE индивидуален, поэтому даем описание как бы выглядел идеальный кандидат. Все недостающие навыки можно подтянуть у нас!

Мы ждем, что ты:

• Любишь работать в команде и умеешь это делать;
• Проработал от 2-х лет на должности data engineer;
• Знаешь SQL на высоком уровне (в т. ч. DDL, табличные выражения, оконные функции);
• Работал с Hive, PostgreSQL;
• Умеешь разрабатывать ETL процессы Spark на Scala (Python/PySpark) (потоковая обработка как преимущество);
• Пользовался AirFlow или другими оркестраторами – Oozie, Luigi, ну или cron;
• Можешь что-то написать на Python – в объеме чтобы пользоваться AirFlow или еще круче;
• Имеешь опыт потоковой разработки конвейеров данных в NiFi или Flink;
• Интересуешься Flink, пробовал применять его в проектах;
• Умеешь проектировать базы данных (например, знаешь Data Vault 2.0);
• Понимаешь принципы работы реляционных СУБД и HDFS;
• Имеешь представление о колоночных и NoSQL СУБД;
• Понимаешь подходы к работе с качеством данных;
• Применяешь системный подход к работе, думаешь о конечной бизнес-задаче, мыслишь логически, уделяешь внимание деталям;

Стек и технологии

В своей работе DE используют следующий стек технологий:

• Экосистема Hadoop – HDFS, YARN, Hive, HBase
• ETL-процессы – Spark (Scala)
• Потоковая обработка – NiFi, Flink
• Брокер сообщений – Kafka
• Оркестрация ETL процессов – Airflow
• СУБД – PostgreSQL, Greenplum, Aerospike, Oracle, SQL Server
• CI/CD – GitLab

Мы предлагаем:

• В компании существует и растет сообщество DE. Сейчас там около 300 человек с разным уровнем навыков от Junior до Senior. Инженеры помогают друг другу бороться с трудностями и развиваться, делятся друг с другом кодом, всякими лайфхаками;
• Периодически проводятся митапы по инфраструктурным и софтовым темам, где коллеги делятся опытом, помогают разобраться в востребованных темах;
• Мы готовы оплачивать любые активности по развитию и обучению – конференции, подписки, книги, курсы – все что помогает расти профессионально;
• Трудоустройство в аккредитованную ИТ-компанию;
• Полис добровольного медицинского страхования, обслуживаемый в лучших клиниках;
• Корпоративные скидки на фитнес, обучение, путешествия и т.п.;