Сегодня Билайн — компания изменений, чутко реагирующая на потребности рынка и людей. А ещё Билайн — это команда, объединённая общими ценностями и общей целью — быть лидером телеком и digital рынков, предоставляя нашим клиентам новейшие продукты и услуги, а также сервис самого высокого уровня.
Сейчас у вас есть возможность присоединиться к лучшей команде ЦПУ (Цифровая платформа управления) в роли Data Engineer!
Итак, вам предстоит:
- Разрабатывать хранимые процедуры на PostgreSQL для расчёта показателей в хранилище данных (звездообразная схема);
- Создавать функции, представления и запросы для извлечения и агрегации бизнес-показателей на PostgreSQL;
- Разрабатывать DAG в Airflow с использованием коннекторов к PostgreSQL, Hive, HDFS, S3, HTTP, а также для работы с файлами форматов CSV, XLS и XLSX;
- Реализовывать алгоритмы проверки качества данных (с помощью хранимых процедур в PostgreSQL, а также задач и операторов в Airflow);
- Проводить оптимизацию запросов PostgreSQL;
- Вести техническую документацию по разработке в Confluence;
- Работать с задачами и проектами в JIRA;
- Работать с системой контроля версий Git.
Мы будем рады рассмотреть вашу кандидатуру, если у вас есть:
- Опыт работы в роли Data Engineer от 1,5 лет.
- Уровень владения
- SQL, в т.ч. в диалекте PLPPSQL - Jun+/middle;
- Опыт работы с ETL-инструментами;
- Понимание архитектуры Apache Spark, опыт по анализу и оптимизации обработки данных на Spark.
- Опыт работы с Hadoop.
Будет плюсом, если вы:
- Опыт работы с HDFS, Hive и Spark/Scala;
- Знание Python на уровне Middle, в частности библиотек: pandas, openpyxl, xlrd, exchangelib, boto3, requests, s3transfer;
- Опыт администрирования PostgreSQL, Linux и Airflow;
Наш стек:
- Scala / Python
- Hadoop (hdfs, hive)
- Apache Spark
Что мы предлагаем:
- Трудоустройство в аккредитованную ИТ-компанию.
- Возможность работать дистанционно на территории РФ.
- Сплоченную команду профессионалов, в которой можно не только успешно реализовывать проекты, но и перенимать опыт и развиваться.
- Обучение, участие в интересных проектах и расширение профессиональной экспертизы: мы участвуем в конференциях, митапах, публикуемся на Хабр и т.д.
- Конструктивную и открытую рабочую атмосферу.
- Полис добровольного медицинского страхования, обслуживаемый в лучших клиниках, а также чек-ап для сотрудников 40+.
- Страхование жизни, страхование от несчастных случаев и критических заболеваний, страхование выезжающих за рубеж.
- Материальную помощь.
- Детские подарки.
- Доплату по листу нетрудоспособности
- Корпоративные скидки на товары и услуги от партнеров компании.
- Служебную сотовую связь.
- Кафетерий льгот — возможность самостоятельно выбрать дополнительные корпоративные льготы и бонусы (спорт, здоровье, обучение, путешествия, транспорт и др.). Доступно после испытательного срока.
Ключевые навыки
- Apache Spark
- ETL
- SQL
- Apache Airflow