Мы находимся в поисках коллеги на проект по автоматизации кредитного процесса. Команда будет заниматься разработкой и выводом витрин данных в промышленный контур (Hadoop), исследованием новых источников данных, строить интеграцию со смежными системами.
Мы ищем специалиста в области DE, готового делиться своими знаниями с коллегами. Планируется расширение команды под цели миграции функционала легаси-системы на целевую платформу. Впереди большое количество задач и широкий горизонт для их технической реализации. Есть возможность стоять у истоков проекта и непосредственно влиять на его технологическое развитие.

Твои задачи:

• Исследование источников данных (внешних данных, реплик АС Банка, других витрин)
• Разработка и изменение витрин данных на Hadoop исходя из требований аналитиков данных
• Создание алгоритмов загрузки данных в витрины с учётом историчности, уникальности, логики обновления таблиц
• Написание функций для первичной обработки, преобразования и агрегации данных на Spark (Scala, Java, Python)
• Code Review изменений, предлагаемых коллегами из своей и соседних команд

Мы ждем от тебя:

• Знание SQL на уровне аналитических запросов
• Умение обращаться с git, bash
• Знания языков программирования Java/Scala, Python
• Понимание работы Hive, Spark на Hadoop;

Будет плюсом:

• Опыт разработки на Spark/PySpark
• Оптимизация выполнения сценариев на Spark
• Опыт использования Apache Oozie
• Понимание процессов ETL, ELT

Что мы обеспечим:

• Современный стек технологий, микросервисная архитектура приложений
• Команда профессионалов, где каждый увлечен своим делом и готов поделиться экспертизой, а также возможность нести новые знания и технологии
• Работа в гибкой методологии разработки
• Безграничная прокачка скиллов
• Работать в офисе в Москве
• Поездки на конференции и тренинги за счет компании, внутренние семинары, внутренние митапы, мы очень любим учиться новому
• Новая техника для комфортной работы
• Сессии профессионального развития 2 раза в год, результатом которых является план индивидуального развития каждого сотрудника и получение обратной связи.
• Корпоративная культура со своими ценностями и традициями, в которой каждый чувствует себя частью команды