Data Engineer

Создавать логические Hive-таблицы, слои данных в Postgre. Разрабатывать ETL-пайплайны для сохранения датасетов с различными типами данных...

Необходимые навыки, которые должны быть у кандидатов: Опыт работы с хранилищами данных S3. Опыт работы с данными (видеоданные, изображения...

Разрабатывать надежные pipeline обработки данных. Создавать витрины данных. Анализировать новые источники данных, настраивать процесс загрузки данных в Data Lake.

Опыт работы с Hadoop (HDFS, Yarn), понимание структур данных (Parquet). Опыт разработки высокопроизводительных ETL-процессов на pySpark. Глубокое знание SQL...

Разработка архитектуры доставки, хранения и обработки данных. Разработка и поддержка автоматизированных регулярных ETL процессов. Организация хранения данных с использованием инфраструктуры...

Опыт работы в big data. Python (Java/scala тоже можно)опыт программирования от 2-х лет на SQL, Python.

Участие в разработке и развитии компонентов платформы данных. Развитие и поддержка корпоративного хранилища (DV2.0). Разработка и внедрение DataOps...

Опыт 3+ года в роли DE. Отличные знания SQL. Модели хранилищ данных: плюсы, минусы, подводные камни. Greenplum / Clickhouse.

Разработка ETL потоков на платформе Hadoop (Scala + Spark SQL). Поиск возможностей оптимизации, повышение скорости расчета, эффективности использования вычислительных ресурсов.

Уверенное знание языка Scala или Java (8 или выше), в т.ч. коллекции, многопоточность и разделение доступа, лямбда выражения, паттерны...

Реализация ETL-загрузки данных из внешних и внутренних источников (Python, Spark, Hadoop). Подготовка витрин для анализа (Hive + Spark+ SQL).

Опыт работы с реляционными базами данных, продвинутый уровень. Желательно GreenPlum/PostgreSQL от 2 лет, или T-SQL или PL/SQL...