Data Engineer

з/п не указана

Требуемый опыт работы: 1–3 года

Полная занятость, удаленная работа


Ищем дата-инженеров для расширения команды DataLake. Текущая наша команда: тимлид и 3 дата-инженера с богатым прошлым в software engineering, DS, DevOps и SRE. Основа нашего подхода - писать так, чтобы был zero-maintenance и максимальная автоматизация.

Мы предлагаем:

  • «белую» заработную плату (обсуждается индивидуально);
  • удаленный формат работы, гибкое время начала и окончания рабочего дня;
  • возможность работать в комфортном офисе в шаговой доступности от м. Ботанический сад (по желанию);
  • оформление согласно ТК РФ с первого рабочего дня;
  • возможность обучения и развития, участия в профильных конференциях.

Что мы делаем:

  • Строим Data Lake для вывода обработки данных в компании на новый уровень
  • Переосмысливаем работу с Big Data и выстраиваем процессы Data Governance
  • Мигрируем и разделяем computation от storage

Обязанности:

  • Писать код и модеривать data pipelines
  • Выводить модели дата-аналитиков в продакшн
  • Создавать CI/CD процессы
  • Решать ETL задачи
  • Настраивать компоненты Hadoop, Apache Airflow и интеграция компонентов tech-stack
  • Исследовать и интегрировать новые источники данных в DataLake

Требования:

  • Уверенное владение Python и Spark. Плюсом будет знание Java/Scala/Golang/Rust
  • Linux/bash
  • Понимание форматов хранения данных
  • Понимание основ SRE, health checks, SLA
  • Применение методологий (Scrum/Kanban) и инструментов Agile- Jira/Confluence
  • Понимание построения инфраструктуры (K8s, S3/MinIO). Большим плюсом будет знание Presto и/или Dremio

Наш tech-stack:

  • Kubernetes, GitLab, Linux
  • MinIO, Dremio, MS SQL, MS SSAS, PostgreSQL, Kafka, RabbitMQ
  • Airflow, Spark
  • Python, Golang, Rust, Scala
  • Jupiter, Pandas, Numpy, Scipy, gRPC

Ключевые навыки

Python
Linux
Java
SCALA
Bash

Вакансия опубликована 30 июля 2021 в Москве

Похожие вакансии