Data Engineer / Technical Leader Hadoop

з/п не указана

Вакансия в архиве

Работодатель, вероятно, уже нашел нужного кандидата и больше не принимает отклики на эту вакансию

Показать описание вакансии

Требуемый опыт работы: 3–6 лет

Полная занятость, полный день

Хочешь стать
частью истории? 

Московский метрополитен всегда
открыт для новых сотрудников 

Инновационный Центр “БЕЗОПАСНЫЙ ТРАНСПОРТ”это молодая аналитическая организация внутри Департамента Транспорта Москвы, которая занимается проектами в области BigData для города: улучшение транспортной инфраструктуры для всех участников (пешеходы, водители, общественный транспорт), аналитическая поддержка департамента транспорта и подведомственных организаций.

Мы работаем над тем чтобы сделать наш город лучше, удобнее для москвичей и гостей столицы.
Сейчас в нашем IT Big Data подразделении 30 человек, это молодые ребята с опытом работы в бизнесе, увлеченные работой с данными и технологиями.
У нас нет дресс кода, хорошая атмосфера, мы вместе не только работаем, но и отдыхаем.

Мы в процессе создания Единой платформы данных транспортного комплекса Москвы. Данные забираем от более чем 40 источников, среди которых есть и пакетная и близкая к реальному времени потоковая передача данных. Этот продукт выступает базой для всех информационно-аналитических продуктов нашей организации. В их числе - оказание поддержки в принятии управленческих решений Правительству Москвы на основе Big Data и другие продукты, направленные на улучшение транспортной инфраструктуры и города в целом.

Что уже есть: Мы собираем множество больших транспортных данных, и все это делаем на стеке технологий: Hadoop (HDP), Kafka, Airflow, Hive, Spark (Scala - пробуем, тестим, PySpark), Docker. Пишем сами систему мониторинга качества данных на стеке: Spark, Flask, MySql

С кем работать: Команда платформы данных состоящая из инженеров данных, аналитиков данных, администратора платформы данных.

Кого мы ищем и зачем: Нам необходим технический лидер для поддержки работоспособности и дальнейшего развития нашей платформы данных, который продолжит и улучшит наши начинания. Если что, мы не ищем единорога, который будет сам руками все делать и все уметь =)

В зону ответственности входит:
  • Прием задач от внутренних заказчиков организации;

  • Архитектурный консалтинг в части построения и оптимизации высоконагруженных отказоустойчивых систем для анализа данными;

  • Весь цикл разработки (декомпозиция, оценка, распределение и контроль качества выполнения задач команды платформы данных) + интеграция новых источников;

  • Совершенствование и разработка новых, если потребуется, внутренних процессов команды;

  • Мониторинг и контроль качества данных и последующая корректировка данных, если потребуется;

  • Обеспечение работоспособности промышленного кластера Hadoop (всех компонент: hdfs, yarn, hive, tez, spark);

  • Обеспечение работоспособности систем, отвечающих за транспорт данных (kafka, airflow);

  • Обеспечение работоспособности приложений в Docker;

  • Профессиональное развитие команды платформы данных;

  • Общение с технической поддержкой вендоров по инцидентам;

  • Доработка хранилища, подключение новых источников.

Мы бы хотели, чтобы наш кандидат имел:

  • Опыт управления командой создания хранилища данных не менее 3х лет;
  • Опыт разработки архитектуры DWH, DataLake;

  • Опыт работы с инструментами ETL;

  • Знания принципов построения распределенных систем хранения и обработки данных;

  • Опыт работы со стеком технологий Hadoop (Hive, HDFS, YARN) не менее 3х лет, понимание парадигмы map-reduce и алгоритмов работы Spark;

  • Знание Linux (основные команды на уровне пользователя);

  • Опыт работы с Docker и системами оркестрации;

  • Опыт работы с реляционными базами данных на уровне разработчика. Навыки оптимизации запросов;

  • Опыт работы в крупных проектах и умение решать архитектурные вопросы будет большим плюсом;

  • Навыки программирования на Python/Scala;

  • Законченное высшее образование.

Эта вакансия для вас, если вы:

  • Выросли из технического специалиста, желательно из разработки;
  • Заинтересованы в личном развитии и развитии города с помощью технологий;
  • Очень любите данные и еще больше любите технологии и системы их обработки;
  • Вам нравится принимать решения и непосредственно участвовать в развитии продуктов;
  • Вы нацелены на результат;
  • Умеете работать в команде и приходите на помощь коллегам.

ЧТО МЫ ПРЕДЛАГАЕМ:

  • Интересную работу в масштабных проектах, возможность реализовать свои идеи, помощь и поддержку;

  • Отличную команду, молодую и активную, увлеченную тем, чем занимается;

  • Уютный офис в центре Москвы;

  • График 5/2, с 10 до 19;

  • Финансовые условия обсуждаем индивидуально в зависимости от опыта кандидата.

    ПРЕИМУЩЕСТВА РАБОТЫ В МЕТРО:

  • Трудоустройство и работа в соответствии с ТК РФ;
  • Бесплатный проезд в столичном метро;
  • Бесплатный проезд по железным дорогам в пригородном сообщении от места жительства до места работы и обратно в пределах Московской области;
  • Льготы на отдых в оздоровительном комплексе метрополитена;
  • Детский оздоровительный лагерь и детский клуб.

Ключевые навыки

LinuxSQLБизнес-анализРабота в командеАдминистрированиеHadoopАрхитектурный консалтингMySQL

Вакансия опубликована 13 ноября 2019 в Москве

Написать сопроводительное письмоПисьмо отправлено

Сопроводительное письмо к отклику

Похожие вакансии