Data Engineer

з/п не указана

Сейчас просматривают: 14

Требуемый опыт работы: 1–3 года

Полная занятость, удаленная работа

Циан - крупнейший в России сервис для поиска недвижимости. 18 лет мы помогаем людям найти, сдать, продать жилье по всей России. Циан не просто сайт, это высокотехнологичная компания, которая входит в топ-10 лучших сайтов по недвижимости в мире. Сейчас в компании работает 500+ сотрудников в двух офисах России - Москве и Санкт-Петербурге, а ежемесячная аудитория сервиса - свыше 14 миллионов человек.

О команде

Команда Machine Learning состоит из 23 человек (DS, DE, backend-разработчики, CRM-аналитики, дата аналитики, системный аналитик + PM).

Основная цель ML - повышать качество и достоверность контента, который публикуется на нашем сайте - для нас важно, чтобы за каждым объявлением скрывался реальный объект.

Команда Data Engineer - 6 человек, занимаются всем, что связано с etl процессами, в ML хранилище собирают всю информацию о тех событиях, которые происходят на сайте.

Используем стек технологий: Python 3.6, Scala, Hadoop-3.1.1, Spark-2.3.2, Spark Streaming, Hive, Kafka, Hbase, Cassandra, Redis.

Людям Циан важно

  • Делать не просто продукт, а лучший продукт, который меняет клиентский опыт. Мы гордимся тем, что трансформируем рынок недвижимости, закрывая боли людей с поиском, продажей, ипотекой и арендой жилья;
  • Решать сложные задачи и искать новые решения. Поэтому наш рабочий день иногда похож на квест, благодаря которому каждый из нас может расти намного быстрее;
  • Влиять на продукт. Мы слушаем коллег и используем их экспертизу, идеи для выбора наилучшего решения в развитии продукта;
  • Чувствовать себя комфортно в команде, говоря то, что думаем. Для этого мы развиваем культуру обратной связи и взаимного уважения.

Задачи, которые могут стать твоими

  • Real-time обработка и поставка больших данных в различные хранилища для быстрого доступа;
  • Налаживание регулярных процессов подготовки и поставки данных для продуктовых команд и data scientist-ов;
  • Разработка микросервисов на python/tornado для внедрения моделей машинного обучения в прод;

Мы видим на этой позиции человека, который

  • Знает решения и Open Source фреймворки Big Data: (Hadoop, MapReduce, Cassandra, Spark & Spark Streaming, Hive, Kafka);
  • Знает SQL и python (Желательны базовые знания bash, scala);
  • Имеет опыт работы с системами контроля версий;
  • Умеет организовывать процесс загрузки данных в аналитические системы (Получение структурированных и не структурированных данных из различных источников, трансформация данных, создание модели данных и организация доставки в аналитические системы с использованием инфраструктуры hadoop);
  • Умеет загружать данные в OLAP-структуры и sql-базы данных;
  • Имеет навыки написания технической документации;
  • Имеет опыт коммуникации с заказчиками/разработчиками.

Мы готовы предложить

  • Полностью удаленную работу или работу в современном БЦ с фитнес-центром после пандемии (по желанию);

  • Оформление по ТК, белую зарплату;

  • Две кухни оборудованными всем необходимым: микроволновые печи, кофемашины, чайники и т.д. Также на кухне всегда доступны снеки, фрукты, кофе и чай;

  • 5 day off в год, помимо основного отпуска;

  • Компенсацию спорта (20 000 рублей в год);

  • Профессиональный рост (ЛПР, корпоративная библиотека);

  • ДМС с первого рабочего дня (со стоматологией, госпитализацией, страховкой выезжающего за пределы нашей страны);

  • Корпоративного врача в офисе;

  • Бесплатную авто и вело парковку;

  • Офисный транспорт (самокаты);

  • Комнаты, где можно поработать в полной тишине.

Ключевые навыки

Hadoop
Kafka
Spark
hive
ETL
Python
Spark Streaming

Адрес

Преображенская площадь, Москва, Электрозаводская улица, 27с8
Показать на большой карте

Вакансия опубликована 23 ноября 2020 в Москве

Похожие вакансии