Hadoop developer (Big Data- аналитик)

Уровень зарплаты
Город
Требуемый опыт работы
з/п не указана
Москва
более 6 лет

В Одноклассниках логируются любые действия пользователей, любой вызов классов и методов, любые взаимодействия компонентов системы. Через несколько минут эти данные уже видны на графиках системы статистики. Данные собирает, хранит и обрабатывает хранилище данных, построенное на базе Hadoop. Для администраторов, разработчиков и менеджеров построены интерактивные графики. Эти графики можно настроить так, чтобы они показывали любую подвыборку данных, агрегированных по периодам, начиная с 5 минут и заканчивая годом. На основе графиков составлены тематические страницы (дэшборды), которые наглядно показывают состояние всего сайта или его отдельной подсистемы.

Для развития описанной системы мы ищем Hadoop-разработчика / Big Data-аналитика.

Задачи:

  • разработка скриптов для выгрузки / загрузки данных больших объемов (сотни миллиардов записей и сотни терабайтов по объему);
  • разработка алгоритмов обработки больших объемов данных;
  • поддержка и развитие среды для анализа данных;
  • создание отчетов, консультирование сотрудников компании.

Требования:

  • опыт программирования на Java;
  • знание Hadoop, Hive, MapReduce;
  • углубленные знания SQL и его расширений;
  • знание Tez, Spark ― будет плюсом;
  • высшее / неоконченное высшее образование в области IT.

Условия работы:

  • комфортно работаем: просторные опенспейсы, звукопоглощающие панели, несколько десятков переговорных, дополнительные мониторы, мощное железо и макбуки, если нужно;
  • вкусно кормят: в офисе есть ресторан с завтраками и обедами, а на каждом этаже есть 2 кухни, где всегда есть фрукты и ягоды, чай, кофе, кола и, конечно, печеньки;
  • приятно отдыхаем: большая лаунж-зона, массажные кресла, бар со свежевыжатыми соками, качели, уголки с пледами и подушками, где можно отдохнуть, игровые приставки, кинотеатр;
  • заботимся о здоровье: с первых дней работы мы даем отличную программу ДМС, включающую стоматологию и даже массаж;
  • занимаемся спортом: бесплатный фитнес-зал в офисе (со всеми тренажерами и, конечно, душевыми), теннисные столы и даже футбольное поле;
  • легко добираемся: мы находимся в пяти минутах ходьбы от м. «Аэропорт». Для тех, кто предпочитает добираться на работу на машине, у нас есть 5-этажная подземная парковка. И да, на ней есть места;
  • профессионально развиваемся: в нашем офисе регулярно проходят семинары, тренинги, мероприятия для разработчиков ― Moscow.pm, CocoaHeadsMoscow, UX-среда и др. Конечно, мы отправляем сотрудников и на внешние профессиональные мероприятия.

Мы будем рады вашему отклику и, при обоюдном интересе, предложим условия и проекты, от которых не захочется отказываться.

Ключевые навыки

hadoophivemapreduceJavaSQLSpark

Тип занятости

Полная занятость, полный день
Вы откликаетесь на вакансию в другой стране

Страна размещения вакансии — Россия.

В резюме не указано, что вы готовы туда переехать.

Все равно откликнутьсяНе откликаться
Отклик направлен работодателю
Сопроводительное письмо к отклику
Написать сопроводительное письмоПисьмо отправлено
Произошла ошибка, попробуйте ещё раз