Hadoop developer (Big Data- аналитик)

Уровень зарплаты
Город
Требуемый опыт работы
з/п не указана
Санкт-Петербург
3–6 лет

В Одноклассниках логируются любые действия пользователей, любой вызов классов и методов, любые взаимодействия компонентов системы. Через несколько минут эти данные уже видны на графиках системы статистики. Данные собирает, хранит и обрабатывает хранилище данных, построенное на базе Hadoop. Для администраторов, разработчиков и менеджеров построены интерактивные графики. Эти графики можно настроить так, чтобы они показывали любую подвыборку данных, агрегированных по периодам, начиная с 5 минут и заканчивая годом. На основе графиков составлены тематические страницы (дэшборды), которые наглядно показывают состояние всего сайта или его отдельной подсистемы.

Для развития описанной системы мы ищем Hadoop-разработчика / Big Data-аналитика.

Задачи:

  • разработка скриптов для выгрузки / загрузки данных больших объемов (сотни миллиардов записей и сотни терабайтов по объему);
  • разработка алгоритмов обработки больших объемов данных;
  • поддержка и развитие среды для анализа данных;
  • создание отчетов, консультирование сотрудников компании.

Требования:

  • опыт программирования на Java;
  • знание Hadoop, Hive, MapReduce;
  • углубленные знания SQL и его расширений;
  • знание Tez, Spark ― будет плюсом;
  • высшее / неоконченное высшее образование в области IT.

Условия работы:

  • работа в профессиональной команде с серьёзным опытом, создающей популярный российский проект;
  • при обоюдном интересе мы предложим такие условия сотрудничества, от которых не захочется отказываться;
  • регулярно пересматриваемая зарплата, годовые бонусы, социальный пакет (питание, спорт, дмс, английский язык);
  • дополнительные мониторы, мощное железо и макбуки;
  • комфортный офис с парковкой, душем и зонами отдыха в паре минут от станции метро «Площадь Александра Невского»;
  • дополнительное обучение за счет компании, участие в профессиональных конференциях и форумах по всему миру;
  • корпоративные мероприятия и Team Building Events в России и за рубежом;
  • дружный коллектив профессионалов.

Ключевые навыки

JavahadoophiveSpark

Адрес

Санкт-Петербург, Херсонская улица, 12-14
Показать на карте
­

Тип занятости

Полная занятость, полный день
Вы откликаетесь на вакансию в другой стране

Страна размещения вакансии — Россия.

В резюме не указано, что вы готовы туда переехать.

Все равно откликнутьсяНе откликаться
Отклик направлен работодателю
Сопроводительное письмо к отклику
Написать сопроводительное письмоПисьмо отправлено
Произошла ошибка, попробуйте ещё раз