Big Data Engineer

Требуемый опыт работы: 3–6 лет

Полная занятость, полный день

VK Видео — самая масштабная видеоплатформа в рунете по аудитории и форматам контента. Она объединяет видеоплатформы ВКонтакте, Одноклассников и других продуктов VK, ею пользуются более 100 млн человек в месяц.
VK Клипы — это бесконечная лента коротких вертикальных видео. Здесь зрители могут найти увлекательный контент на самые разные темы, а авторы — заявить о себе. Качественные клипы можно создавать прямо ВКонтакте с помощью AR-эффектов и социальных механик, без специальных навыков и дорогой техники.
Вместе с нами вы будете разрабатывать рекомендательные системы для двух крупнейших российских видеосервисов.

У нас классно потому что:
мы каждый день сталкиваемся со сложными задачами и постоянно ищем оптимальные решения;
разрабатываем собственные технологии с учётом природы данных, с которыми мы работаем;
выжимаем максимальную производительность из кода и думаем не только об отдельных решениях, но и о свойствах системы в целом;
если вы хотели поработать в сердце высоконагруженной системы — мы с вами сработаемся.

Особенности:

  • big data: 4 hdfs кластера общим объёмом ~150PB;
  • high load: обслуживаем десятки тысяч серверов;
  • high available: все сервера расположены в 5 разных дата центрах;
  • не enterprise: разрабатываем решения, которые сами же и используем;
  • stack: hadoop-3.1.x, kafka-2.4.x, spark-2.3.x, grafana 7.x, clickhouse, airflow;
  • lang: java, scala, python, bash.

Задачи:

  • развивать платформу хранения и обработки больших данных;
  • предлагать, отстаивать и реализовывать архитектурные решения;
  • оптимизировать и настраивать различные компоненты: hdfs, kafka, clickhouse, spark, zeppelin, etc;
  • разрабатывать инструменты для хранения и обработки данных на java/scala/kotlin.

Мы ожидаем:

  • хорошее знание java/scala;
  • опыт работы и понимание внутреннего устройства: hadoop, hdfs, kafka, spark, zeppelin, airflow, zookeeper, clickhouse.

Условия:

  • сложные и интересные задачи: высоконагруженные быстрорастущие сервисы, которые задают уровень для конкурентов качеством и технологиями;
  • оборудование: мощное железо, десятки петабайт данных, GPU-кластера и облачный инструментарий;
  • команда: с нами работают профессионалы экстра класса, каждый из которых может поделиться своей экспертизой;
  • профессиональное развитие: прямо в офисе мы организуем митапы, конференции, семинары и тренинги, куда открыт доступ каждому сотруднику, а также регулярно посещаем лучшие мировые конференции;
  • новый опыт: лучшие сотрудники преподают в наших образовательных проектах, выступают на российских и международных конференциях;
  • социальный пакет: спорт, ДМС(в т. ч. на детей до 18 лет), английский язык;
  • компенсация питания;
  • комфортный офис с парковкой, душем и зонами отдыха в паре минут от м. «Аэропорт»;
  • возможность работать в гибридном режиме (совмещение удаленки с работой в офисе совместно с командой);
  • дополнительное обучение за счет компании, участие в профессиональных конференциях и форумах по всему миру;
  • корпоративные мероприятия и Team Building Events в России и за рубежом.

Ключевые навыки

Hadoop
SCALA
Spark
Английский язык
Python

Задайте вопрос работодателю

Он получит его с откликом на вакансию

Где располагается место работы?Какой график работы?Вакансия открыта?Какая оплата труда?Как с вами связаться?Другой вопрос

Адрес

Санкт-Петербург, Херсонская улица, 12-14

Вакансия опубликована 10 мая 2023 в Санкт-Петербурге

Отзывы о компании

4,2очень хорошо
Оценка Dream Job

84%

Рекомендуют
Ваши отзывы помогают людям принимать взвешенные карьерные решения
Оставить отзыв

Что говорят сотрудники

Преимущества и льготы
  • 463
    Своевременная оплата труда
  • 410
    Удаленная работа
Менеджер проектов VK Video
Май 2023
Хорошая корпоративная культура, много бонусов для сотрудников
Войдите, чтобы увидеть все отзывы
Войти

Похожие вакансии

Опыт от 3 до 6 лет
Проектирование и построение Data warehouse компании. Подготовка витрин данных для отчетности, бизнеса и дата аналитики. Организация пайплайнов сбора данных от...
Java 8+, Scala или Python на хорошем уровне. Знание алгоритмов и структур данных. Знание SQL и принципов работы классических...
Санкт-Петербург
Опыт от 3 до 6 лет
Создавать средства взаимодействия с источниками данных, поддерживать используемые сторонние коннекторы. Имплементировать логику ETL-трансформаций на Spark, PL/SQL, Hive, Impala.
Опыт работы ETL-разработчика/инженера по работе с данными. Опыт работы со Spark, Scala/Python. Отличные знания в составлении запросов...
Работодатель сейчас онлайн
Опыт от 1 года до 3 лет
Откликнитесь среди первых
Совместно с командой разработать концепцию решения и план реализации. Подготавливать ETL процессы по регулярной загрузке нужных данных в требуемом формате.
Опыт работы от 1 года. Опыт разработки на Python. Хорошее знания SQL. Хорошее знание OS Linux / bash. Опыт работы с...
Работодатель сейчас онлайн
Санкт-Петербург
Опыт от 1 года до 3 лет
Поддерживать ETL-процессы команды маркетинговой аналитики: Автоматизированный сбор данных с новых источников. Автоматизация процессов агрегации данных из DWH (Clickhouse, Vertica...
Опыт работы в профильном или смежном направлении 1-3 года. Опыт программирования на Python со знанием библиотек pandas, numpy.
Санкт-Петербург
Опыт от 1 года до 3 лет
Разработка, построение и поддержание витрин данных (DWH). Очистка, обработка данных при загрузке. Оптимизация запросов.
Понимание принципов работы СУБД. Опыт работы с ETL/ELT. Опыт работы с Python (от 2 лет). Уверенные знание SQL.
Опыт от 3 до 6 лет
Улучшать архитектуру систем управления и автоматизации работы кластера. Делать инфраструктурное облако масштабируемым и высокодоступным. Участвовать в проектировании современной облачной инфраструктуры...
Отвечать за здоровье и аптайм базовой инфраструктуры. Работали с Unix-системами (Linux или FreeBSD). Понимаете, как устроены сетевые протоколы и...