Мы совершенствуем одни из ключевых продуктов ВКонтакте: ленту новостей и рекомендации, социальный граф, комментарии и многое другое. Их качество зависит от эффективности алгоритмов машинного обучения и точности продуктовой аналитики, которая, в свою очередь, опирается на качество, свежесть и стабильность данных.

Ищем опытного специалиста, который поможет нам развивать продукт.

Вам предстоит:

• развивать платформу хранения и обработки больших данных;

• внедрять новые инструменты для анализа данных и машинного обучения;

• строить новые глобальные ETL-процессы и оптимизировать существующие, преимущественно на Spark и Python;

• разрабатывать сервисы, облегчающие работу специалистов Data Science;

• решать задачи, связанные с производительностью и отказоустойчивостью инфраструктуры Big Data.

У нас интересно, потому что:

• вас ждет тотальный хайлоад — петабайты данных, десятки миллионов пользователей, множество разных продуктов;

• впереди много новых вызовов — мы используем Open Source по максимуму, иногда с доработками, чтобы расширить его возможности;

• мы поддерживаем культуру стартапа, сохраняя преимущества устоявшегося продукта.

Мы ожидаем, что вы:

• работали со свежими версиями продуктов фонда Apache — Hadoop, Kafka, Spark, Airflow;

• знаете принципы работы баз данных и распределенных систем хранения и обработки данных;

• владеете Bash и Python для автоматизации процессов, Java и Scala для поддержки ETL и внедрения новых сервисов, а также SQL;

• занимались построением и развитием инфраструктуры Big Data.

Будет плюсом:

• знание ClickHouse.

Приглашаем специалиста, который сможет посещать офис в Москве или Санкт-Петербурге, работать в комбинированном режиме или удаленно. Ждем ваших откликов. Удачи!