Предметная область:

#SberData – департамент по управлению данными всего Сбербанка.

#SberData строит централизованное хранилище данных, объем которого уже превышает 10 ПБ.

Это продуктово-ориентированная инженерная команда с функциями развития выделенных технологических направлений, отражающих новый подход Сбербанка к данным.

Java developer разработчик сервисов федеративного доступа к данными и сервисов защиты данных

Мы ищем Java разработчиков для наших продуктов - сервисов федеративно доступа. Мы разрабатываем инфраструктурные компонента на основе open source кода для дата центра с данными объемом 10+ петабайт данных и десятками тысяч ядер, с фокусом на защиту данных и реализацию алгоритмов безопасности.

Waggle-Danсе: Обеспечивает возможность работы с HMS нескольких кластеров Hadoop (SDP/Cloudera) при условии наличия федерации между кластерами. Фактически представляет собой proxy сервис, который в онлайне запрашивает данные из внешних HMS. Технически это Java процесс который запускается отдельно от Cloudera и реализует Thrift интерфейс Hive Meta store.

Sentry-proxy: Обеспечивает авторизация операций для Hive и Impala. Является proxy сервисов, который для настроенных федераций получает авторизационную информацию из внешних сервисов Sentry и Hadoop использует эту информацию для авторизации операция пользователя в Hive и Impala. Сервис собой представляет реализацию интерфейса Sentry и может запускаться как в случае наличия Sentryсервиса на локальном кластере, так и в случае его отсутствия. В случае отсутствия создаются синтетические права пользователям кластера.

HDFS Gateway: Представляет собой proxy cервис (шлюз), реализующий Hadoop Data protocol. Для внешних пользователей представляет собой HDFS, к которому можно настраивать федерацию и подключатcя как Hadoop client. В процесс запроса данных компонент может трансформировать данные отдаваемые клиенту HDFS любым образом. В текущей момент планируется использовать как компонент Сервиса защиты данных для применения политик доступа к данным подписок. Потенциально может работать с любыми данными хранящимися в HDFS, сейчас реализована поддержка Apache parquet.

Задачи:

  • Исследовать OSS библиотеки и фреймворки, проводить их анализ и доработку
  • Разрабатывать компоненты для маскирования и шифрования, компоненты работы с данными
  • Работать с библиотеками шифрования

Условия:

  • Профессиональный рост в команде экспертов (готовы обучать).
  • Профессиональное обучение, семинары, тренинги, конференции, корпоративная библиотека.
  • ДМС, страхование жизни.
  • Самые инновационные, амбициозные проекты и задачи.
  • Свободный дресс-код.
  • Гибкий график для оптимального баланса работы и личной жизни.
  • 3 месяца в году возможность работать из любой точки России;
  • Льготные кредиты и корпоративные скидки.
  • Конкурентная компенсация (оклад и премии по результатам деятельности).

Преимущества работы в Сбере

Уникальные технологические и инновационные проекты

Команда экспертов и профессионалов своего дела

Развитие и обучение: своя digital-платформа для дистанционного обучения и развития ключевых ИТ-компетенций

Социальный пакет (ДМС, корпоративная пенсионная программа, материальная помощь)

Скидки для сотрудников от партнеров экосистемы Сбера

Свободный дресс-код

Делай мир лучше со Сбером

Senior Java Developer

В архиве с 10 ноября 2021
от 300 000 руб. до вычета налогов

Вакансия в архиве

Работодатель, вероятно, уже нашел нужного кандидата и больше не принимает отклики на эту вакансию

Показать описание вакансии

Похожие вакансии