Приглашаем Backend Developer (уровень middle/middle+) в команду Data Catalog, которая занимается развитием продукта ML Space - для ML-разработки полного цикла: от трансфера и хранения Big Data до деплоя и автоматического масштабирования готовой модели.

Это единственная в мире платформа с возможностью распределенного обучения на 1700+ GPU Tesla V100 и А100 - благодаря суперкомпьютерам Christofari и Christofari Neo.
Подробнее о платформе ML Space: https://sbercloud.ru/ru/aicloud/mlspace

Команда Data catalog занимается разработкой продуктов для:

- Хранения огромных объемов данных (файловые и объектные хранилища, их файловые менеджеры);
- Миграции данных с коннекторами к различным источникам (S3, базы данных, HDFS);
- Управления артефактами, включая специализированные хранилища ML-артефактов с их версионированием (регистры образов, моделей, датасетов);
- Процессов, связанных с Big Data - ETL/ELT, EDA и др.;
- Оркестрации цикла ML-разработки на собственном движке для создания пайплайнов.

Стек технологий: Python, FastAPI, Apache Airflow, PostgreSQL, ClickHouse, Redis, Kafka, Docker, Kubernetes.

Как мы работаем:

1. У нас продуктовая компания и кросс-функциональные команды

2. Используем Jira, Confluence, GitLab как основные средства разработки

3. Ведем разработку по Scrum

Что мы предлагаем:

• Работу без легаси с Python 3.9, FastAPI, SQLAlchemy

• Возможность проектирования сервисов с нуля и участия в процессе разработки “от” и “до”

• Работу в заряженой экспертной команде, а также в комьюнити архитекторов и разработчиков компании и партнеров

Вам предстоит:

• Разработка и поддержка существующих решений;

• Участие в проектировании, разработке и поддержке высоконагруженных сервисов/микросервисов;

• Code review, юнит-тесты;

• Анализ инцидентов;

• Взаимодействие со смежными командами для проработки общего технического решения;

• Документирование разрабатываемых продуктов.

Требования:

• Навыки разработки cloud-native сервисов;

• Знакомство с Kubernetes;

• Хорошие навыки работы с Docker;

• Отличное владение Python, умение работать с асинхронным кодом;

• Знание классических алгоритмов и структур данных;

• Опыт работы с реляционными базами данных.

Большой плюс:

• Знание стека Big Data, понимание ETL/ELT процессов (ключевые слова: Apache Airflow, Spark Streaming, Hadoop, HDFS, Kafka);

• Опыт работы с Apache Airflow;

• Опыт интеграции решений Big Data;

• Навыки работы с golang;

• Опыт проектирования и разработки сервисов с большой нагрузкой с нуля;

• Понимание бизнес-процессов, умение преобразовывать бизнес-задачи product-менеджера в декомпозированные задачи;

• Опыт создания пайплайнов данных / моделей машинного обучения (через StreamSets/Ni-Fi, AWS SageMaker).
  
  Что мы предлагаем:

• Оформление в соответствии с трудовым законодательством РФ;

• Конкурентный уровень дохода (оклад + годовой бонус);

• ДМС со стоматологией и возможностью подключения к программе своих детей и родственников;

• Прозрачную систему мотивации, которая позволяет влиять на уровень дохода;

• Работу в команде профессионалов;

• Участие в создании инновационных продуктов;

• Гибкое начало рабочего дня, пятница - сокращённый рабочий день;

• Возможность работать удаленно;

• Офис в центре Москвы;

• Корпоративную мобильную связь;

• Льготную программу ипотечного и потребительского кредитования.

Ещё у нас:

• Возможность вертикального и горизонтального роста;

• Бонусные программы от компаний партнёров;

• Возможность получения бонуса за закрытие вакансии по вашей рекомендации;

• Материальная помощь при рождении детей и др. семейных обстоятельствах;

• Обучение в Корпоративном университете за счёт компании;

• Участие в профильных конференциях в качестве спикера или слушателя;

• Корпоративная жизнь: спортивные комьюнити, клубы по интересам (настолки, интеллектуальные игры).