Несколько лет назад YCLIENTS был амбициозным стартапом.
Теперь мы – лидер рынка онлайн-записи и автоматизации бизнеса, трендсеттер в своем сегменте. Уже шесть лет количество наших клиентов растет в геометрической прогрессии.
Мы – команда, которая меняет то, как предприниматели управляют бизнесом.
Присоединяйся к лидеру рынка онлайн-записи – и помоги нам стать не просто платформой, а интеллектуальной операционной системой для бизнеса.
Сейчас нам нужен Senior Data Engineer, который закладывает основу дата-платформы с полной свободой в реализации ingestion, CDC и слоёв, понимает, как сделать так, чтобы метрики считались одинаково, витрины обновлялись предсказуемо, а изменения вносились быстро и бесшовно.
Нам нужно чтобы ты:
-
Подключил OLTP- и API-источники и настроил инкрементальные загрузки данных в Iceberg (S3);
-
Провёл proof of concept для CDC (с использованием Debezium и Kafka → lakehouse) и выбрал оптимальный паттерн доставки данных в S3/Iceberg;
-
Реализовал трансформации по слоям Bronze → Silver → Gold через dbt на Spark и выпустил первые ключевые витрины;
-
определил стратегию serving: где использовать Trino для ad-hoc-запросов, а где — ClickHouse для BI, и решил, какие данные читать напрямую, а какие материализовать;
-
Автоматизировал backfill’ы и перезапуски, а также настроил базовый мониторинг свежести данных и ошибок в Airflow;
-
Взял ownership над ingestion, lakehouse и data pipelines (Airflow/Spark/dbt);
-
Сделал так, чтобы платформа работала стабильно и максимально автоматизировано;
Требования:
-
Сильный SQL и опыт витрин/инкрементов
-
Python для ETL/интеграций
-
Опыт со Spark (PySpark) и понимание оптимизации вычислений
-
Airflow в проде (зависимости/ретраи/backfill, datasets)
-
Понимание Iceberg/Delta/Hudi (schema evolution/maintenance)
Будет плюсом: -
Kafka/Debezium/CDC, Trino/Presto, ClickHouse perf, OpenMetadata
Что мы предлагаем: -
Прозрачная и конкурентная ЗП, трудоустройство по ТК РФ;
-
Гибридный или Удаленный формат работы;
-
Техника для работы;
-
ДМС после испытательного срока;
-
Поддержка в трудных ситуациях – мы не просто компания, мы – сообщество;
-
Корпоративные скидки BestBenefits – спорт, путешествия, рестораны, курсы, даже косметика;
-
Команда, где все на “ты” – нет дресс-кода, нет иерархии, есть доверие.