- Развёртывание и сопровождение платформы на стендах и у заказчиков: Linux, Docker/Compose, GitLab CI/CD, SSH-деплой.
- Проектирование и эксплуатация production ETL/ingestion-пайплайнов на Apache NiFi: flow design, backpressure, гарантии доставки, ретраи, версионирование flows (NiFi Registry).
- Настройка и доработка коннекторов/адаптеров к внешним источникам: ODBC, REST/SOAP, файлы, 1С, ClickHouse.
- Администрирование и оптимизация PostgreSQL: сложные запросы, планы, индексы, кэширование.
- Диагностика стендов по SSH, разбор инцидентов в Docker-окружении.
Требования:
- Python 3.8+: асинхронность, различие asyncio и gevent; конкурентность threads/processes, GIL, I/O-bound vs CPU-bound; типизация (typing/mypy); поддерживаемый, читаемый, тестируемый код.
- Архитектура: Clean Architecture / Hexagonal (Ports & Adapters); проектирование границ, контрактов и зависимостей между слоями.
- Инженерные принципы: SOLID, KISS, YAGNI, DRY, Separation of Concerns, High Cohesion / Low Coupling, Fail Fast, Idempotency by design, Design for testability.
- Linux + Docker/Compose: самостоятельная диагностика — сеть контейнеров, проброс портов, healthcheck'и, чтение логов, переменные окружения.
- GitLab CI/CD и SSH-деплой: пайплайн build -> deploy, умение разобраться, почему упала джоба.
- Django: ORM, middleware, management-команды; готовность к большому legacy-монолиту (аккуратно менять чужой код важнее, чем писать с нуля).
- PostgreSQL: сложные запросы, оптимизация, индексы/планы; версионность данных, временные срезы, SCD2 / time-travel.
- Apache NiFi (production-опыт): flow design, processors, scheduling, backpressure/очереди, гарантии доставки, ретраи, версионирование flows (NiFi Registry).
- DevOps: Docker/Compose, GitLab CI/CD, SSH-деплой; Nginx/Apache + Gunicorn/uWSGI.
Будет плюсом:
Apache Spark (PySpark / Spark SQL), Airflow или Dagster, поставки в закрытые контуры (Astra/Alt Linux), практика документации (ADR, drawio), Kerberos/Keycloak, ClickHouse, мониторинг (Prometheus/Grafana/Loki).
О работе честно:
Это внедрение и доработка реального enterprise-продукта — NiFi-пайплайны, закрытые контуры без интернета, нативные зависимости, привязанные к ОС. Ищем инженера, которому интересно разбираться, почему сломалось, и проектировать так, чтобы ломалось предсказуемо.
Ключевые навыки:
Python · Apache NiFi · Django · PostgreSQL · Linux · Docker · GitLab CI/CD · Nginx/Apache · ETL/ELT · Celery
Ключевые навыки
- Python
- Apache NiFi
- Django Framework
- PostgreSQL
- Linux
- GitLab CI
- Nginx
- CI/CD
- ETL
- Celery