Области проекта: департамент разработки ERP и учётных систем, отдел управления товарными движениями Обязанности: - Разработка и поддержка высоконагруженных систем на C# - Проектирование архитектуры - Написание и ревью RnD - Обсуждение и договоренности по интеграциям с кроссдоменными командами - Декомпозиция задач с установкой сроков выполнения, а так же контроль сроков и качества выполнения - Работа с инфраструктурными компонентами (Kafka, Redis, MSSQL, PostgreSQL) - Мониторинг сервисов (Prometheus, Grafana, Graylog) Достижения: - Разработал алгоритм, который ускорил выгрузку 37 миллиардов экземплярных движений из PostgreSQL с 7 дней до 5 часов, решив ряд инфраструктурных проблем по типу превышения лимита I/O операций / bytes диска. Текущие показатели: пропускная способность PostgreSQL - 15 млн-ов записей в секунду в рамках кластера (64 шарда) на 128 подах. Есть запас степени параллелизма x10 для текущей конфигурации кластера, а так же легкое горизонтальное масштабирование. - Разработал алгоритм, который позволяет эффективно выгружать большой объем данных из ClickHouse. Важно было предоставить решение, для которого верхней границей параллелизма не является количество шардов. Это стало доступным благодаря введению этапа подготовки, который генерирует N рейнжей на основе текущих данных, они так же являются и чекпоинтами. Благодаря этому верхней границей параллелизма = Math.Max(количество рейнжей, пропускная способность ClickHouse/тачки/диска/сети). - Ускорил join 13 миллиардов записей с 700 миллионами на ClickHouse с 11 часов до 30 минут. Это стало возможным благодаря пониманию таких понятий как локальность данных и то, как эффективно работать с диском. - Соавтор библиотеки TrolleyBus (ранее VeloBus) - это удобная абстракция для работы с кафкой, которая содержит важный функционал по типу: батчового консьюмера, параллельного консьюмера, Rtc конфигурирование, Skip DSL, умный помощник по настройке опций и т.д. Все что нужно сделать клиенту - это реализовать клиентский Handler. Библиотека обрела популярность, на данный момент, ее используют более 137 сервисов, которые консьюмят более 445 топиков. - Автор библиотеки Foreman - это бригадир, который занимается постановкой задач в очередь, распределением между подами, поддержкой гибкой RTC конфигурации. Важная и ключева фича - это то, как он работает с долгими задачами. Каждая свободная задача берется в аренду, если под еще подает признаки жизни и время аренды подходит к концу, аренда продлевается автоматически. Теперь не нужно высчитывать сколько времени правильно запросить на аренду. На данный момент, поддерживается реализация на основе PostgreSQL (так же есть поддержка шардированной вариации) - Реализовал инфраструктурное решение для выполнения миграций ClickHouse. В итоге, мы получили удобное решение, для выполнения миграций как локально, так и в CI/CD.

Haraba - это агрегатор автомобильных объявлений, а так же CRM-система, в которую входит: управление складом, оценка рынка, рейтинг, колл-центр, дашборды, управление ограничениями и это только малая часть всего функционала. Обязанности: - Проектирование архитектуры - Реализация бизнес-сценариев - Ручное и интеграционное тестирование всех сценариев - Реинжиниринг и рефакторинг существующих сервисов - Обсуждение и договоренности по интеграциям с клиентами - Декомпозиция задач с установкой сроков выполнения - Контроль сроков и качества выполнения Достижения: - Внес весомый вклад на пути к крупной сделке по покупке компании, взяв полную ответственность над парсингом, а это - ядро компании. - Увеличил скорость парсеров и мониторингов (самые быстрые среди конкурентов). В выкупе авто скорость выдачи объявлений в ленте играет ключевую роль. - Обошел много интересных защит от парсинга крупных сайтов (TLS Fingerprint, ProofOfWork, Json chunk и т.д.)