Scraping Tech Lead (Web scraping & Anti-bot)

Web Scraping & Anti-Bot (hands-on, production)

• Реальный опыт промышленного web scraping на большом масштабе (миллионы страниц / запросов в сутки)

• Практический опыт обхода современных anti-bot систем, а не только ротации прокси

• Управление жизненным циклом сессий, поведенческая консистентность, стабильность fingerprint’ов

• Работа с CAPTCHA на уровне архитектуры, а не «подключили сервис и забыли»

Сеть и fingerprinting

• Глубокое понимание HTTP/2, TLS-handshake, JA3 / JA4 fingerprinting

• Умение воспроизводить, модифицировать и маскировать сетевые fingerprint’ы

• Понимание блокировок на уровне ISP / ASN и способов их обхода

Browser internals

• Глубокое понимание Chromium / browser stack, CDP, пайплайн выполнения JS

• WebRTC, canvas, audio, fonts, timezone fingerprinting

• Методы детекта headless-браузеров и контрмеры

Архитектура и масштаб

• Проектирование scraping-платформ с разделением data-plane / control-plane

• Распределённые краулеры, адаптивный rate-control, детект банов, retry-стратегии

• Проектирование систем, устойчивых к эскалации защиты со стороны сайтов

Backend

• Async Python (asyncio, aiohttp) в проде на больших нагрузках

• Go для высокопроизводительного сетевого кода / краулинга

• Redis на масштабе (локи, rate-limit, хранилище сессий)

• Очереди и message brokers (Kafka / RabbitMQ / SQS)

Техническое лидерство

• Полная ответственность за архитектуру и техническое развитие платформы

• Code-review с архитектурной экспертизой

• Менторинг senior-инженеров

• Участие в найме и технических интервью