Мы команда в Ozon Tech, которая занимается автоматизацией коммуникаций с нашими пользователями. Основное направление работы команды «Модели оценки качества работы ботов» - разработка офлайн и реалтайм решений вокруг процессов оценки ML-моделей.
В списке наших проектов:
- Агенты для консультации пользователей.
- ML-решения для RAG-платформы (эмбеддеры, ретриверы, LLM).
- Ряд текстовых ботов, определяющих намерения клиентов (классификаторы, LLM).
- ML-решения для платформы текстовой аналитики (тренды обращений, семантический поиск, кластеризация, генерация).
- Помощники операторов (векторный поиск, классификаторы, LLM).
Наш стек: Python, asyncio, Pytorch, Transformers, Triton Inference Server, vllm, gRPC, Git, CI/CD , SQL, S3, Redis, Clickhouse, Kafka
Вы будете
- Погружаться в особенности создания наших проектов.
- Частью центра принятия решений о релизе моделей.
- Создавать и улучшать процессы вокруг оценки ML-решений.
- Проводить аудит поведения всех типов моделей отдела.
- Заботиться о качестве артефактов для построения и оценки моделей.
- Работать с LLM и LLM apps.
- Разрабатывать решения для реалтайм анализа динамики ведения диалога агентами с пользователем.
- Создавать инструменты для автоматической валидации решений на основе LLM (в том числе симуляции взаимодействия с агентами).
- Прототипировать ML-решения для проверки гипотез о влиянии на метрики.
- Задавать стандарты в оценке поведения и качества ответов агентов.
Нам важно
- Опыт работы Data Scientist от 3х лет.
- Опыт работы с NLP от 2 лет.
- Практический опыт проведения процедур оценки LLM-решений.
- Опыт работы с агентами для консультации пользователей.
- Понимание ограничений LLM.
- Умение писать продакшн-код.
- Подготовка понятных отчетов.
- Умение объяснить сложные метрики понятным языком.
Будет плюсом
- Опыт в аудите ML-решений.
- Опыт разработки агентских систем.
- Опыт в постановки заданий на разметку асессорам и приемка результатов.
