Наша команда занимается разработкой и применением языковых моделей для улучшения опыта клиентов и сотрудников. Одно из основных направлений работы — повышение технологичности документооборота в Сбере. Наши разработки: мультиязычные NMT-модели для перевода внутренних документов, NER-модели для проверки подлинности договоров, модели на основе Knowledge Graph, модели контролируемой генерации на базе LLM.

Мы активно занимаемся адаптацией GigaChat для решения задач QA, суммаризации и генерации текстов. Развиваем собственные решения для применения RL в области NLP. У команды в распоряжении более 20 GPU A100.

Работа в офисе Сбер-сити (офис или гибридный формат)

Основной стек: PyTorch, Transformers, Accelerate, DeepSpeed

Стек LLM: LangChain, PEFT

Стек NMT: RL4LMS, Jax

Архитектуры: MT5, GigaChat, GPT-neo

Что нужно делать

В настоящее время ищем NLP-специалистов для работы над следующими задачами:

• Работа над моделями мэтчинга, поиска, извлечения сущностей (включая использование LLM)
• Дообучение генеративных LLM для различных задач (включая, суммаризацию, QA, генерацию диалогов)
• Работа над моделями мультиязычного перевода (включая модели выравнивания параллельных корпусов, определения языка)

Что ожидаем от вас

• Способность оценить качество созданной модели, понимание плюсов/минусов той или иной метрики для конкретной задачи;
• Знание методов классического NLP;
• Понимание DL-архитектур, используемых в NLP;
• Опыт коммерческой разработки моделей для решения NLP задач от 1 года;
• Опыт разработки моделей на pytorch;
• Опыт дообучения моделей на трансформерах (BERT, T5, etc);
• Понимание как работают генеративные LLM;
• Английский на уровне чтения CS-статей.

Будет плюсом:

• Опыт дообучения генеративных LLM (GPT-2, Neo-j, LLAMA)
• Опыт работы с языковыми моделями для задач Seq2Seq
• Знание метрик для задач NMT
  

Мы гарантируем

• Уникальные масштабные проекты, работа в приоритетном направлении;
• Достойная заработная плата (оклад + годовая премии);
• Современные рабочие места и программное обеспечение;
• ДМС, корпоративная пенсионная программа, страхование от несчастных случаев, социальные гарантии, корпоративные мероприятия;
• Высокий уровень корпоративной культуры;
• Комфортный офис Sbergile Home, метро Кутузовская;
• Современный спортзал.