Бенчмарк iFigure AI Agent в медицинской области
Цель
Целью этого бенчмарка было оценить способность iFigure AI Agent давать точные ответы на медицинские вопросы. Особое внимание уделялось оценке влияния механизма Retrieval-Augmented Generation (RAG) на точность ответов.Экспериментальная конфигурация
1. Базовая модель
Агент был построен на основе следующей большой языковой модели (LLM):
Это компактная, квантованная (Q4_K_M) версия модели с 14 миллиардами параметров, оптимизированная для
эффективного инференса.
2. Набор данных
Для оценки использовался набор данных:
Этот набор содержит медицинские вопросы и эталонные ответы и специально
предназначен для оценки способности к рассуждению в медицинской области.
Для бенчмарка была случайно выбрана подвыборка из 199 вопросов.
3. Поисковая инфраструктура
AI Agent имел доступ к поисковой системе Kavunka. Её индекс включал:
- специализированные медицинские сайты,
- фармацевтические ресурсы,
- а также немедицинские сайты.
Таким образом, поиск выполнялся в реалистичной и зашумлённой среде, что повышало
строгость и экологическую валидность эксперимента.
Сценарии тестирования
Были оценены две экспериментальные конфигурации:
-
Тест A — без RAG
- Агент не выполнял поисковые запросы.
- Ответы генерировались исключительно на основе знаний, встроенных в LLM.
-
Тест B — с RAG (без PWG)
- Агент выполнял поисковые запросы через движок Kavunka.
- Ответы генерировались на основе найденной информации (retrieval + generation).
- Механизм PWG (Post-Word Generation rollback) был отключён.
Обоснование исключения PWG
PWG (Post-Word Generation rollback) предполагает откат генерации при обнаружении "unresolved" токенов
и попытку повторно сгенерировать ответ. Однако предварительное тестирование показало:
- улучшение точности ответов было незначительным,
- задержка ответа существенно увеличивалась,
- требовались дополнительные циклы отката и повторной генерации токенов.
Поэтому PWG был исключён из финальной экспериментальной конфигурации.
Методология оценки
Каждый сгенерированный ответ сравнивался с эталонным ответом с помощью метрики BERT F1 (bert_f1 rank).
Ответы сортировались:
- от самого точного (максимальный bert_f1),
- до наименее точного (минимальный bert_f1).
Интерпретация метрики
- bert_f1 > 0.9 — ответ считается правильным.
- Более высокие значения означают более близкое семантическое совпадение с эталонным ответом.
Результаты
Результаты представлены в виде двух кривых:
- Синяя кривая — модель без RAG и PWG
- Оранжевая кривая — модель с RAG, без PWG
Кривые отсортированы по убыванию качества ответов.
Наблюдения
- По всему распределению оранжевая кривая стабильно находится выше синей.
- Количество ответов с bert_f1 > 0.9 значительно выше при использовании RAG.
- Разница особенно заметна в верхнем сегменте (ответы наивысшего качества).
- В нижнем хвосте распределения RAG также демонстрирует стабильное преимущество.
Ключевые выводы
1. RAG существенно повышает точность
Интеграция retrieval-механизмов существенно увеличивает количество правильных ответов
(bert_f1 > 0.9).
Это особенно критично в медицине, где:
- требуется высокая точность,
- фактическая корректность обязательна,
- галлюцинации недопустимы.
2. Доступ к поиску компенсирует ограничения LLM
Даже модель с 14 миллиардами параметров без доступа к актуальным внешним источникам:
- демонстрирует более низкую точность,
- чаще отклоняется от эталонных ответов.
RAG позволяет системе:
- опираться на релевантные внешние источники,
- уточнять фактическую информацию,
- снижать вероятность генеративных ошибок.
3. PWG не оправдан в данной конфигурации
Поскольку улучшения качества были минимальными, а задержка ответа существенно увеличивалась,
использование PWG в этом медицинском QA-сценарии не оправдано.
Заключение
Бенчмарк показывает, что интеграция RAG в iFigure AI Agent:
- существенно улучшает качество ответов,
- значительно увеличивает долю правильных ответов,
- повышает пригодность системы для медицинских приложений.
Результаты подтверждают, что в доменно-специфических областях, таких как медицина, сочетание LLM с retrieval-
механизмом является значительно более эффективной архитектурой, чем изолированное использование LLM.