Бенчмарк iFigure: оценка качества ответов по Minecraft
Введение
В этой статье представлено benchmark-исследование iFigure AI Agent, направленное на оценку его способности точно отвечать на вопросы, связанные с видеоигрой Minecraft. Главной целью исследования было оценить, насколько Retrieval-Augmented Generation (RAG) и механизм контроля генерации (PWG) влияют на точность ответов, создаваемых большой языковой моделью.Методология
Конфигурация модели
Одна и та же конфигурация модели последовательно использовалась во всех экспериментальных условиях, без архитектурных
изменений.
Набор данных
Оценка проводилась с использованием публично доступного набора данных:
Этот набор содержит несколько сотен тысяч пар вопрос-ответ, связанных с игровыми механиками, предметами и правилами
в
Minecraft.
Из этого набора было случайно выбрано 199 вопросов для бенчмарка.
Поисковая система
Для реализации Retrieval-Augmented Generation (RAG) использовалась поисковая система Kavunka.
Характеристики индексации:
- Сайт https://minecraft.wiki/ был максимально проиндексирован
- В индекс включено более 8 000 страниц
- Агент имел доступ исключительно к этому источнику
Таким образом, когда RAG был включён, модель опиралась только на официальное wiki-based
хранилище знаний.
Экспериментальная схема
Были оценены три независимые экспериментальные конфигурации:
-
1. Без RAG и PWG
- Поисковые запросы не выполнялись
- Ответы генерировались исключительно на основе внутренних знаний языковой модели
-
2. С RAG, без PWG
- Агент обращался к поисковой системе Kavunka
- Найденная информация включалась в ответы
- Ограничения генерации не применялись
-
3. С RAG и PWG
- Поисковая функциональность была включена
- Применялся механизм PWG (Permitted Word Generation)
- Генерация ненадёжных или неавторизованных формулировок ограничивалась
Метрика оценки
Качество ответов оценивалось с помощью следующей метрики:
BERT F1 (bert_f1_rank)
Эта метрика измеряет семантическое сходство между ответом, сгенерированным моделью, и
эталонным ответом.
Интерпретация значений:
Все ответы были отсортированы от наивысшего до наименьшего значения BERT F1 (слева направо).
- 1.0 — почти полная семантическая эквивалентность
- ≥ 0.9 — правильный ответ
- < 0.9 — частично или полностью неправильный ответ
Экспериментальные результаты
Полученный график содержит три кривые:
- Синяя линия — без RAG и PWG
- Оранжевая линия — с RAG, без PWG
- Зелёная линия — с RAG и PWG
Общие наблюдения
Модель без RAG
- Значительно более низкие средние значения BERT F1
- Быстрое падение качества ответов
- Большое количество ответов ниже порога корректности 0.9
Модель с RAG
- Существенное увеличение точности
- Большинство ответов выше 0.9
- Более плавная кривая снижения
RAG + PWG
- Производительность очень близка к стандартному RAG
- Существенного улучшения метрики не наблюдается
- Немного более стабильное поведение в нижнем хвосте производительности
Анализ
Влияние RAG
Использование Retrieval-Augmented Generation привело к существенному улучшению качества ответов:- Увеличилось количество правильных ответов
- Снизился уровень галлюцинаций
- Усилилась опора на проверенные внешние источники
Влияние PWG
В рамках этого бенчмарка механизм PWG:- не дал измеримого увеличения BERT F1
- не изменил существенно общую форму кривой
- снижает количество уверенно неправильных ответов
- чаще сигнализирует пользователю о неопределённости
- уменьшает вероятность выдуманных фактов
Выводы
Результаты бенчмарка подтверждают следующие выводы:
1. RAG существенно повышает точность
В этом эксперименте:- статистически значимого прироста точности не наблюдалось
- различия по сравнению со стандартным RAG были минимальными
3. Комбинация LLM + RAG является оптимальной
Архитектура, объединяющая:- LLM + поисковый индекс + RAG
Финальные замечания
Этот бенчмарк показывает, что iFigure AI Agent существенно улучшает качество ответов,
когда использует внешнюю базу знаний.
Ключевые результаты:
- Без RAG — ограниченная точность
- С RAG — высокий уровень корректности
- RAG + PWG — более безопасное и контролируемое поведение агента