Бенчмарк iFigure: оцінювання якості відповідей про Minecraft

Вступ

У цій статті представлено benchmark-дослідження iFigure AI Agent, спрямоване на оцінювання його здатності точно відповідати на запитання, пов'язані з відеогрою Minecraft. Головною метою дослідження було оцінити, наскільки Retrieval-Augmented Generation (RAG) і механізм контролю генерації (PWG) впливають на точність відповідей, створених великою мовною моделлю.

Методологія

Конфігурація моделі

Qwen2.5-14B-Instruct-Q4_K_M.gguf

Одна й та сама конфігурація моделі послідовно використовувалася в усіх експериментальних умовах, без архітектурних змін.

Набір даних

Оцінювання проводилося з використанням публічно доступного набору даних:

minhaozhang/minecraft-question-answer-630k

Цей набір містить кілька сотень тисяч пар запитання-відповідь, пов'язаних із механіками гри, предметами та правилами в Minecraft.

З цього набору було випадково відібрано 199 запитань для бенчмарку.

Пошукова система

Для реалізації Retrieval-Augmented Generation (RAG) використовувалася пошукова система Kavunka.

Характеристики індексації:

Сайт https://minecraft.wiki/ було максимально проіндексовано
До індексу включено понад 8 000 сторінок
Агент мав доступ виключно до цього джерела

Отже, коли RAG було ввімкнено, модель спиралася лише на офіційне wiki-базоване сховище знань.

Експериментальна схема

Було оцінено три незалежні експериментальні конфігурації:

1. Без RAG і PWG
- Пошукові запити не виконувалися
- Відповіді генерувалися виключно на основі внутрішніх знань мовної моделі
2. З RAG, без PWG
- Агент звертався до пошукової системи Kavunka
- Знайдена інформація включалася у відповіді
- Обмеження генерації не застосовувалися
3. З RAG і PWG
- Пошукову функціональність було ввімкнено
- Застосовувався механізм PWG (Permitted Word Generation)
- Генерація ненадійних або неавторизованих формулювань обмежувалася

Метрика оцінювання

Якість відповідей оцінювалася за такою метрикою:

BERT F1 (bert_f1_rank)

Ця метрика вимірює семантичну подібність між відповіддю, згенерованою моделлю, та еталонною відповіддю.

Інтерпретація значень:

1.0 — майже повна семантична еквівалентність
≥ 0.9 — правильна відповідь
< 0.9 — частково або повністю неправильна відповідь

Усі відповіді було відсортовано від найвищого до найнижчого значення BERT F1 (зліва направо).

Експериментальні результати

Отриманий графік містить три криві:

Синя лінія — без RAG і PWG
Помаранчева лінія — з RAG, без PWG
Зелена лінія — з RAG і PWG

Загальні спостереження

Модель без RAG

Значно нижчі середні значення BERT F1
Швидке падіння якості відповідей
Велика кількість відповідей нижче порогу правильності 0.9

Модель з RAG

Суттєве зростання точності
Більшість відповідей вище 0.9
Плавніша крива зниження

RAG + PWG

Продуктивність дуже близька до стандартного RAG
Суттєвого покращення метрики не виявлено
Трохи стабільніша поведінка в нижньому хвості продуктивності

Аналіз

Вплив RAG

Використання Retrieval-Augmented Generation призвело до суттєвого покращення якості відповідей:

Збільшилася кількість правильних відповідей
Знизився рівень галюцинацій
Зросла опора на перевірені зовнішні джерела

RAG ефективно компенсував внутрішні параметричні обмеження мовної моделі завдяки включенню актуальної та авторитетної бази знань.

Вплив PWG

У межах цього бенчмарку механізм PWG:

не дав вимірюваного зростання BERT F1
не змінив суттєво загальну форму кривої

Однак у практичних сценаріях розгортання PWG виконує іншу функцію:

зменшує кількість впевнено неправильних відповідей
частіше сигналізує користувачу про невизначеність
знижує ймовірність вигаданих фактів

Тому його головна цінність полягає в покращенні користувацького досвіду та надійності системи, а не в прямому впливі на формальні метрики семантичної подібності.

Висновки

Результати бенчмарку підтримують такі висновки:

1. RAG суттєво підвищує точність

У цьому експерименті:

статистично значущого приросту точності не спостерігалося
відмінності порівняно зі стандартним RAG були мінімальними

Водночас PWG підвищує надійність системи в реальному використанні.

3. Комбінація LLM + RAG є оптимальною

Архітектура, що поєднує:

LLM + пошуковий індекс + RAG

продемонструвала найвищу ефективність для доменно-специфічних задач питання-відповіді.

Фінальні зауваження

Цей бенчмарк показує, що iFigure AI Agent суттєво покращує якість відповідей, коли використовує зовнішню базу знань.

Ключові результати:

Без RAG — обмежена точність
З RAG — високий рівень правильності
RAG + PWG — безпечніша й контрольованіша поведінка агента

Ці результати підтверджують, що retrieval-підходи є важливим компонентом архітектури сучасних AI-систем для практичної підтримки користувачів в ігрових і технічних доменах.