По-прости инструменти, по-ефективен AI: какво добавя Aaron Tay към дебата за RAG
| Podcast | Подкаст |
| Our previous post asked whether universities need more complex AI systems. It discussed a study comparing basic RAG, GraphRAG, modular RAG, and agentic RAG. Its main finding was clear: a more complex system does not automatically produce a better answer. A simple RAG system, enriched with basic relationships between concepts, performed better than the GraphRAG systems tested. The researchers also found a gap between finding relevant information and using it well in the final answer. ([arXiv][1]) Aaron Tay reads the study from a practical library perspective. His main point is about an AI agent may work best when we give it a small number of useful tools and allow it to decide how to use them. A small toolbox may be sufficient Aaron focuses on Scenario 8. The model received access to one document-retrieval tool based on vector similarity. This agent performed better than setups with tools for query reformulation, reranking, or knowledge-graph search. A capable model can often reformulate a query itself. It can also review a small set of results and decide which ones matter. Adding separate tools for each step creates more decisions and more opportunities for error. Aaron supports this view with his work on Primo, a library discovery system. https://exlibrisgroup.com/products/primo-discovery-service/ A language model connected to a simple Primo search tool performed well. He also describes a librarian recommendation feature. The first version used librarian profiles stored in JSON and worked well. He later added more rules and fixed paths. The system improved on his evaluation set, but became worse overall. This adds an important warning. Developers may overfit a system to a small test set. A system can score well on familiar cases and still fail when users ask new questions. How does Aaron’s test confirm the article’s finding? Both the paper and Aaron’s experience show tools’ abundance do not guarantee better performance. Extra components can add noise, repeat information, lengthen prompts, and force the agent to choose among too many actions. The paper reached a similar conclusion when expanded retrieval produced more evidence without a matching improvement in the final answer. ([arXiv][1]) Both also show the importance of good context matters to a large context. The model needs relevant, well-organised information. Providing more context makes it harder to identify the important points. Where does Aaron’s test differ from the artice’s findings? Aaron places more emphasis on agent autonomy. The model, according to him, may handle query reformulation and reranking better than separate tools, especially with a small result set. The paper supports this view for the tested scenarios, but its strongest overall result came from basic RAG with one-hop relationships, not from an agent. The broader conclusion is more cautious: simple agentic search may work well, but basic RAG may still perform better for some tasks. Aaron and the commenters also add the importance of professional expertise. Experienced librarians or legal researchers can identify tasks that need fixed procedures. People with less domain knowledge may add rules seemingly useful but reduce performance. What should faculty and students take from this? Faculty do not need the most complex AI system for every course or research task. A simple model connected to reliable documents may be enough for course support, library searching, research guidance, or institutional information. Students should learn and remember: AI quality depends on the whole task. They should ask: What information does the model need? Which tools are useful? Are the results complete? Did the model use the evidence correctly? In practicality: begin with one clear task, trustworthy sources, and the fewest tools needed. Add complexity only when repeated testing reveals a problem the simpler system cannot solve. | В предишната ни публикация поставихме въпроса дали университетите се нуждаят от по-сложни системи с изкуствен интелект. В нея разгледахме изследване, което сравнява базов RAG, GraphRAG, модулен RAG и агентен RAG. Основният извод беше ясен: по-сложната система не води автоматично до по-добър отговор. Една сравнително проста RAG система, обогатена с основни връзки между понятията, се представя по-добре от тестваните GraphRAG системи. Изследователите установяват и разлика между намирането на подходяща информация и правилното ѝ използване в крайния отговор. (https://arxiv.org/abs/2606.25656) Aaron Tay разглежда изследването от практическата гледна точка на академичните библиотеки. Основната му теза е, че един AI агент може да работи по-добре, когато разполага с малък брой полезни инструменти и има свободата сам да решава как да ги използва. Малък набор от инструменти може да бъде достатъчен Aaron обръща специално внимание на Сценарий 8. При него моделът получава достъп до един инструмент за търсене в документи, основан на векторно сходство. Този агент се представя по-добре от системи, които включват допълнителни инструменти за преформулиране на заявки, пренареждане на резултатите и търсене в граф на знанието. Един способен модел често може сам да преформулира заявката. Той може също да прегледа малък набор от резултати и да прецени кои от тях са важни. Добавянето на отделен инструмент за всяка стъпка създава повече решения и повече възможности за грешки. Aaron подкрепя тази позиция с опита си с Primo, система за библиотечно търсене и откриване на ресурси: https://exlibrisgroup.com/products/primo-discovery-service/ Езиков модел, свързан с прост инструмент за търсене в Primo, се представя добре. Aaron описва и функция за препоръчване на подходящ библиотекар. Първата версия използва профили на библиотекари във формат JSON и дава добри резултати. По-късно той добавя повече правила и предварително зададени пътища. Системата подобрява резултатите си върху използвания набор за оценяване, но цялостното ѝ представяне се влошава. Това води до важно предупреждение. Разработчиците могат да настроят прекалено силно системата спрямо малък тестов набор. Така тя може да се представя добре при познати случаи, но да се затруднява, когато потребителите задават нови въпроси. Как тестът на Aaron потвърждава изводите от статията? Както изследването, така и опитът на Aaron показват, че по-големият брой инструменти не гарантира по-добро представяне. Допълнителните компоненти могат да внесат шум, да повтарят информация, да удължават промптовете и да принуждават агента да избира между прекалено много действия. Изследването достига до подобен извод. Разширеното търсене намира повече доказателства, но това не води до съответно подобрение на крайния отговор. И двата примера показват, че качественият контекст е по-важен от големия по обем контекст. Моделът се нуждае от подходяща, добре организирана информация. Прекалено многото контекст може да затрудни откриването на най-важните елементи. По какво тестът на Aaron се различава от изводите в статията? Aaron поставя по-силен акцент върху автономността на агента. Според него моделът може да се справя с преформулирането на заявки и пренареждането на резултати по-добре от отделни специализирани инструменти, особено когато работи с малък набор от резултати. Изследването подкрепя тази позиция за разгледаните сценарии. Най-добрият общ резултат обаче е постигнат от базов RAG с връзки от едно ниво, а не от агент. Затова по-широкият извод е по-предпазлив: простото агентно търсене може да работи добре, но при някои задачи базовият RAG може да се представя по-добре. Aaron и участниците в дискусията добавят и още един важен елемент: професионалната експертиза. Опитните библиотекари или специалисти по правни изследвания могат по-лесно да разпознаят задачите, които изискват строго определени процедури. Хората с по-малко познания в съответната област могат да добавят правила, които изглеждат полезни, но на практика влошават резултатите. Какви са изводите за преподавателите и студентите? Преподавателите не се нуждаят от най-сложната AI система за всеки курс или изследователска задача. Един сравнително прост модел, свързан с надеждни документи, може да бъде достатъчен за подпомагане на обучението, търсене в библиотечни ресурси, изследователско консултиране или предоставяне на институционална информация. Студентите трябва да разберат и запомнят, че качеството на AI зависи от цялата задача. Те трябва да си задават следните въпроси: От каква информация се нуждае моделът? Кои инструменти са полезни? Пълни ли са резултатите? Използва ли моделът правилно намерените доказателства? Практическият извод е ясен: започнете с една добре определена задача, надеждни източници и възможно най-малък брой необходими инструменти. Добавяйте сложност само когато многократното тестване покаже проблем, който по-простата система не може да реши. |