Цитатите не са доказателство: какво означават AI инструментите за академичните изследвания
| AI research assistants can now write a literature review in minutes. You type a question, and a few moments later you have a neat report with dozens of references. It feels like a shortcut to good scholarship. But a recent analysis from the HKUST Library suggests we should slow down and look at what people actually do with these reports. What the data shows The Allen Institute for AI (Ai2) released a dataset of about 259,000 real queries made to its research tools in 2025. HKUST Library staff studied eight weeks of this data. They looked at ScholarQA, a tool with cited reports. It found 84% of report threads had no recorded click on any paper link. Only about 1 in 50 of the cited papers was opened. The author is careful to say this doesn’t prove nobody checked anything. People may have read excerpts inside the tool or opened the papers elsewhere. Still, the pattern suggests an use by many reports without anyone following the citations back to the sources. Why this matters The same data shows that people don’t read these reports once and throw them away. About half of users came back to earlier reports, and one report was still being used 155 days after it was created. These reports become working documents, and their claims can end up in someone’s own paper. That makes the connection between each claim and its source very important. A simple example Imagine an AI report says: “Drinking coffee improves exam results.” Beside the sentence is a reference to a real study, so it looks trustworthy. You open the study. It didn’t test exam results at all. It only asked students whether they enjoyed drinking coffee while studying. The paper is real, and it is about coffee and students. But it doesn’t support the claim. If you copy that sentence into your own article, you have published something your evidence can’t back up. This is the kind of mismatch the HKUST article warns about: a real paper placed next to a claim it doesn’t support. A risky habit The analysis found that some users pasted in finished text and asked the AI to add references without changing a single word. This treats the writing as already correct and asks the AI only to decorate it with sources. The AI may then find papers that look relevant while an exaggerated sentence stays untouched. A better request is: “Do these sources actually support each claim? Flag any wording that goes too far and suggest fixes.” That makes the AI a checker, not a decorator, and the final judgment stays with you. Three habits for researchers The article suggests three practical habits: Check the claim. Before reusing an important statement, open the cited paper and find the passage that supports it. If the evidence is narrower than the summary says, change your wording. Check the coverage. A long reference list does not mean a complete review. Search on your own for missing viewpoints and studies that disagree. Keep an evidence trail. Save your prompt, the date, the sources, and any limitations. Then you and your co-authors can trace where each claim came from. The bottom line AI tools can save researchers a great deal of time in finding and summarising literature. But they don’t remove the researcher’s responsibility for accuracy. The old rule still applies: a citation shows where an idea came from, not that the idea is true. Checking it is still our job. A caution on the evidence: the data covers earlier versions of the tools, and clicks are an imperfect measure of checking, so these findings point to a risk rather than a proven problem. | AI асистентите за научни изследвания вече могат да напишат литературен обзор за минути. Задавате въпрос и след броени мигове получавате подредена справка с десетки източници. Изглежда като пряк път към добра научна работа. Но неотдавнашен анализ на библиотеката на HKUST препоръчва да забавим темпото и да погледнем какво всъщност правят хората с тези справки. Какво показват данните Институтът Allen за изкуствен интелект (Ai2) публикува набор от данни с около 259 000 реални заявки към неговите изследователски инструменти през 2025 г. Служители на библиотеката на HKUST анализират осем седмици от тези данни. Те разглеждат ScholarQA, инструмент, който генерира справки с цитирания, и установяват, че при 84% от нишките със справки няма регистрирано кликване върху връзка към статия. Само около 1 от 50 цитирани статии е била отворена. Авторът внимателно уточнява, че това не доказва, че никой не е проверявал нищо. Възможно е хората да са прочели откъси в самия инструмент или да са отворили статиите другаде. Въпреки това моделът подсказва, че много справки се използват, без някой да проследи цитатите до първоизточниците. Защо това има значение Същите данни показват, че хората не прочитат тези справки веднъж, за да ги изхвърлят. Около половината от потребителите са се връщали към по-ранни справки, а една справка все още е била използвана 155 дни след създаването си. Тези справки се превръщат в работни документи и техните твърдения могат да попаднат в чужда статия. Затова връзката между всяко твърдение и неговия източник е изключително важна. Един обикновен пример Представете си, че AI справка твърди: „Пиенето на кафе подобрява резултатите на изпитите.” До изречението има препратка към реално проучване, така че изглежда достоверно. Отваряте проучването. То изобщо не е тествало резултати на изпити. Попитало е само студентите дали им харесва да пият кафе, докато учат. Статията е истинска и е свързана с кафето и студентите. Но не подкрепя твърдението. Ако копирате това изречение в собствената си статия, публикувате нещо, което доказателствата ви не могат да обосноват. Това е точно несъответствието, за което предупреждава статията на HKUST: реална публикация, поставена до твърдение, което не подкрепя. Рисков навик Анализът установява, че някои потребители са поставяли завършен текст и са искали от AI да добави източници, без да променя нито дума. Така текстът се приема за вече верен, а AI само го „украсява” с източници. Тогава AI може да намери статии, които изглеждат подходящи, докато преувеличено изречение остава недокоснато. По-добра заявка е: „Подкрепят ли тези източници всяко твърдение? Отбележи формулировките, които отиват твърде далеч, и предложи поправки.” Така AI е проверяващ, а не декоратор, и окончателната преценка остава ваша. Три навика за изследователите Статията предлага три практични навика: Проверявайте твърдението. Преди да използвате важно изявление, отворете цитираната статия и намерете откъса, който го подкрепя. Ако доказателствата са по-тесни от казаното в справката, променете формулировката. Проверявайте обхвата. Дългият списък с литература не означава пълен обзор. Търсете самостоятелно липсващи гледни точки и проучвания, които си противоречат. Пазете следа от доказателствата. Запазвайте заявката, датата, източниците и ограниченията. Така вие и съавторите ви можете да проследите откъде идва всяко твърдение. Накратко AI инструментите могат да спестят на изследователите много време при намирането и обобщаването на литература. Но те не освобождават изследователя от отговорността за точността. Старото правило важи и днес: цитатът показва откъде идва една идея, а не че идеята е вярна. Проверката си остава наша работа. Предупреждение относно доказателствата: данните обхващат по-ранни версии на инструментите, а кликванията са несъвършена мярка за проверка, така че тези изводи сочат риск, а не доказан проблем. |
Source: HKUST Library, “Inside a quarter-million AI research queries,” Research Bridge, 2 November 2026. https://library.hkust.edu.hk/news-events/news/inside-quarter-million-ai-research-queries