In a recent blog post, “From AI Literacy to Verification Literacy: The Debate Around Citation Hallucination Checkers,” we discussed a growing interest in tools designed to identify fabricated references generated by artificial intelligence. Citation hallucination checkers represent an important step toward protecting research integrity. Yet before we reach for the hallucination checker, it is worth taking a closer look at what AI hallucinations are, why they occur, and what solutions may help researchers work with AI more responsibly.
A recent review article by Giray, Islam, and Glo (2026) provides a timely overview of the issue. The authors see AI hallucinations beyond simply software bugs. They are a structural feature of large language models. These systems generate text by predicting likely word sequences rather than verifying facts. As a result, they can produce convincingly-appearing outputs while containing fabricated citations, incorrect information, unsupported claims, or flawed reasoning.
The most visible form of hallucination in academic writing is citation fabrication. Researchers increasingly report references authentic at a first glance, yet non-existent. Some contain real author names combined with invented article titles. Others cite legitimate journals but fabricate publication details. The danger is not limited to a single paper. Once a hallucinated citation enters the scholarly record, it may be copied into future publications, literature reviews, and even systematic reviews, creating a chain of misinformation increasingly difficult to correct.
The review also highlights several factors contributing to hallucinations. One important cause is gaps in training data. When AI systems encounter topics poorly represented in their training materials, they often generate plausible guesses rather than acknowledge uncertainty. Rare concepts, niche research areas, and information in low-resource languages are particularly vulnerable. Prompt design also matters. Vague prompts provide more room for fabrication, while specific prompts reduce, but do not eliminate, the risk.
Another important insight concerns research equity. Hallucination rates are not distributed equally across disciplines and languages. Researchers working in English-language contexts often benefit from richer training data than scholars publishing in smaller languages. This raises important questions for global academia and highlights why researchers in countries such as Bulgaria should remain particularly cautious when using AI tools for scholarly work.
The paper also challenges a common assumption about detection tools resolving the problem. While citation checkers and hallucination detectors can support verification, the authors consider human oversight as indispensable. AI detectors may miss errors, produce false positives, or introduce bias. Verification remains a scholarly responsibility rather than a technical task expected to be fully automated.
A valuable recommendation from the review is the shift from policing AI use toward developing AI literacy and verification literacy. Researchers need practical skills for checking sources, validating claims, examining reasoning, and documenting the AI use during the research and writing process. Institutions should complement AI policies with training programs and promote critical engagement rather than simple compliance.
The future of academic integrity will on helping researchers, faculty, and students develop the judgment needed to work with AI responsibly. Verification, transparency, and accountability must become routine scholarly practices.
What has your experience been with AI hallucinations in research or academic writing? Have you encountered fabricated citations, inaccurate summaries, or misleading claims? What verification strategies or tools have worked best for you? Researchers, faculty members, librarians, and graduate students, please share your experiences, challenges, and solutions as we continue learning to navigate this new reality together.
Халюцинации на изкуствения интелект в академичното писане: отвъд инструментите за проверка на цитати
В предишна публикация в блога „От AI грамотност към грамотност за верификация: дебатът около инструментите за откриване на цитатни халюцинации“ разгледахме нарастващия интерес към инструменти, предназначени за откриване на измислени библиографски източници, генерирани от изкуствен интелект. Проверяващите инструменти за цитатни халюцинации представляват важна стъпка към защитата на научната почтеност. Но преди да посегнем към подобен инструмент, си струва да разгледаме по-подробно какво представляват AI халюцинациите, защо възникват и какви решения могат да помогнат на изследователите да работят по-отговорно с AI.
Скорошна обзорна статия на Giray, Islam и Glo (2026) предлага навременен поглед върху проблема. Авторите разглеждат AI халюцинациите като нещо повече от софтуерни грешки. Те са структурна характеристика на големите езикови модели. Тези системи генерират текст чрез предсказване на вероятни последователности от думи, а не чрез проверка на факти. В резултат те могат да създават убедително изглеждащи текстове, които съдържат измислени цитати, неточна информация, неподкрепени твърдения или грешки в логиката.
Най-видимата форма на халюцинации в академичното писане е фабрикуването на цитати. Все по-често изследователи съобщават за референции, които изглеждат достоверни на пръв поглед, но всъщност не съществуват. Някои съдържат реални имена на автори, комбинирани с измислени заглавия на статии. Други посочват съществуващи научни списания, но включват фалшифицирани библиографски данни. Опасността не се ограничава до една публикация. След като халюциниран цитат попадне в научната литература, той може да бъде копиран в бъдещи публикации, литературни обзори и дори систематични прегледи, създавайки верига от дезинформация, която става все по-трудна за коригиране.
Прегледът подчертава и няколко фактора, които допринасят за появата на халюцинации. Една от основните причини са пропуските в обучителните данни. Когато AI системите срещнат теми, които са слабо представени в данните, използвани за обучението им, те често генерират правдоподобни предположения вместо да признаят несигурност. Особено уязвими са редките концепции, тясно специализираните научни области и информацията на езици с ограничени ресурси. Значение има и начинът, по който са формулирани подканите (prompts). Неясните подканвания оставят повече пространство за фабрикации, докато по-конкретните намаляват, но не елиминират риска.
Друг важен извод е свързан с равнопоставеността в научните изследвания. Честотата на халюцинациите не е еднаква във всички дисциплини и езици. Изследователите, работещи в англоезична среда, често се възползват от по-богати обучителни данни в сравнение с учените, публикуващи на по-малки езици. Това поставя важни въпроси пред глобалната академична общност и подчертава защо изследователите в страни като България трябва да бъдат особено внимателни при използването на AI инструменти в научната си работа.
Статията поставя под съмнение и широко разпространеното предположение, че инструментите за откриване на халюцинации могат самостоятелно да решат проблема. Макар проверяващите цитати и детекторите на халюцинации да подпомагат процеса на верификация, авторите разглеждат човешкия контрол като незаменим. AI детекторите могат да пропуснат грешки, да генерират фалшиви положителни резултати или да въвеждат пристрастия. Проверката остава академична отговорност, а не техническа задача, която може да бъде напълно автоматизирана.
Една от най-ценните препоръки в прегледа е преходът от контрол върху използването на AI към развитие на AI грамотност и грамотност за верификация. Изследователите се нуждаят от практически умения за проверка на източници, валидиране на твърдения, анализ на аргументация и документиране на използването на AI по време на изследователския и писателския процес. Институциите следва да допълват политиките си за AI с обучителни програми и да насърчават критичното взаимодействие с технологиите, вместо единствено спазване на правила.
Бъдещето на академичната почтеност ще зависи от способността ни да помогнем на изследователи, преподаватели и студенти да развият необходимата преценка за отговорна работа с AI. Верификацията, прозрачността и отчетността трябва да се превърнат в рутинни академични практики.
Какъв е вашият опит с AI халюцинациите в научните изследвания или академичното писане? Срещали ли сте измислени цитати, неточни резюмета или подвеждащи твърдения? Кои стратегии или инструменти за проверка са били най-полезни за вас? Каня изследователи, преподаватели, библиотекари и докторанти да споделят своя опит, предизвикателства и решения, докато заедно се учим да се ориентираме в тази нова реалност.