AI in the Peer Review Chair: What the Current Debate Reveals About Academic Publishing  

Plamen Miltenoff

infographic of the peer review comparison human - AI

Peer review determines what academia accepts as credible knowledge. It shapes publication, funding, promotion, curriculum, and research visibility. If artificial intelligence changes peer review, it changes one of the core systems through which universities validate scholarship.

This discussion is no longer theoretical. AI already participates in research workflows through literature reviews, coding assistance, editing, summarization, and drafting. Publishers increasingly use AI-supported systems for plagiarism checks, manuscript screening, and integrity verification. Reviewers themselves are beginning to experiment with AI-generated feedback. Yet institutional policies and publishing norms still lag behind actual practice. 

That gap explains why Paul Penfold’s reflection on submitting an AI-assisted paper to the Journal for AI Generated Papers (JAIGP) has attracted attention. His account presents AI not as a future possibility but as an operational participant in scholarly workflows. 

AI already participates in academic publishing at multiple stages. After concerns whether researchers use AI, the discussion now revolves around open disclosure of its use. Excluding AI specifically from peer review creates an increasingly artificial distinction because the surrounding research ecosystem already relies heavily on AI-supported processes.  

The current system of traditional peer review is repeatedly described as slow, opaque, overloaded, and dependent on unpaid academic labor. Publication timelines of 12 to 18 months appear increasingly incompatible with rapidly evolving disciplines such as artificial intelligence itself. Reviewer fatigue, growing submission volumes, and mounting editorial pressure appear consistently across the literature. AI becomes attractive partly because the existing model already struggles structurally. 

AI performs best in bounded and structured tasks. Current evidence suggests large language models can identify formatting problems, methodological inconsistencies, missing references, and internal logical contradictions. Some studies even show substantial overlap between AI-generated comments and human reviewer feedback. Researchers frequently rated AI-generated comments as useful and sometimes comparable to human reviews. 

However, AI systems remain weaker in evaluating originality, conceptual novelty, disciplinary significance, and contextual interpretation. Human reviewers continue to outperform AI in assessing whether research meaningfully advances a field. Peer review requires interpretive judgment, tacit expertise, and disciplinary sensitivity rather than only structural checking.  

Further, governance concerns emerge. Confidentiality, accountability, hallucinations, reproducibility, bias, and manipulation risks mares the ouput. Multiple publishing organizations already prohibit uploading unpublished manuscripts into public AI systems because of intellectual property and privacy concerns. Prompt injection attacks have also emerged as a major issue. Some papers embedded hidden instructions targeting AI reviewers, attempting to manipulate generated evaluations toward positive recommendations. This transforms AI peer review into both an epistemic and cybersecurity problem. 

Transparency emerges as one of the central recurring themes. Undisclosed AI use has already become widespread. Some estimates suggest meaningful percentages of conference reviews already contain AI-generated or AI-modified text. The challenge therefore shifts from prohibition toward traceability and disclosure. Several analyses argue institutions can no longer realistically police whether AI was used. Instead, they must build systems capable of documenting how AI was used. 

Differences

Some perspectives interpret AI-assisted peer review primarily as a productivity improvement. These views emphasize faster turnaround times, workload reduction, democratized access to publishing, and reduced reviewer burden. They frame AI as an infrastructure solution helping scholarly communication scale under increasing submission pressure.

Other perspectives remain considerably more cautious. These analyses focus less on efficiency and more on epistemic quality. They warn AI may amplify existing weaknesses in academic publishing rather than solve them. If institutions already reward publication quantity over research quality, AI may accelerate production of low-value papers and synthetic scholarship. In this framing, the danger is not automation itself but automation operating inside flawed incentive systems. 

The analyses also differ in their evaluation of fairness and bias. Some accounts cautiously suggest AI may reduce emotional behavior, reviewer hostility, and inconsistency. Others point to empirical studies showing affiliation bias persists in AI-generated evaluations. Prestigious institutional affiliations still received more favorable AI review outcomes in some experimental conditions. This weakens claims that AI naturally produces neutral or objective review environments. 

Differences also appear regarding the role AI should ultimately occupy. Some frame AI as an assistant supporting human reviewers. Others explore the possibility of semi-autonomous or highly automated review pipelines. Yet across the literature, fully replacing human reviewers remains poorly supported. Most evidence currently favors hybrid systems where AI assists while humans retain editorial authority, accountability, and final evaluative judgment. 

This is where JAIGP’s model becomes especially important.

The Journal for AI Generated Papers introduces significant institutional idea emerging from this debate: radical transparency. Instead of treating AI use as hidden assistance, JAIGP makes AI participation visible at every stage of the process. Penfold describes a five-stage workflow involving AI screening, academic endorsement, AI review, human peer review, and transparent tracking of contributions. 

The significance of this model extends beyond publishing mechanics. Radical transparency reframes the entire governance problem. Traditional journals still operate within a concealment paradigm where researchers fear stigma for disclosing AI assistance. JAIGP instead assumes AI involvement is inevitable and focuses on traceability, documentation, and accountability.

This shift mirrors broader developments already happening across higher education and research systems. The question increasingly changes from “Was AI used?” to “How was AI used, where, and under what human oversight?”

JAIGP’s approach does not solve every concern raised in the literature. Transparency alone cannot eliminate hallucinations, manipulation risks, algorithmic bias, or weak scholarship. But the model introduces a more honest starting point for future academic publishing systems.

The debate therefore no longer concerns whether AI belongs in peer review. AI already entered the room. The real question concerns the conditions under which academic institutions are willing to trust, audit, govern, and openly acknowledge its presence.


ИИ като рецензент: Какво разкрива настоящият дебат за академичното публикуване

ИИ в стола на рецензента: Какво разкрива настоящият дебат за академичното публикуване

Рецензирането определя какво академичната общност приема за достоверно знание. То оформя публикациите, финансирането, академичното развитие, учебните програми и видимостта на научните изследвания. Ако изкуственият интелект промени рецензирането, той ще промени една от основните системи, чрез които университетите валидират научното знание.

Тази дискусия вече не е теоретична. ИИ вече участва в изследователските процеси чрез литературни обзори, помощ при програмиране, редактиране, обобщаване и създаване на текстове. Издателствата все по-често използват ИИ-базирани системи за проверка за плагиатство, скрининг на ръкописи и верификация на научна добросъвестност. Самите рецензенти започват да експериментират с ИИ-генерирана обратна връзка. Въпреки това институционалните политики и нормите в академичното публикуване все още изостават от реалната практика.

Именно тази разлика обяснява защо разсъжденията на Paul Penfold относно подаването на подпомогната от ИИ статия към Journal for AI Generated Papers (JAIGP) привличат внимание. Неговият текст представя ИИ не като бъдеща възможност, а като реален участник в научните процеси.

ИИ вече участва в академичното публикуване на множество нива. След първоначалните въпроси дали изследователите използват ИИ, дискусията днес се фокусира върху откритото разкриване на употребата му. Изключването на ИИ конкретно от процеса на рецензиране изглежда все по-изкуствено, защото цялата изследователска екосистема вече разчита в значителна степен на ИИ-подпомогнати процеси.

Сегашната система на традиционно рецензиране многократно е описвана като бавна, непрозрачна, претоварена и зависима от неплатен академичен труд. Публикационни срокове от 12 до 18 месеца изглеждат все по-несъвместими с бързо развиващи се области като самия изкуствен интелект. Умората на рецензентите, растящият брой подадени статии и засилващият се редакционен натиск присъстват последователно в литературата. ИИ изглежда привлекателен отчасти защото съществуващият модел вече среща структурни затруднения.

ИИ се представя най-добре при ограничени и структурирани задачи. Настоящите доказателства показват, че големите езикови модели могат да идентифицират проблеми с форматирането, методологически несъответствия, липсващи източници и вътрешни логически противоречия. Някои изследвания дори установяват значително припокриване между ИИ-генерирани коментари и обратна връзка от човешки рецензенти. Изследователите често оценяват ИИ-коментарите като полезни и в определени случаи сравними с човешките рецензии.

Въпреки това ИИ системите остават по-слаби при оценяване на оригиналност, концептуална новост, научна значимост и контекстуална интерпретация. Човешките рецензенти продължават да превъзхождат ИИ при преценката дали дадено изследване действително допринася за развитието на дадена област. Рецензирането изисква интерпретативна преценка, натрупана експертиза и чувствителност към дисциплинарния контекст, а не само структурна проверка.

Освен това възникват сериозни въпроси, свързани с управлението на процеса. Поверителност, отговорност, халюцинации, възпроизводимост, пристрастия и рискове от манипулация бележат дискусията. Множество издателски организации вече забраняват качването на непубликувани ръкописи в публични ИИ системи поради опасения, свързани с интелектуална собственост и поверителност. Появяват се и така наречените prompt injection атаки. Някои статии съдържат скрити инструкции, насочени към ИИ рецензенти, с цел манипулиране на оценките към по-положителни препоръки. Това превръща ИИ рецензирането както в епистемологичен, така и в киберсигурностен проблем.

Прозрачността се очертава като една от най-повтарящите се теми. Недекларираната употреба на ИИ вече е широко разпространена. Някои оценки показват, че значителен процент от рецензиите на научни конференции вече съдържат ИИ-генериран или ИИ-модифициран текст. Следователно предизвикателството се измества от забрана към проследимост и разкриване. Няколко анализа твърдят, че институциите вече не могат реалистично да контролират дали е използван ИИ. Вместо това те трябва да изграждат системи, способни да документират как е използван.

Различия.

Някои гледни точки интерпретират ИИ-подпомогнатото рецензиране основно като инструмент за повишаване на продуктивността. Те акцентират върху по-бързите срокове, намаляването на натоварването, демократизацията на публикуването и облекчаването на рецензентския труд. В този контекст ИИ се разглежда като инфраструктурно решение, подпомагащо мащабирането на научната комуникация при растящ натиск върху системата.

Други позиции остават значително по-предпазливи. Тези анализи се фокусират по-малко върху ефективността и повече върху епистемологичното качество. Те предупреждават, че ИИ може да усили вече съществуващи слабости в академичното публикуване, вместо да ги реши. Ако институциите вече възнаграждават количеството публикации повече от качеството на изследванията, ИИ може да ускори производството на нискостойностни и синтетични публикации. В тази перспектива опасността не е самата автоматизация, а автоматизацията в рамките на дефектни системи за стимулиране.

Анализите се различават и по оценката си за справедливостта и пристрастията. Някои автори предполагат предпазливо, че ИИ може да намали емоционалното поведение, враждебността и непоследователността на рецензентите. Други посочват емпирични изследвания, според които институционалните пристрастия продължават да присъстват и в ИИ-генерираните оценки. Престижните институционални affiliations все още получават по-благоприятни оценки в определени експериментални условия. Това отслабва твърденията, че ИИ автоматично създава неутрална или обективна среда за рецензиране.

Различия се появяват и по отношение на ролята, която ИИ трябва да заеме. Някои го разглеждат като асистент, подпомагащ човешките рецензенти. Други изследват възможността за полуавтономни или силно автоматизирани системи за рецензиране. Въпреки това литературата към момента не подкрепя пълното заместване на човешките рецензенти. Повечето доказателства подкрепят хибридни модели, при които ИИ подпомага процеса, докато хората запазват редакционната власт, отговорността и крайната оценъчна преценка.

Точно тук моделът на JAIGP става особено важен.

Journal for AI Generated Papers въвежда една от най-значимите институционални идеи, произтичащи от този дебат: радикалната прозрачност. Вместо употребата на ИИ да се третира като скрита помощ, JAIGP прави участието на ИИ видимо на всеки етап от процеса. Penfold описва петстепенен процес, включващ ИИ скрининг, академично одобрение, ИИ рецензиране, човешко рецензиране и прозрачно проследяване на приноса.

Значението на този модел надхвърля механиката на публикуването. Радикалната прозрачност преформулира целия проблем на управлението. Традиционните списания все още функционират в парадигма на прикриване, при която изследователите се страхуват от стигма при разкриване на ИИ помощ. JAIGP вместо това приема, че участието на ИИ е неизбежно и се фокусира върху проследимост, документация и отчетност.

Тази промяна отразява по-широки процеси, които вече протичат във висшето образование и научните системи. Въпросът постепенно се измества от „Използван ли е ИИ?“ към „Как е използван ИИ, къде и под какъв човешки контрол?“

Подходът на JAIGP не решава всички проблеми, повдигнати в литературата. Прозрачността сама по себе си не може да елиминира халюцинациите, рисковете от манипулация, алгоритмичните пристрастия или слабата научна стойност. Но този модел предлага по-честна отправна точка за бъдещите системи за академично публикуване.

Дебатът вече не се свежда до това дали ИИ има място в рецензирането. ИИ вече е влязъл в стаята. Истинският въпрос е при какви условия академичните институции са готови да му се доверят, да го одитират, управляват и открито да признаят присъствието му.