AI Agents Can Do More of the Research. What Should Researchers Still Do?

ИИ агентите могат да поемат все по-голяма част от научните изследвания. Какво все пак трябва да правят изследователите?

Plamen MILTENOFF

Artificial intelligence in research is moving beyond asking a chatbot to summarize an article, explain a statistical method, or help write code. AI agents can increasingly plan and execute sequences of research activities: search literature, analyze papers, generate hypotheses, write and run code, work with data, create figures, check citations, and coordinate other tools.
This changes the question researchers and universities need to ask.
The question stop being, “Should researchers use AI?” It is becoming: “Which parts of research should we delegate to AI agents, and which should remain under meaningful human control?”
A recent article by Mohammad Hosseini, Aisha Murad, and David B. Resnik, “Benefits and Risks of Using AI Agents in Research,” provides a useful framework for thinking about this shift.

From AI assistance to agentic research
A conventional generative AI system responds to a request. An AI agent can go further by breaking a task into steps, selecting tools, making intermediate decisions, evaluating progress, and continuing toward an assigned objective with limited human intervention.
Research agents are already being developed for activities ranging from literature analysis and hypothesis generation to coding, modeling, virtual experimentation, and administrative work.
The potential benefits are substantial. Agents may reduce repetitive work, support record keeping, automate parts of coding and analysis, and reduce some errors associated with fatigue or routine procedural work. Researchers may gain more time for conceptual development, interpretation, and scientific judgment.
But increasing autonomy creates a corresponding problem. The more of the research process an agent performs, the more difficult it becomes to determine the researcher’s actual knowledge, the content they have verified, and the content they are responsible for.

Seven risks behind the productivity gains
Hosseini and colleagues identify seven major areas of concern.
First, agents can produce errors, inaccuracies, hallucinations, and biased outputs. With an ordinary chatbot, one wrong answer creates a relatively contained problem. In an agentic workflow, an early error can influence subsequent searches, analyses, calculations, interpretations, and conclusions.
Second, autonomous agents create a responsibility gap. If an agent independently makes hundreds of intermediate decisions, who is accountable when something goes wrong?
Third, automation may restructure research employment. Entry-level researchers often perform activities that agents can increasingly automate.
This leads directly to a fourth concern: deskilling. Reading papers, cleaning data, checking references, debugging code, reproducing analyses, and reviewing other people’s work may look inefficient. Yet these activities also teach researchers how research works.
If doctoral students delegate them too early, they may lose opportunities to develop the expertise they later need to evaluate AI-generated research.
This creates a significant paradox: we increasingly tell researchers to “verify the AI,” while simultaneously automating the activities through which researchers learn how to perform such verification.
The fifth risk concerns agent behavior. An autonomous system instructed to achieve a research objective may pursue it in ways researchers would consider methodologically or ethically unacceptable.
Sixth, increasingly capable systems may produce findings or procedures that humans struggle to understand or independently verify. This raises a fundamental scientific question: what status should we give knowledge produced through processes that researchers cannot adequately reconstruct?
Finally, extensive dependence on agents may weaken researchers’ willingness or ability to challenge results, detect problems, or identify misconduct.

When better AI creates a different problem
One implication deserves particular attention.
Poor AI encourages verification. If researchers expect an AI system to make mistakes, they check its outputs.
As systems become more reliable, researchers may become less inclined to check them. High reliability can therefore increase automation bias.
The problem use to be whether the agent makes errors. Now, it is also whether the researcher retains sufficient expertise and independence to recognize an error when one occurs.
Productivity turns into an inadequate measure of successful AI adoption in research. Saving three hours on a literature review means little if researchers cannot explain sources’ selection or verify the resulting synthesis.

Research training contains productive inefficiencies
This issue becomes particularly important in doctoral education.
Some research activities are worth doing manually precisely because researchers learn from doing them.
A doctoral student who cleans a difficult dataset learns about measurement problems. Someone who reproduces an analysis learns where methodological decisions enter the workflow. A researcher who checks references learns to distinguish plausible citations from reliable evidence.
Universities therefore need to distinguish between unnecessary repetitive work and educationally productive work.
The objective should not be maximum automation. It should be appropriate automation.

From AI policies to task-level governance
The article points toward a more practical institutional response.
Instead of asking whether AI should be permitted in research, universities can classify research activities according to the degree of acceptable delegation.
Some activities may remain predominantly human: formulating research problems, making consequential methodological choices, interpreting findings, making ethical judgments, and accepting final responsibility.
Other activities may be AI-assisted: literature discovery, preliminary coding, exploratory analysis, data cleaning, documentation, and drafting.
Still others may become increasingly agentic: repeated searches, workflow orchestration, routine analyses, administrative processes, and reproducibility checks.
The boundaries will differ across disciplines and research designs. A laboratory experiment, qualitative interview study, economic model, and systematic evidence synthesis do not create identical requirements.

AI literacy must become agentic research literacy
This transition also changes the AI literacy meaning for researchers.
A skill to write a good prompt will not suffice anymore.
Researchers will need to understand a supervision of agentic workflows, inspect intermediate outputs, validate sources, identify bias, reproduce analyses, document AI involvement, and decide when an apparently successful result should be rejected.
Hosseini and colleagues even propose a possible new role within research teams: an AI validation expert or “AI guarantor” who takes explicit responsibility for examining AI-assisted work.
Whether this becomes a formal position remains uncertain, but the underlying principle is important: responsibility for AI-generated research cannot remain vague.

The research workflow becomes the unit of integrity
This may be the article’s broader implication.
Traditional research integrity focuses heavily on individual researchers’ actions: fabrication, falsification, plagiarism, authorship, disclosure, and conflicts of interest.
Agentic research distributes actions across researchers, models, agents, databases, software, APIs, and other connected tools.
Research integrity therefore increasingly requires examining the entire workflow.
This is especially relevant as research platforms move from isolated chatbot interactions toward integrated environments where AI can coordinate literature review, data analysis, coding, visualization, manuscript preparation, citation checking, and reproducibility.
The central challenge is not preventing AI agents from entering research. They are already becoming part of research infrastructure.
A more complex issue deals with these new skills required from researchers: understand, verify, and decide for themselves when agents can perform increasing amounts of scientific work.
That issue should sit at the center of research training, doctoral education, AI literacy, and institutional research policy.		Изкуственият интелект в научните изследвания вече надхвърля използването на чатботове за обобщаване на статии, обяснение на статистически методи или помощ при писането на код. AI агентите все по-често могат самостоятелно да планират и изпълняват последователности от изследователски дейности: да търсят научна литература, да анализират публикации, да формулират хипотези, да пишат и изпълняват код, да работят с данни, да създават фигури, да проверяват цитирания и да координират работата на други инструменти.
Това променя и въпроса, който изследователите и университетите трябва да си задават.
Въпросът надминава „Трябва ли изследователите да използват AI?“ и се превръща в: „Кои части от изследователския процес можем да делегираме на AI агенти и кои трябва да останат под съществен човешки контрол?“
Скорошна статия на Mohammad Hosseini, Aisha Murad и David B. Resnik, озаглавена „Ползи и рискове от използването на AI агенти в научните изследвания“, предлага полезна рамка за осмисляне на тази промяна.

От AI асистиране към научни изследвания с автономни агенти
Конвенционалната генеративна AI система отговаря на конкретна заявка. AI агентът може да направи значително повече: да раздели дадена задача на отделни стъпки, да избере подходящи инструменти, да взема междинни решения, да оценява напредъка и да продължава работа по поставената цел с ограничена човешка намеса.
Вече се разработват изследователски AI агенти за широк спектър от дейности — от анализ на научна литература и генериране на хипотези до програмиране, моделиране, виртуални експерименти и административна работа.
Потенциалните ползи са значителни. Агентите могат да намалят обема на повтарящата се работа, да подпомагат воденето на документация, да автоматизират отделни етапи от програмирането и анализа и да ограничат някои грешки, свързани с умората или с рутинните процедури. Така изследователите биха могли да отделят повече време за концептуално развитие, интерпретация на резултатите и научна преценка.
Нарастващата автономност обаче създава и съществен проблем. Колкото по-голяма част от изследователския процес се изпълнява от агент, толкова по-трудно става да се установи какво действително знае изследователят, кое съдържание е проверил лично и за кои резултати може да бъде считан за отговорен.

Седем риска зад повишаването на продуктивността
Hosseini и колегите му очертават седем основни области на риск.
Първо, агентите могат да генерират грешки, неточности, халюцинации и предубедени резултати. При обикновен чатбот един грешен отговор обикновено създава сравнително ограничен проблем. В автономен изследователски процес обаче една ранна грешка може да се пренесе към последващите търсения, анализи, изчисления, интерпретации и заключения.
Второ, автономните агенти създават празнина по отношение на отговорността. Ако един агент самостоятелно взема стотици междинни решения, кой носи отговорност, когато нещо се обърка?
Трето, автоматизацията може да промени структурата на заетостта в научните изследвания. Изследователите в началото на академичната си кариера често изпълняват дейности, които агентите все по-успешно могат да автоматизират.
Това води пряко до четвърти риск: загуба на умения. Четенето на научни статии, почистването на данни, проверката на референции, отстраняването на грешки в кода, възпроизвеждането на анализи и рецензирането на работата на други изследователи могат да изглеждат като неефективно използване на времето. Същевременно именно чрез тези дейности изследователите придобиват практически знания за това как се провежда научно изследване.
Ако докторантите започнат да делегират тези задачи твърде рано, те могат да загубят важни възможности за изграждане на експертизата, от която по-късно ще се нуждаят, за да оценяват критично научна работа, генерирана с помощта на AI.
Тук се появява значим парадокс: все по-често казваме на изследователите да „проверяват AI“, докато едновременно с това автоматизираме дейностите, чрез които те се научават как да извършват подобна проверка.
Петият риск е свързан с поведението на самите агенти. Автономна система, на която е възложено да постигне определена изследователска цел, може да избере средства за постигането ѝ, които изследователите биха определили като методологически или етично неприемливи.
Шесто, все по-способните AI системи могат да генерират резултати или да разработват процедури, които хората трудно разбират или не могат независимо да проверят. Това поставя фундаментален научен въпрос: какъв статут следва да имаме към знания, произведени чрез процеси, които изследователите не могат адекватно да проследят и възпроизведат?
И накрая, прекомерната зависимост от AI агенти може да отслаби готовността или способността на изследователите да поставят резултатите под въпрос, да откриват проблеми или да разпознават случаи на научно нарушение.

Когато по-добрият AI създава нов проблем
Едно от следствията заслужава особено внимание.
Когато AI е ненадежден, това естествено насърчава проверката. Ако изследователите очакват една AI система да допуска грешки, те са по-склонни да проверяват нейните резултати.
С повишаването на надеждността на системите обаче изследователите могат да станат по-малко склонни да извършват такава проверка. По-високата надеждност следователно може парадоксално да засили т.нар. автоматизационно пристрастие — склонността да се приемат резултатите на автоматизирана система без достатъчно критична оценка.
Следователно проблемът вече не се свежда единствено до въпроса дали агентът допуска грешки. Възниква и друг въпрос: запазва ли изследователят достатъчно експертиза и независимост, за да разпознае грешката, когато тя се появи?
Това означава, че продуктивността сама по себе си е недостатъчна мярка за успешното внедряване на AI в научните изследвания. Спестяването на три часа при извършването на литературен обзор има ограничена стойност, ако изследователят не може да обясни защо са подбрани конкретните източници или да провери надеждността на полученото обобщение.

Обучението на изследователи включва и полезни „неефективности“
Този въпрос е особено важен в докторантското обучение.
Някои изследователски дейности си струва да бъдат извършвани ръчно именно защото чрез тях изследователите придобиват практически опит.
Докторант, който сам почиства сложен набор от данни, научава повече за проблемите, свързани с измерването. Изследовател, който възпроизвежда даден анализ, разбира къде и как методологичните решения влияят върху целия работен процес. А този, който проверява референции, развива способността да различава правдоподобно изглеждащи цитирания от надеждни доказателства.
Затова университетите трябва ясно да разграничават ненужната повтаряща се работа от дейностите, които имат важна образователна стойност.
Целта не трябва да бъде максимална автоматизация, а подходяща автоматизация.

От общи AI политики към управление на ниво задача
Статията насочва към по-практичен подход на институционално ниво.
Вместо да се поставя общият въпрос дали AI трябва да бъде разрешен в научните изследвания, университетите могат да класифицират изследователските дейности според степента, до която е приемливо те да бъдат делегирани.
Някои дейности вероятно трябва да останат предимно човешка отговорност: формулирането на изследователски проблеми, вземането на съществени методологични решения, интерпретирането на резултатите, преценката по етични въпроси и поемането на окончателната отговорност за научните твърдения.
Други дейности могат да бъдат подпомагани от AI: откриването на релевантна литература, предварителното програмиране, експлораторният анализ, почистването на данни, документацията и изготвянето на първоначални чернови.
Трети могат постепенно да се превръщат в задачи, изпълнявани от автономни агенти: повтарящи се търсения, координация на работни процеси, рутинни анализи, административни процедури и проверки за възпроизводимост.
Тези граници ще се различават според научната дисциплина и конкретния изследователски дизайн. Лабораторният експеримент, качественото интервю, икономическият модел и систематичният синтез на научни доказателства поставят различни изисквания към степента и формата на допустимата автоматизация.

AI грамотността трябва да се превърне в грамотност за работа с автономни агенти
Тази промяна променя и самото значение на AI грамотността за изследователите.
Способността да се напише добър prompt вече няма да бъде достатъчна.
Изследователите ще трябва да умеят да осъществяват ефективен надзор върху автономни работни процеси, да проверяват междинните резултати, да валидират източниците, да идентифицират потенциални пристрастия, да възпроизвеждат анализи, да документират използването на AI и да преценяват кога един на пръв поглед успешен резултат трябва да бъде отхвърлен.
Hosseini и колегите му дори предлагат възможността в изследователските екипи да се появи нова роля — експерт по валидиране на AI или „AI гарант“, който изрично да поема отговорност за проверката на научна работа, извършена с помощта на AI.
Дали подобна роля ще се превърне във формална длъжност, все още не е ясно. Основният принцип обаче е важен: отговорността за научните резултати, генерирани с помощта на AI, не може да остане неясна или споделена до степен, в която никой не носи реална отговорност.

Научноизследователският процес се превръща в основна единица на научната почтеност
Това вероятно е и едно от най-широките послания на статията.
Традиционните концепции за научна почтеност се фокусират до голяма степен върху действията на отделните изследователи: фабрикуване на данни, фалшифициране, плагиатство, авторство, оповестяване на информация и конфликти на интереси.
При научните изследвания с автономни AI агенти обаче отделните действия се разпределят между изследователи, модели, агенти, бази данни, софтуер, API интерфейси и други взаимосвързани инструменти.
Следователно научната почтеност все повече изисква да бъде разглеждан не отделният инструмент или отделното действие, а целият изследователски процес.
Това е особено важно в момент, когато изследователските платформи преминават от изолирани взаимодействия с чатботове към интегрирани среди, в които AI може да координира литературни обзори, анализ на данни, програмиране, визуализация, подготовка на ръкописи, проверка на цитирания и оценка на възпроизводимостта.
Основното предизвикателство не е да предотвратим навлизането на AI агентите в научните изследвания. Те вече се превръщат в част от изследователската инфраструктура.
По-сложният въпрос е свързан с новите умения, от които изследователите се нуждаят: да разбират как работят тези системи, да проверяват техните резултати и сами да преценяват кога могат да им възложат все по-голяма част от научната работа.
Именно този въпрос трябва да заеме централно място в обучението по научни изследвания, докторантското образование, развитието на AI грамотността и институционалните политики за научна дейност.