AI Agents Are Getting More Capable. But Are We Evaluating Them Properly?

AI агентите стават все по-способни. Но оценяваме ли ги правилно?

Plamen MILTENOFF

AI agents are changing what artificial intelligence can do. Instead of responding to a single prompt, an agent can plan a sequence of actions, use external tools, interact with software environments, revise its approach, and complete longer tasks with limited human intervention.
This creates a new problem. How do we know whether an AI agent is genuinely reliable?
A new paper, Emerging Trends in AI Agent Evaluation, by Felix Chen et al, finds traditional AI benchmarks as no longer sufficient. The authors survey 33 emerging trends in agent evaluation across three areas: how agents should be evaluated, what should be evaluated, and who should conduct the evaluation.
Sayash Kapoor and Arvind Narayanan summarize the challenge more simply in their Normal Technology blog: with agents, evaluators must examine the entire trajectory, not only the final answer. An agent can obtain the correct result while taking shortcuts, exploiting weaknesses in the evaluation environment, or following a process that would be unacceptable in real deployment.
This distinction is important for universities.

From correct answers to trustworthy processes
Traditional model evaluation often follows a straightforward pattern: give the model a prompt, receive an answer, and compare the answer with a reference. Agent evaluation is different. An agent combines a model with scaffolding, tools, environments, and sometimes human intervention. The outcome depends on how these components interact over many steps.
Consider an AI research agent asked to conduct a literature review. Producing a convincing final report is not enough. We also need to know which databases it searched, how it selected sources, whether it checked citations, whether it ignored contradictory evidence, and whether its conclusions can be reproduced.
For academia, this changes the central evaluation question from “Did the AI produce a good answer?” to “Did the human-AI system produce a trustworthy result through an acceptable process?”

Accuracy only is not sufficient anymore.
The paper argues that evaluation should extend beyond task success. Cost, latency, reliability, consistency, and the quality of the agent’s trajectory also matter. Two agents may achieve the same result while differing substantially in cost, reliability, or risk.
This has immediate implications for universities considering AI agents for research, teaching, student support, or administration. Selecting an agent because it performs well on a public leaderboard tells us little about how reliably it will perform a university’s actual workflows.
Institutions should test agents using authentic tasks.
– Can the agent review academic literature accurately?
– Can it analyze research data without changing the intended methodology?
– Can it prepare teaching materials while preserving factual accuracy?
– Can it perform administrative tasks consistently across different cases?
These questions require local evaluation rather than reliance on vendor claims.

Can an agent perform the task, or can it help humans perform better?
One of the paper’s most useful distinctions is between automation and augmentation.
Automation asks whether an agent can complete a task independently. Augmentation asks whether combining a person with an agent improves the quality of human work. As the authors write, these perspectives require different forms of evaluation.
For universities, augmentation may often be the more important question.
An AI agent may write a literature review, analyze a dataset, or prepare a presentation. But does using the agent improve the researcher’s reasoning? Does it help doctoral students understand methodology? Does it improve faculty productivity after the time required for checking and correction is included?
Evidence from one level cannot automatically answer questions at another. An agent performing well on a benchmark does not establish it improves human work or produces positive institutional outcomes. The Normal Technology summary highlights field studies in which AI assistance did not automatically increase productivity and, under some conditions, slowed experienced users.

Who evaluates also matters
Narayanan’s LinkedIn discussion emphasizes another issue: growing demands for independent and embedded AI evaluation create questions about the meaning of good evaluation and the role, which will perform it.
Evaluation, as established in the paper, is increasingly shaped by access to models, funding, infrastructure, methodological choices, and relationships with AI developers. Consequently, independent evaluation involves more than assigning an external evaluator. Evaluators also need adequate access, methodological freedom, and the ability to disclose their findings.
This creates an important role for academia.
Universities have expertise increasingly needed for AI evaluation: research methodology, educational measurement, psychology, economics, human-computer interaction, sociology, law, and organizational research. The authors explicitly argue that agent evaluation should become more interdisciplinary and note the potential contribution of measurement science to validity, reliability, generalizability, and benchmark design.
What universities should do now.

Universities do not need to wait for universal AI-agent standards.
They can begin by establishing multidimensional evaluation criteria covering quality, reliability, cost, transparency, security, and human intervention. They can test agents on authentic academic workflows, compare human-only work with AI-assisted and agent-supported work, document where human approval remains necessary, and monitor deployed systems over time.
Perhaps most importantly, universities should stop treating evaluation as a final check before adoption.
As AI agents become part of research, teaching, and administration, evaluation needs to become a continuous institutional capability.
The question is no longer simply whether AI agents can perform increasingly complex tasks.
The more important question for academia is whether they improve human work, learning, research quality, and institutional decision-making under conditions we can trust.
ИИ агентите променят това, което изкуственият интелект може да прави. Вместо да отговаря на една отделна заявка, един AI агент може:
да планира последователност от действия;
да използва външни инструменти;
да взаимодейства със софтуерни среди;
да променя подхода си;
да изпълнява по-дълги и сложни задачи с ограничена човешка намеса.
Това създава нов проблем: как да разберем дали един AI агент е действително надежден?
Нова публикация, Emerging Trends in AI Agent Evaluation, на Felix Chen и съавтори показва, че традиционните AI бенчмаркове вече не са достатъчни. Авторите разглеждат 33 нововъзникващи тенденции в оценяването на AI агенти, организирани в три основни направления:
как трябва да бъдат оценявани агентите;
какво трябва да бъде оценявано;
кой трябва да извършва оценяването.
Sayash Kapoor и Arvind Narayanan обобщават проблема по по-достъпен начин в блога Normal Technology: при AI агентите оценителите трябва да изследват целия процес, а не само крайния резултат.
Един агент може да достигне до правилен отговор, като:
използва преки пътища;
се възползва от слабости в средата за оценяване;
следва процес, който би бил неприемлив в реална работна ситуация.
Това разграничение е особено важно за университетите.
От правилния отговор към надеждния процес
Традиционното оценяване на AI модел често следва проста схема: подаваме заявка, получаваме отговор и го сравняваме с референтен отговор.
При AI агентите ситуацията е различна.
Един агент комбинира:
AI модел;
набор от инструкции и архитектура за работа;
външни инструменти;
софтуерна среда;
понякога и човешка намеса.
Крайният резултат зависи от взаимодействието между всички тези компоненти в рамките на множество последователни стъпки.
Представете си AI агент, който трябва да направи литературен обзор. Не е достатъчно крайният текст да изглежда убедително.
Трябва също да знаем:
в кои бази данни е търсил;
как е подбирал източниците;
проверил ли е цитираната литература;
пренебрегнал ли е противоречащи доказателства;
могат ли заключенията му да бъдат възпроизведени.
За академичната среда това променя основния въпрос от:
„Даде ли AI добър отговор?“
към:
„Постигна ли системата човек-AI надежден резултат чрез приемлив и проверим процес?“
Само точността вече не е достатъчна
Публикацията показва, че оценяването трябва да надхвърли простото измерване на успеха при изпълнение на задачата.
Значение имат също:
разходът;
времето за изпълнение;
надеждността;
последователността на резултатите;
качеството на процеса, през който агентът преминава.
Два агента могат да достигнат до един и същ резултат, но да се различават съществено по разход, надеждност или риск.
Това има пряко значение за университети, които разглеждат възможността да използват AI агенти в:
научни изследвания;
преподаване;
подкрепа на студенти;
административни дейности.
Фактът, че даден агент се представя добре в публична класация, не ни казва достатъчно за това как ще работи в реалните процеси на конкретен университет.
Затова институциите трябва да тестват агентите върху автентични задачи.
Например:
Може ли агентът да извършва надежден обзор на академична литература?
Може ли да анализира изследователски данни, без да променя първоначално зададената методология?
Може ли да създава учебни материали, като запазва фактологичната точност?
Може ли да изпълнява административни задачи последователно при различни случаи?
Тези въпроси изискват локално институционално оценяване, а не доверие единствено в твърденията на доставчика.
Може ли агентът да изпълни задачата, или може да помогне на човека да работи по-добре?
Едно от най-полезните разграничения в публикацията е между автоматизация и подпомагане на човека.
Автоматизацията пита:
„Може ли агентът самостоятелно да изпълни задачата?“
Подпомагането на човека пита:
„Подобрява ли съвместната работа между човек и агент качеството на човешката работа?“
Тези две перспективи изискват различни подходи към оценяването.
За университетите вторият въпрос често е по-важен.
Един AI агент може да:
напише литературен обзор;
анализира набор от данни;
подготви презентация.
Но това не е достатъчно.
Трябва да попитаме:
Подобрява ли агентът способността на изследователя да разсъждава?
Помага ли на докторантите да разбират по-добре методологията?
Подобрява ли продуктивността на преподавателите, ако отчетем времето за проверка и корекции?
Подобрява ли качеството на крайния резултат?
Доказателствата на едно ниво не могат автоматично да отговорят на въпроси на друго ниво.
Добро представяне в бенчмарк не доказва, че агентът подобрява човешката работа или създава положителни институционални резултати.
Обобщението в Normal Technology посочва и теренни изследвания, при които AI помощта не води автоматично до по-висока продуктивност, а при определени условия дори забавя по-опитни потребители.
Има значение и кой извършва оценяването
В своята LinkedIn публикация Narayanan обръща внимание на още един въпрос: нарастващият интерес към независимо и вътрешно интегрирано оценяване на AI създава необходимост да определим какво означава „добро“ оценяване и кой трябва да го извършва.
Публикацията показва, че оценяването все повече зависи от:
достъпа до модели;
финансирането;
наличната инфраструктура;
методологичните решения;
отношенията с разработчиците на AI.
Следователно независимото оценяване не означава единствено да наемем външен оценител.
Оценителите трябва също да разполагат с:
достатъчен достъп до системите;
методологична свобода;
възможност да публикуват и оповестяват резултатите си.
Тук академичната среда има важна роля.
Университетите разполагат с експертиза, която става все по-необходима за оценяването на AI:
методология на научните изследвания;
образователно измерване;
психология;
икономика;
взаимодействие човек-компютър;
социология;
право;
организационни изследвания.
Авторите изрично подчертават необходимостта оценяването на AI агенти да стане по-интердисциплинарно. Те посочват и приноса на науката за измерването при оценяване на валидност, надеждност, обобщаемост и дизайн на бенчмаркове.
Какво могат да направят университетите още сега
Университетите не трябва да чакат създаването на универсални стандарти за AI агенти.
Те могат да започнат с няколко конкретни стъпки:
да разработят многомерни критерии за оценяване, включващи качество, надеждност, разход, прозрачност, сигурност и човешка намеса;
да тестват AI агенти в реални академични процеси;
да сравняват човешка работа без AI, работа с AI помощ и работа с AI агент;
да документират къде човешкото одобрение остава необходимо;
да наблюдават системите и след внедряването им.
Най-важната промяна е университетите да престанат да разглеждат оценяването като последна проверка преди внедряване.
С навлизането на AI агентите в научните изследвания, преподаването и администрацията оценяването трябва да се превърне в постоянен институционален капацитет.
Въпросът вече не е само дали AI агентите могат да изпълняват все по-сложни задачи.
По-важният въпрос за академичната среда е:
Подобряват ли те човешката работа, ученето, качеството на научните изследвания и институционалното вземане на решения при условия, на които можем да имаме доверие?
Мога да го адаптирам и в по-кратка версия за Science & Research Blog, с по-силен финал и призив към преподаватели, студенти и администратори.
 

Sources:
Chen et al. (2026), Emerging Trends in AI Agent Evaluation.
Normal Technology, “New paper: Emerging trends in AI agent evaluation”: https://www.normaltech.ai/p/new-paper-emerging-trends-in-ai-agent
Arvind Narayanan, LinkedIn discussion of the paper: https://www.linkedin.com/posts/randomwalker_resharing-our-paper-on-the-science-of-ai-share-7521931434828267520-0ik4
The post is about 750 words and keeps the actionable recommendations inside the narrative rather than separating them into a standalone executive-summary section.