AI Grading vs Human Grading: What a Greek Study Tells Us About Assessment

Оценяване с AI срещу оценяване от преподавател: Какво ни показва едно гръцко изследване

Plamen MILTENOFF

Can AI grade student work as reliably as a human teacher?
A recent study by Konstantinos Papageorgiou and Christos Pierrakeas from the University of Patras tested this question by comparing teacher grades with grades produced by GPT-5.0, Gemini, and DeepSeek. The study used 139 mathematics assessments from Greek primary-school students and applied the same rubric to both human and AI evaluators.
The findings are useful because they move the discussion to whether consistency means trustworthy assessment.

Key finding: AI graders are not interchangeable
The three AI systems behaved differently.
Teachers assigned an average grade of 6.97. Gemini produced the same average, 6.97, with no statistically significant difference from human grading. DeepSeek produced a lower average of 6.57, while GPT-5.0 was stricter at 6.11.
GPT-5.0 also showed a systematic pattern. Differences between GPT and teacher scores increased among higher-performing students. Gemini and DeepSeek did not show the same statistically significant performance-related pattern.
These findings suggest institutions cannot talk about “AI grading” as if every model performs similarly. Model selection, testing, and calibration become part of assessment design.
Another important finding concerns consistency. AI systems generally produced less variable scores than teachers, and aggregate agreement between human and AI grading was high.
But the authors make an important distinction: consistency does not equal validity.
An AI system can apply a rubric consistently while still interpreting student performance differently from a teacher. High agreement across a class can also hide substantial disagreement over individual students.
The teachers participating in the study appeared to recognize this distinction. They viewed AI relatively positively in terms of consistency and efficiency, but rated its pedagogical adequacy much more negatively. Their strongest preference was for a human-in-the-loop model in which AI supports assessment while teachers retain final authority.
Limitations
The findings need to be interpreted within the study design.
The students were 10 to 11 years old, and the assessments focused on Grade 5 and Grade 6 mathematics. Tasks included structured calculations, multiple-choice questions, true/false items, and relatively constrained problem-solving activities.
Only 12 teachers participated in the grading component, although 95 teachers completed the perception questionnaire.
The AI systems were accessed through public web interfaces, meaning researchers could not fully control parameters such as temperature. The models themselves also change over time, which creates reproducibility problems.
The study also used human grading as the reference point, although human graders themselves showed some variation. Human assessment therefore cannot be treated as an objective ground truth.
Finally, the results cannot establish how well AI would assess essays, research projects, dissertations, presentations, creativity, argumentation, or other complex forms of academic work.

Why this K-12 study matters for higher education
These limitations do not make the study irrelevant to universities. They make its implications more important.
Higher education often relies on assessments expecting more interpretation than primary-school mathematics. Essays, case analyses, research proposals, dissertations, reflective writing, presentations, and project work depend on disciplinary judgment, argument quality, methodological reasoning, originality, and context.
If AI systems already produce model-specific differences in structured mathematics assessment, universities should expect even greater challenges when AI evaluates more complex academic work.
The study therefore points toward a practical approach for higher education.
Universities should investigate areas where AI can improve assessment without weakening academic judgment.
Possible uses include second marking, formative feedback, rubric checking, anomaly detection, identifying scripts for further review, and supporting large-volume assessment.
Before adopting such systems, institutions should test each model against real local assessments, examine disagreement at the individual student level, define when human review becomes mandatory, and monitor model changes over time.
Final takeaway from the University of Patras study: AI can support assessment, but reliable assessment still requires human judgment, governance, and validation.		Може ли AI да оценява работата на студентите толкова надеждно, колкото човешки преподавател?
Скорошно изследване на Konstantinos Papageorgiou и Christos Pierrakeas от Университета в Патра разглежда този въпрос, като сравнява оценки, поставени от учители, с оценки, генерирани от GPT-5.0, Gemini и DeepSeek. Изследването използва 139 теста по математика на ученици от гръцки начални училища и прилага една и съща рубрика както към човешките, така и към AI оценителите.
Резултатите са полезни, защото насочват дискусията към въпроса дали последователността означава надеждно оценяване.
Основен резултат: AI оценителите не са взаимозаменяеми
Трите AI системи се представят по различен начин.
Учителите поставят средна оценка 6,97. Gemini дава същата средна оценка, 6,97, без статистически значима разлика спрямо човешкото оценяване. DeepSeek дава по-ниска средна оценка от 6,57, а GPT-5.0 е по-строг със средна оценка 6,11.
GPT-5.0 показва и систематичен модел. Разликите между оценките на GPT и тези на учителите нарастват при по-добре представящите се ученици. Gemini и DeepSeek не показват същия статистически значим модел, свързан с нивото на представяне.
Тези резултати показват, че институциите не могат да говорят за „AI оценяване“, сякаш всички модели работят по сходен начин. Изборът на модел, неговото тестване и калибриране стават част от дизайна на оценяването.
Друг важен резултат е свързан с последователността. AI системите като цяло дават по-малко вариативни оценки от учителите, а общото съответствие между човешкото и AI оценяването е високо.
Но авторите правят важно разграничение: последователността не е равнозначна на валидност.
Една AI система може да прилага рубрика последователно и в същото време да интерпретира представянето на ученика по различен начин от преподавателя. Високото общо съответствие на ниво клас може също да прикрива съществени различия при оценяването на отделни ученици.
Учителите, участвали в изследването, изглежда разпознават това разграничение. Те оценяват AI сравнително положително по отношение на последователност и ефективност, но значително по-негативно по отношение на педагогическата му адекватност. Тяхното най-силно предпочитание е към модел с човек в процеса на вземане на решение, при който AI подпомага оценяването, а преподавателите запазват окончателната отговорност.
Ограничения
Резултатите трябва да се интерпретират в контекста на дизайна на изследването.
Учениците са на възраст 10–11 години, а оценяването е по математика за 5. и 6. клас. Задачите включват структурирани изчисления, въпроси с избираем отговор, твърдения „вярно/невярно“ и сравнително ограничени задачи за решаване на проблеми.
Само 12 учители участват в същинската част по оценяване, въпреки че 95 учители попълват въпросника за нагласите към AI.
AI системите са използвани през публични уеб интерфейси, което означава, че изследователите не могат напълно да контролират параметри като temperature. Самите модели също се променят с времето, което създава проблеми за възпроизводимостта.
Изследването използва човешкото оценяване като отправна точка, въпреки че самите човешки оценители също показват известна вариативност. Следователно човешкото оценяване не може да се разглежда като напълно обективен еталон.
Накрая, резултатите не показват доколко AI би оценявал добре есета, научни проекти, дисертации, презентации, креативност, аргументация или други сложни форми на академична работа.
Защо това изследване от K-12 среда е важно за висшето образование
Тези ограничения не правят изследването нерелевантно за университетите. Напротив, те правят последиците му още по-важни.
Висшето образование често разчита на оценявания, които изискват по-висока степен на интерпретация в сравнение с математиката в началното училище. Есета, казуси, изследователски предложения, дисертации, рефлексивни текстове, презентации и проектна работа зависят от дисциплинарна преценка, качество на аргументацията, методологическо мислене, оригиналност и контекст.
Ако AI системите вече показват различия между моделите при структурирано оценяване по математика, университетите трябва да очакват още по-сериозни предизвикателства, когато AI оценява по-сложна академична работа.
Затова изследването насочва към практичен подход за висшето образование.
Университетите трябва да изследват в кои области AI може да подобри оценяването, без да отслабва академичната преценка.
Възможни приложения са второ оценяване, формативна обратна връзка, проверка по рубрика, откриване на аномалии, идентифициране на работи за допълнителен преглед и подпомагане на оценяване при голям обем студентски работи.
Преди да приемат такива системи, институциите трябва да тестват всеки модел върху реални локални оценявания, да анализират разминаванията на ниво отделен студент, да определят кога човешкият преглед е задължителен и да следят промените в моделите с времето.
Финалният извод от изследването на Университета в Патра е ясен: AI може да подпомага оценяването, но надеждното оценяване продължава да изисква човешка преценка, управление и валидиране.