Генеративният ИИ отново постави един стар въпрос във висшето образование: какво всъщност ни казва резултатът от оценяването за това какво знае и може да прави студентът?
| Podcast | Подкаст |
| Matthew Sag, Professor of Law at Emory University, approaches this question through a provocative argument about AI, examinations, and student accommodations. Unsupervised take-home assessments, he writes in his blog, have become increasingly difficult to defend as measures of individual knowledge because students can now provide advanced AI systems with course materials, notes, textbooks, and detailed instructions and receive sophisticated answers. He therefore recommends supervised, closed-book examinations with meaningful word limits. The value of Sag’s argument extends beyond law schools. The broader lesson goes beyond some universities call to bring examinations back into classrooms. Generative AI requires us to examine what our assessments measure and whether the evidence students produce still supports the conclusions we draw from their grades. Consider a traditional take-home essay. If a student can use Claude, ChatGPT, Gemini, or another AI system to develop the argument, structure the response, identify relevant concepts, revise the language, and produce the final text, the submitted essay may demonstrate the quality of an AI-supported workflow. It does not necessarily demonstrate a student’s ability to independently explain, analyze, or apply. Sag joins the rapidly increasing voices calling to shift attention away from detecting AI after submission. A more productive approach is to design an assessment resulting in evidence revealing something meaningful about learning? Returning to traditional examinations does not automatically solve this problem. Sag points to another source of measurement error: typing speed. In a time-pressured examination where students receive points for identifying as many relevant issues as possible, faster students can produce substantially more text. The assessment may therefore measure disciplinary understanding together with typing speed and the ability to produce large quantities of material under time pressure. The LinkedIn comments add several useful qualifications to Sag’s argument. Jo Levy questions whether strict word limits may create new disadvantages, especially for students who need more time or space to express complex reasoning. She suggests testing assessment formats empirically rather than assuming they improve fairness. Mason Marks stresses that AI-related assessment integrity and disability accommodations should remain distinct issues, even when they interact through assessment design. Sag clarifies that he does not advocate removing appropriate accommodations. Bill Rosenblatt offers a practical example from NYU, where he replaced final papers with constrained in-class assessments that reward relevance, reasoning, and synthesis rather than volume or terminology. Fred von Lohmann points to oral exams as another way to verify understanding, while noting their limited scalability in larger classes. Together, these contributions point toward a broader assessment principle. There is no single “AI-proof” assessment. A supervised examination may reduce unauthorized AI use but introduce excessive time pressure. A word limit may reduce the advantage of typing speed but increase the importance of concise expression. An oral examination may provide strong evidence of understanding but create accessibility and scalability challenges. A take-home project may support authentic professional practice but make individual contribution harder to establish. Taken together, Sag’s argument and the LinkedIn comments reinforce a direction already developed across several Science & Research blog posts on AI and assessment. A recurring theme has been the shift from controlling AI use toward establishing credible evidence of learning. The earlier post “From Control to Evidence of Learning” discussed the University of Sydney’s two-lane model: secure assessments in which students demonstrate independent performance, and open assessments in which AI use is permitted but students must document and justify how they used it. The central question changes from “How do we catch students using AI?” to “What assessment provides credible evidence that learning has taken place?” ([Science and Research][1]) The post “Assessment, Academic Integrity, and AI: From Tyler to Dawson” reaches a similar conclusion through assessment theory. Tyler emphasizes alignment between educational objectives and evaluation. Wiggins and McTighe shift attention toward understanding, transfer, and acceptable evidence. Dawson brings this reasoning into the GenAI environment by arguing that assessment validity matters more than concentrating primarily on cheating. If an assessment cannot distinguish student understanding from AI-generated performance, the assessment itself needs redesign. ([Science and Research][2]) “Goals Before Tools” develops the same idea through backward design. Faculty should first specify learning goals, then determine the evidence demonstrating learning, and then design activities and decide AI’s role. The implication is important: whether AI should be allowed cannot be decided independently from the learning outcome being assessed. ([Science and Research][3]) More recent discussion in “GenAI Can Improve Educational Outcomes, but Pedagogy Still Decides” adds another element: visible thinking. A polished final product is insufficient evidence when AI can help produce it. Drafts, revision histories, oral explanations, reflective accounts, source verification, and follow-up tasks can provide stronger evidence of the reasoning behind the product. ([Science and Research][4]) Sag’s contribution fits closely with these earlier conclusions, but adds an important dimension. Assessment validity concerns more than separating human work from AI work. We also need to ask whether the conditions of assessment introduce factors unrelated to the competence we intend to measure. A supervised examination may provide strong evidence of independent performance, while excessive time pressure may reward typing speed. A restrictive word limit may reduce the advantage of speed, while placing greater demands on concise expression. An oral examination may reveal understanding and reasoning, while creating challenges of accessibility, consistency, and scale. This leads to a more developed principle for assessment in the AI era: The aim is not to find an “AI-proof” assessment. The aim is to design a combination of assessments to produce valid, fair, and interpretable evidence of learning. For faculty, this means asking several connected questions. What competence are we assessing? What evidence would demonstrate it? Can AI generate the same evidence without the student possessing the competence? Which parts should students perform independently? Where can AI use itself become part of the competence being assessed? Do time limits, word limits, typing requirements, language demands, or other conditions introduce irrelevant advantages or disadvantages? For universities, the implications extend beyond individual courses. Previous Science & Research discussions have already argued for clearer institutional expectations, secure and open assessment pathways, faculty development, and coordinated assessment redesign. ([Science and Research][1]) Sag’s discussion adds accessibility and accommodations to this agenda. Generative AI therefore gives universities another reason to examine assessment from first principles. The question is becoming less about whether an essay, examination, project, presentation, or oral defense is inherently suitable. The relevant question is whether the assessment, under the conditions in which students complete it, provides credible evidence of the learning outcome we claim to measure. That is where the different Science & Research discussions increasingly converge: goals before tools, validity before detection, reasoning before polished output, and evidence of learning before attachment to traditional assessment formats. | Matthew Sag, професор по право в Emory University, разглежда този въпрос чрез провокативен аргумент за ИИ, изпитите и условията за подкрепа на студенти със специални потребности. Неконтролираните домашни изпити и задания, пише той в своя блог, стават все по-трудни за защита като средство за измерване на индивидуалните знания, защото студентите вече могат да предоставят на усъвършенствани ИИ системи учебни материали, бележки, учебници и подробни инструкции и да получат добре разработени отговори. Затова той препоръчва контролирани изпити със затворени учебни материали и с реално ограничаващ брой думи. Аргументът на Sag има значение далеч отвъд юридическите факултети. По-широкият извод надхвърля призивите на някои университети за връщане на изпитите обратно в аудиторията. Генеративният ИИ изисква да разгледаме по-внимателно какво измерват нашите оценявания и дали доказателствата, които студентите предоставят, все още подкрепят изводите, които правим въз основа на техните оценки. Да разгледаме традиционно есе за домашна работа. Ако студентът може да използва Claude, ChatGPT, Gemini или друга ИИ система, за да разработи аргументацията, да структурира отговора, да идентифицира релевантни концепции, да редактира езика и да създаде крайния текст, предаденото есе може да показва качеството на един работен процес, подпомогнат от ИИ. То не показва непременно способността на студента самостоятелно да обяснява, анализира или прилага знания. Sag се присъединява към бързо нарастващия брой гласове, които призовават вниманието да се измести от откриването на употреба на ИИ след предаването на работата. По-продуктивният подход е да се проектира оценяване, което създава доказателства, разкриващи нещо смислено за ученето. Връщането към традиционните изпити не решава автоматично този проблем. Sag посочва друг източник на грешка при измерването: скоростта на писане на клавиатура. При изпит с ограничено време, при който студентите получават точки за идентифициране на възможно най-много релевантни проблеми, по-бързо пишещите студенти могат да създадат значително повече текст. Така оценяването може да измерва едновременно знанията по дисциплината, скоростта на писане и способността за създаване на голям обем текст под времеви натиск. Коментарите в LinkedIn добавят няколко полезни уточнения към аргумента на Sag. Jo Levy поставя въпроса дали строгите ограничения на броя думи не могат да създадат нови неравенства, особено за студенти, които се нуждаят от повече време или пространство, за да изразят сложно разсъждение. Тя предлага форматите за оценяване да се тестват емпирично, вместо да се приема предварително, че те подобряват справедливостта. Mason Marks подчертава, че академичната почтеност, свързана с ИИ, и условията за подкрепа на студенти с увреждания трябва да останат отделни въпроси, дори когато взаимодействат чрез дизайна на оценяването. Sag уточнява, че не предлага премахване на подходящите условия за подкрепа. Bill Rosenblatt дава практически пример от NYU, където заменя финалните писмени разработки с ограничени по обем присъствени оценявания, които възнаграждават релевантността, аргументацията и синтеза, а не количеството текст или използваната терминология. Fred von Lohmann посочва устните изпити като друг начин за проверка на разбирането, като същевременно отбелязва ограничената им приложимост при по-големи групи студенти. Взети заедно, тези мнения насочват към по-широк принцип при оценяването. Няма един-единствен вид оценяване, който да е „защитен от ИИ“. Контролираният изпит може да намали неразрешеното използване на ИИ, но да създаде прекомерен времеви натиск. Ограничението на броя думи може да намали предимството на по-бързото писане, но да увеличи значението на способността за кратко и прецизно изразяване. Устният изпит може да предостави силни доказателства за разбиране, но да създаде предизвикателства по отношение на достъпността и приложимостта при голям брой студенти. Домашният проект може да подкрепя автентична професионална практика, но да затрудни установяването на индивидуалния принос. Взети заедно, аргументът на Sag и коментарите в LinkedIn потвърждават посока, която вече е развивана в няколко публикации на Science & Research, посветени на ИИ и оценяването. Повтаряща се тема е преминаването от контрол върху използването на ИИ към установяване на надеждни доказателства за учене. По-ранната публикация „From Control to Evidence of Learning“ разглежда двупистовия модел на University of Sydney: защитени оценявания, при които студентите демонстрират самостоятелно представяне, и отворени оценявания, при които използването на ИИ е разрешено, но студентите трябва да документират и обосноват начина, по който са го използвали. Основният въпрос се променя от „Как да хванем студентите, които използват ИИ?“ към „Какво оценяване предоставя надеждни доказателства, че е настъпило учене?“ ([Science and Research][1]) Публикацията „Assessment, Academic Integrity, and AI: From Tyler to Dawson“ достига до подобен извод през теорията на оценяването. Tyler поставя акцент върху съгласуваността между образователните цели и оценяването. Wiggins и McTighe насочват вниманието към разбирането, трансфера и приемливите доказателства. Dawson пренася тази логика в среда с GenAI, като аргументира, че валидността на оценяването има по-голямо значение от фокуса основно върху измамите. Ако едно оценяване не може да разграничи разбирането на студента от представяне, генерирано от ИИ, самото оценяване се нуждае от редизайн. ([Science and Research][2]) „Goals Before Tools“ развива същата идея чрез обратен дизайн. Преподавателите първо трябва да определят учебните цели, след това да решат какви доказателства ще покажат, че е настъпило учене, а едва след това да проектират дейностите и да определят ролята на ИИ. Изводът е важен: решението дали ИИ трябва да бъде разрешен не може да се взема независимо от учебния резултат, който се оценява. ([Science and Research][3]) По-новата публикация „GenAI Can Improve Educational Outcomes, but Pedagogy Still Decides“ добавя още един елемент: видимото мислене. Добре оформеният краен продукт не е достатъчно доказателство, когато ИИ може да помогне за неговото създаване. Чернови, история на редакциите, устни обяснения, рефлексивни бележки, проверка на източници и последващи задачи могат да предоставят по-силни доказателства за разсъжденията зад крайния продукт. ([Science and Research][4]) Приносът на Sag е в тясно съответствие с тези по-ранни изводи, но добавя важно измерение. Валидността на оценяването не се свежда само до разграничаването между човешка работа и работа, създадена с ИИ. Трябва също да се запитаме дали условията на оценяване въвеждат фактори, които не са свързани с компетентността, която искаме да измерим. Контролираният изпит може да предостави силни доказателства за самостоятелно представяне, докато прекомерният времеви натиск може да възнаграждава скоростта на писане. Ограничението на броя думи може да намали предимството на скоростта, но същевременно да постави по-високи изисквания към краткото и точно изразяване. Устният изпит може да покаже разбиране и аргументация, но да създаде предизвикателства по отношение на достъпността, последователността и приложимостта при голям брой студенти. Това води до по-развит принцип за оценяване в ерата на ИИ: Целта не е да намерим оценяване, което е „защитено от ИИ“. Целта е да проектираме комбинация от оценявания, която да създава валидни, справедливи и интерпретируеми доказателства за учене. За преподавателите това означава да поставят няколко свързани въпроса. Каква компетентност оценяваме? Какви доказателства биха я показали? Може ли ИИ да генерира същите доказателства, без студентът да притежава съответната компетентност? Кои части студентите трябва да изпълнят самостоятелно? Къде самото използване на ИИ може да стане част от оценяваната компетентност? Създават ли ограниченията във времето, броя думи, изискванията за писане на клавиатура, езиковите изисквания или други условия нерелевантни предимства или недостатъци? За университетите последиците надхвърлят отделните дисциплини. Предишните дискусии в блог на НИИ вече аргументират необходимостта от по-ясни институционални очаквания, защитени и отворени модели за оценяване, развитие на компетентностите на преподавателите и координиран редизайн на оценяването. ([Science and Research][1]) Дискусията на Sag добавя към този дневен ред достъпността и условията за подкрепа на студентите. Следователно генеративният ИИ дава на университетите още една причина да разгледат оценяването от неговите основи. Въпросът все по-малко е дали есето, изпитът, проектът, презентацията или устната защита са подходящи сами по себе си. По-важният въпрос е дали оценяването, при условията, в които студентите го изпълняват, предоставя надеждни доказателства за учебния резултат, който твърдим, че измерваме. Именно тук различните дискусии в блога на НИИ все повече се срещат: целите преди инструментите, валидността преди откриването на нарушения, разсъждението преди добре оформения краен продукт и доказателствата за учене преди привързаността към традиционните формати за оценяване. |
[1]: https://scienceandresearch.ue-varna.bg/2026/04/03/from-control-to-evidence-of-learning-assessment-strategies-in-the-age-of-gen-ai/?utm_source=chatgpt.com “From control to evidence of learning: assessment strategies in the age of Gen AI – Science and Research”
[2]: https://scienceandresearch.ue-varna.bg/2026/05/18/assessment-academic-integrity-and-ai-from-tyler-to-dawson/ “Assessment, Academic Integrity, and AI: From Tyler to Dawson – Science and Research”
[3]: https://scienceandresearch.ue-varna.bg/2026/05/19/goals-before-tools-understanding-by-design-and-teaching-with-ai/?utm_source=chatgpt.com “Goals Before Tools: Understanding by Design and Teaching with AI – Science and Research”
[4]: https://scienceandresearch.ue-varna.bg/2026/08/09/genai-can-improve-educational-outcomes-but-pedagogy-still-decides/?utm_source=chatgpt.com “GenAI Can Improve Educational Outcomes, but Pedagogy Still Decides – Science and Research”