Validity of Assessment Design Lessons

Валидност на дизайна на оценяването

Plamen MILTENOFF

Podcast
Подкаст
The Quality Assurance Agency for Higher Education’s State of the Nation initiative identifies the validity of assessment design as the first of five major risks facing higher education. Assessment problems cannot be reduced to academic misconduct, generative AI, or student authentication. Universities must first determine whether their assessments produce credible evidence of the learning outcomes they claim to measure.

The initiative invites institutions to examine assessment at program and institutional levels, rather than treating each assignment as an isolated task. Its main message is simple: an assessment may appear secure, consistent, or efficient while still failing to measure the intended knowledge, skills, or judgement.

Main takeaways from the QAA initiative
1. Assessment validity represents a quality assurance issue. If an assessment does not measure the intended learning outcomes, decisions based on its results become questionable.
2. Generative AI exposes existing weaknesses in assessment. AI did not create every assessment problem. It made long-standing problems, such as generic tasks, unclear outcomes, excessive reliance on written products, and weak authorship verification, easier to see.
3. Assessment changes involve trade-offs. Increasing security may reduce authenticity, flexibility, inclusion, disciplinary depth, or the range of outcomes assessed.
4. Institutions need program-level coordination. Replacing individual essays or adding examinations without examining the complete assessment system can create duplication, overload, and gaps in learning.
5. Assessment design must reflect student diversity. Standardisation may support consistency, but excessive standardisation can disadvantage students whose abilities appear through different forms of evidence.

Phillip Dawson gives the QAA concept a practical AI-related interpretation. In his blog post, the central question is not “How do we stop students using AI?” Instead, educators should ask:

Are we assessing what we mean to assess?
Replacing a take-home essay with an in-class exam may render unauthorized AI use not possible, but it can also change the matter we assess. A take-home essay can show whether students can find sources, compare ideas, develop an argument, revise their work, and reach a supported conclusion. A timed exam may focus more on memory, writing speed, and performance under pressure. The exam may therefore be more secure, but less valid if the original goal was to assess research and extended reasoning.

A traffic-light system may inform students of AI not being allowed, but the rule remains mute if teachers cannot check whether students followed it. For example, one student writes an assignment alone, while another secretly uses ChatGPT to plan and write parts of the same task. They receive grades for work completed under different conditions, so the grades no longer provide a fair comparison of what each student can do independently.

Dawson’s argument also shows also validity has several interacting dimensions:

• Security: Can we trust the origin of the work?
• Authenticity: Does the task resemble meaningful academic or professional practice?
• Construct coverage: Does the task capture the full learning outcome?
• Inclusion: Can different students demonstrate achievement fairly?
• Reliability: Would comparable performances receive comparable judgements?

Improving one dimension can weaken another. Assessment redesign therefore requires explicit decisions about acceptable trade-offs.

Jason Gulya extends Dawson’s argument to the United States, but his two questions apply across national contexts:
1. Are we assessing what we claim to assess?
2. What do we lose when we replace one assessment form with another?
The second question deserves attention. Discussions about AI-resistant assessment often present oral examinations, handwritten work, classroom tests, presentations, or monitored assessments as direct solutions. Each format provides certain evidence while removing other evidence.

For example, an oral defence may support authorship verification and reveal student understanding. It may also measure confidence, spoken-language proficiency, and the ability to respond immediately. These characteristics may not form part of the intended learning outcome.

Gulya therefore encourages educators to compare assessment formats according to the evidence they produce, rather than according to whether they permit or prohibit AI.

What do Dawson and Gulya teach us at UE Varna?

Their shared lesson is that UE Varna should avoid redesigning assessment around AI detection or prohibition alone. We need to start with the purpose of each assessment.

For every major task, faculty should ask:
• Which learning outcome does this task assess?
• What observable evidence would demonstrate achievement?
• Does the current task produce this evidence?
• Which parts may students complete with AI?
• Which parts require independent human performance?
• How will we verify students’ decisions, reasoning, and understanding?
• What do we gain and lose if we replace the task?

A written business analysis, for example, may assess disciplinary knowledge, evidence selection, analytical reasoning, written communication, and responsible AI use. Replacing it with a closed-book test may strengthen control over authorship while narrowing the assessment to recall and rapid individual performance.

A stronger design might retain the written analysis while adding process evidence. Students could submit their research trail, document AI use, explain rejected suggestions, discuss key decisions, and defend their conclusions in a short oral conversation. The goal would not be to make the assessment “AI-proof.” The goal would be to collect several forms of evidence supporting a defensible judgement about student achievement.

UE Varna could act in five areas.
First, departments could audit whether assessment tasks align with course and program learning outcomes.
Second, faculty could document the trade-offs involved when changing an assessment format.
Third, courses could combine product, process, and performance evidence. Examples include a final report, a decision log, and a short defence.
Fourth, assessment instructions could specify permitted AI functions instead of relying on broad red, amber, and green labels.
Fifth, program teams could examine the complete student assessment experience, including workload, duplication, inclusion, progression, and opportunities to develop independent judgement.

The QAA initiative, Dawson, and Gulya move the discussion from controlling tools to protecting the meaning of qualifications. The relevant question for UE Varna is not whether students used AI. It is whether the available evidence allows us to make a credible claim about what each student knows, understands, and can do.		Инициативата „Състояние на сектора“ на Агенцията за осигуряване на качеството във висшето образование определя валидността на дизайна на оценяването като първия от петте основни риска пред висшето образование. Проблемите при оценяването не могат да се сведат само до академична нечестност, генеративен изкуствен интелект или установяване на авторството на студентската работа. Университетите трябва първо да преценят дали използваните форми на оценяване предоставят надеждни доказателства за резултатите от обучението, които твърдят, че измерват.
Инициативата насърчава институциите да разглеждат оценяването на ниво специалност и университет, вместо да третират всяка задача като отделен случай. Основното послание е ясно: една форма на оценяване може да изглежда сигурна, последователна или ефективна, но въпреки това да не измерва планираните знания, умения или способност за преценка.

Основни изводи от инициативата на QAA
1. Валидността на оценяването е въпрос на осигуряване на качеството. Ако дадена форма на оценяване не измерва планираните резултати от обучението, решенията, основани на получените резултати, стават съмнителни.
2. Генеративният изкуствен интелект разкрива съществуващи слабости в оценяването. ИИ не е създал всички проблеми при оценяването. Той направи по-видими отдавна съществуващи слабости, като общи и лесно предвидими задачи, неясни резултати от обучението, прекомерно разчитане на писмени крайни продукти и слаба проверка на авторството.
3. Промените в оценяването включват компромиси. Повишаването на сигурността може да намали автентичността, гъвкавостта, приобщаването, дисциплинарната дълбочина или обхвата на оценяваните резултати.
4. Институциите се нуждаят от координация на ниво специалност. Замяната на отделни есета или добавянето на изпити, без да се разгледа цялостната система за оценяване, може да доведе до повтаряне на задачи, претоварване и пропуски в обучението.
5. Дизайнът на оценяването трябва да отчита разнообразието сред студентите. Стандартизацията може да подпомогне последователността, но прекомерната стандартизация може да постави в неблагоприятно положение студенти, чиито способности се проявяват по-добре чрез различни форми на доказателства.

Филип Доусън дава практическо тълкуване на концепцията на QAA, свързано с изкуствения интелект. В неговата публикация основният въпрос не е: „Как да спрем студентите да използват ИИ?“. Вместо това преподавателите трябва да попитат:

Оценяваме ли това, което възнамеряваме да оценим?
Замяната на домашно есе с присъствен изпит може да направи неразрешеното използване на ИИ невъзможно, но може да промени и това, което оценяваме. Домашното есе може да покаже дали студентите умеят да намират източници, да сравняват идеи, да развиват аргумент, да редактират работата си и да стигат до подкрепено с доказателства заключение. Изпитът с ограничено време може да се фокусира повече върху паметта, скоростта на писане и представянето под напрежение. Следователно изпитът може да бъде по-сигурен, но по-малко валиден, ако първоначалната цел е била да се оценят изследователски умения и задълбочено разсъждение.
Система тип „светофар“ може да информира студентите, че използването на ИИ не е позволено, но правилото остава без реален ефект, ако преподавателите не могат да проверят дали студентите са го спазили. Например един студент пише задачата самостоятелно, а друг тайно използва ChatGPT, за да планира и напише части от същата задача. Те получават оценки за работа, извършена при различни условия, затова оценките вече не позволяват справедливо сравнение на това, което всеки студент може да направи самостоятелно.

Аргументът на Доусън показва също, че валидността има няколко взаимосвързани измерения:
– Сигурност: Можем ли да се доверим на произхода и авторството на работата?
– Автентичност: Прилича ли задачата на смислена академична или професионална дейност?
– Обхват на оценявания конструкт: Обхваща ли задачата целия планиран резултат от обучението?
– Приобщаване: Могат ли различните студенти да покажат постиженията си по справедлив начин?
– Надеждност: Биха ли сходни резултати получили сходни оценки?
Подобряването на едно измерение може да отслаби друго. Затова преработването на оценяването изисква ясни решения относно приемливите компромиси.

Джейсън Гуля пренася аргумента на Доусън в контекста на Съединените щати, но неговите два въпроса са приложими във всички национални контексти:
Оценяваме ли това, което твърдим, че оценяваме?
Какво губим, когато заменим една форма на оценяване с друга?
Вторият въпрос заслужава специално внимание. В дискусиите за оценяване, устойчиво на използването на ИИ, устните изпити, ръкописните работи, тестовете в учебна зала, презентациите и наблюдаваните изпити често се представят като преки решения. Всеки формат предоставя определени доказателства, но премахва други.
Например устната защита може да подпомогне проверката на авторството и да покаже разбирането на студента. В същото време тя може да измерва увереност, умения за устно изразяване и способност за незабавен отговор. Тези характеристики може да не са част от планирания резултат от обучението.
Затова Гуля насърчава преподавателите да сравняват формите на оценяване според доказателствата, които те предоставят, а не според това дали разрешават или забраняват използването на ИИ.

Какво ни учат Доусън и Гуля в ИУ – Варна?
Общият им урок е, че ИУ – Варна не трябва да преработва оценяването само около откриването или забраняването на използването на ИИ. Трябва да започнем от целта на всяка форма на оценяване.
За всяка основна задача преподавателите трябва да зададат следните въпроси:
Кой резултат от обучението оценява тази задача?
Какви наблюдаеми доказателства биха показали постигането му?
Настоящата задача предоставя ли такива доказателства?
Кои части студентите могат да изпълнят с помощта на ИИ?
Кои части изискват самостоятелно човешко изпълнение?
Как ще проверим решенията, разсъжденията и разбирането на студентите?
Какво печелим и какво губим, ако заменим задачата?
Например писменият бизнес анализ може да оценява знания по дисциплината, подбор на доказателства, аналитично мислене, писмена комуникация и отговорно използване на ИИ. Замяната му с тест със затворени материали може да засили контрола върху авторството, но да сведе оценяването главно до възпроизвеждане на знания и бързо индивидуално представяне.
По-силен дизайн може да запази писмения анализ и да добави доказателства за процеса. Студентите могат да представят своята изследователска следа, да документират използването на ИИ, да обяснят кои предложения са отхвърлили, да обсъдят основните си решения и да защитят заключенията си в кратък устен разговор. Целта не е оценяването да стане напълно „защитено от ИИ“. Целта е да се съберат различни видове доказателства, които подкрепят обоснована преценка за постиженията на студентите.

ИУ – Варна може да предприеме действия в пет области.
Първо, катедрите могат да проверят дали задачите за оценяване съответстват на резултатите от обучението по дисциплината и специалността.
Второ, преподавателите могат да описват компромисите, свързани с промяната на дадена форма на оценяване.
Трето, дисциплините могат да комбинират доказателства за краен продукт, процес и представяне. Примери са финален доклад, дневник на решенията и кратка защита.
Четвърто, инструкциите за оценяване могат ясно да посочват разрешените функции на ИИ, вместо да разчитат само на общи категории в зелено, жълто и червено.
Пето, програмните екипи могат да разглеждат цялостния опит на студентите с оценяването, включително натоварването, повтарянето на задачи, приобщаването, развитието през отделните курсове и възможностите за изграждане на самостоятелна преценка.

Инициативата на QAA, Доусън и Гуля преместват дискусията от контрола върху инструментите към защитата на смисъла на квалификациите. Важният въпрос за ИУ – Варна не е дали студентите са използвали ИИ. Въпросът е дали наличните доказателства ни позволяват да направим надежден извод за това какво знае, разбира и може да прави всеки студент.