От всекидневното използване на ИИ към доказуема компетентност: преосмисляне на университетските задания
Podcast
Подкаст
| A student challenges an AI-generated answer, changes the prompt, and receives a more convincing response. Has the student improved their understanding, corrected an error, or persuaded the system to agree? Universities need assignments capable of distinguishing these outcomes. Tawfiq Ammari and colleagues offer a starting point in their preprint, From Retrieval to Synthesis: Repair Literacy and the Domestication of Generative AI. They examined 10,536 ChatGPT messages from 36 undergraduates at one US university, covering December 2022 to January 2024. Their central concept, repair literacy, describes students’ approach to diagnose, negotiate, and recover from AI failures. What everyday practice teaches, and what practice misses The researchers identified five interaction patterns: task-oriented use, anthropomorphic sensemaking, auditing and repair, metacognitive processing, and trust calibration. Routine task completion dominated. Reflecting on one’s understanding and evaluating reliability appeared less widely: metacognitive processing occurred among 10 of the 36 students, and trust calibration among seven. These findings extend our earlier discussion, From AI Shortcuts to AI Literacy: Five Ways to Support Responsible Student Use of ChatGPT. Students’ everyday practices provide material for teaching, especially when they challenge outputs, investigate mistakes, and explain revisions. But correcting an answer does not necessarily demonstrate sound judgment. Some students pressured ChatGPT to accept a preferred answer. Longer conversations should not automatically earn recognition as deeper learning. The study documents behaviour rather than independently measured learning gains; the findings do not establish whether practice alone produces lasting competence. Our blog post From AI Use to AI Literacy: What Schools Need to Teach makes a related distinction: frequent use should not serve as evidence of competence. Taken together, these discussions support guided practice rather than an assumption students will acquire every necessary skill through experience. Why evaluation should be discipline-specific A generic instruction to “check the AI answer” leaves the standard of checking unclear. Universities should translate verification into the methods students learn within their disciplines. The study illustrates this through an engineering student who identified a missing density term in an AI-generated derivation. Subject knowledge supplied the basis for correction. The educational implication is to teach students to apply disciplinary knowledge when evaluating AI. The following examples are proposed teaching applications, not interventions tested in the study. In marketing, ask students to examine whether an AI-generated customer segment follows from survey evidence or unsupported assumptions. In statistics, require students to reproduce calculations, inspect analytical assumptions, and assess whether the research design supports the interpretation. In tourism, ask students to check visitor statistics, seasonality, and local operating constraints before accepting an AI-generated development proposal. For departments, this approach offers concrete learning outcomes within existing courses: evaluating evidence, diagnosing methodological problems, and defending decisions. AI literacy becomes assessable through disciplinary work rather than a separate exercise in prompt writing. Rewrite the assignment, then rewrite the marking criteria Consider a marketing assignment: “Prepare a market-entry recommendation for a Bulgarian company.” A revised version might read: “Develop an initial recommendation from the supplied market data before consulting AI. Obtain an AI-generated alternative. Check three consequential claims against independent evidence, identify unsupported assumptions, and submit a revised recommendation explaining which suggestions you accepted or rejected.” A statistics assignment can move from “Run a regression and interpret the results” to: “State your expected relationships and justify your model. Review an AI-generated analysis, reproduce the results in R or Python, check assumptions, and explain any changes. Defend one analytical decision without AI assistance.” A literature assignment can move from “Summarize five articles” to: “Read the assigned articles, compare your synthesis with an AI-generated synthesis, and trace three substantive claims to their original passages. Correct misrepresentations, explain disagreements, and identify unresolved questions.” These tasks make the student’s decisions part of the submission. Require a short verification record containing the AI claim, checking method, supporting evidence, correction or acceptance, and rationale. Do not require complete personal chat histories. Ask for task-specific excerpts and disclosure of AI assistance. Where access differs, provide the same AI-generated material for everyone to evaluate. A proposed rubric might allocate 30% to disciplinary reasoning, 25% to evidence verification, 20% to justified revisions, 15% to the final product, and 10% to an independent explanation. Adjust these weights to the course objectives. Reward justified acceptance as well as correction, since students should not invent errors to satisfy an assessment requirement. This follows our discussion in Are Students Learning to Think Critically, or Learning to Produce Answers?, which emphasizes interpretation, evaluation, explanation, and self-correction as observable assessment targets. From AI literacy to demonstrated competence Our post Beyond Prompting: 14 AI Skills Every University Student Should Develop argues for capabilities students can demonstrate through practical activity. Repair-focused assignments provide one way to translate this ambition into course requirements, while retaining attention to evidence and independent judgment. At the University of Economics Varna, departments can begin with one redesigned assignment, shared verification criteria, and a brief independent follow-up task. Compare students’ performance before and after the activity, including their ability to evaluate an unfamiliar output. The goal should be evidence of students’ judgment: what they checked, why they trusted or rejected a claim, and what they can still explain without AI. | Студент оспорва отговор, генериран от ИИ, променя запитването и получава по-убедителен отговор. Подобрил ли е разбирането си, коригирал ли е грешка или е убедил системата да се съгласи с него? Университетите се нуждаят от задания, които позволяват да се разграничат тези резултати. Тауфик Амари и колегите му предлагат отправна точка в своя препринт From Retrieval to Synthesis: Repair Literacy and the Domestication of Generative AI. Те анализират 10 536 съобщения в ChatGPT от 36 студенти в един американски университет за периода от декември 2022 г. до януари 2024 г. Основното им понятие, „грамотност за коригиране на грешки“ (repair literacy), описва как студентите диагностицират проблеми, уточняват отговорите чрез диалог и преодоляват грешките на ИИ. Какво учи всекидневната практика и какво пропуска Изследователите установяват пет модела на взаимодействие: използване за изпълнение на задачи, антропоморфно осмисляне, проверка и коригиране на грешки, метакогнитивна обработка и калибриране на доверието. Преобладава рутинното изпълнение на задачи. Осмислянето на собственото разбиране и оценяването на надеждността се срещат по-рядко: метакогнитивна обработка се наблюдава при 10 от 36-те студенти, а калибриране на доверието при седем. Тези резултати доразвиват предишната ни дискусия „От преките пътища с ИИ към грамотността за ИИ: пет начина да подкрепим отговорното използване на ChatGPT от студентите“. Всекидневните практики на студентите предоставят материал за преподаване, особено когато студентите оспорват отговори, изследват грешки и обясняват направените промени. Но коригирането на отговор не доказва непременно обоснована преценка. Някои студенти притискат ChatGPT да приеме предпочитан от тях отговор. Затова по-дългите разговори не бива автоматично да се приемат за по-задълбочено учене. Изследването документира поведение, а не независимо измерен напредък в ученето. Резултатите не установяват дали практиката сама по себе си изгражда трайна компетентност. Нашата статия „От използване на ИИ към грамотност за ИИ: какво трябва да преподават училищата“ прави сходно разграничение: честото използване не бива да служи като доказателство за компетентност. Взети заедно, тези дискусии подкрепят насочваната практика, вместо предположението, че студентите ще придобият всички необходими умения чрез опит. Защо оценяването трябва да отчита спецификата на дисциплината Общото указание „проверете отговора на ИИ“ не изяснява стандарта за проверка. Университетите трябва да превърнат проверката в прилагане на методите, които студентите изучават в съответните дисциплини. Изследването илюстрира това чрез студент по инженерни науки, който установява липсващ член за плътността в изведено от ИИ уравнение. Знанията по предмета осигуряват основата за корекцията. Педагогическият извод е да учим студентите как да прилагат тези знания при оценяване на ИИ. Следващите примери са предложения за преподавателска практика, а не интервенции, проверени в изследването. В маркетинга поискайте студентите да преценят дали клиентски сегмент, предложен от ИИ, произтича от анкетните данни или от неподкрепени предположения. В статистиката изисквайте да възпроизведат изчисленията, да проверят предпоставките на анализа и да оценят дали изследователският дизайн подкрепя интерпретацията. В туризма поискайте да проверят статистиката за посетителите, сезонността и местните условия, преди да приемат предложение за развитие, генерирано от ИИ. За катедрите този подход предлага конкретни учебни резултати в съществуващите курсове: оценяване на доказателства, диагностициране на методологически проблеми и защита на решения. Грамотността за ИИ става оценима чрез работата по дисциплината, вместо да се ограничава до отделно упражнение за формулиране на запитвания. Преработете заданието, след това критериите за оценяване Да разгледаме маркетингово задание: „Подгответе препоръка за навлизане на българска компания на нов пазар“. Преработеният вариант може да гласи: „Разработете първоначална препоръка въз основа на предоставените пазарни данни, преди да се консултирате с ИИ. Получете алтернативно предложение от ИИ. Проверете три съществени твърдения чрез независими източници, установете неподкрепените предположения и представете преработена препоръка, като обясните кои предложения сте приели или отхвърлили“. Задание по статистика може да се промени от „Извършете регресионен анализ и интерпретирайте резултатите“ на: „Посочете очакваните зависимости и обосновете модела си. Прегледайте анализ, генериран от ИИ, възпроизведете резултатите в R или Python, проверете предпоставките и обяснете промените. Защитете едно аналитично решение без помощта на ИИ“. Задание за работа с научна литература може да се промени от „Обобщете пет статии“ на: „Прочетете определените статии, сравнете своя синтез със синтез, генериран от ИИ, и проследете три съществени твърдения до оригиналните пасажи. Коригирайте неточностите, обяснете разминаванията и посочете нерешените въпроси“. Тези задачи превръщат решенията на студента в част от представяната работа. Изисквайте кратък запис на проверката, включващ твърдението на ИИ, метода за проверка, доказателствата, корекцията или приемането и обосновката. Не изисквайте пълни истории на личните разговори. Поискайте откъси, свързани със задачата, и описание на помощта от ИИ. При различия в достъпа предоставете на всички еднакъв материал, генериран от ИИ, за оценяване. Примерна схема за оценяване може да предвижда 30% за аргументация по дисциплината, 25% за проверка на доказателствата, 20% за обосновани промени, 15% за крайния продукт и 10% за самостоятелно обяснение. Съобразете тежестите с целите на курса. Оценявайте обоснованото приемане наред с коригирането, за да не подтиквате студентите да измислят грешки. Това следва дискусията ни „Учат ли се студентите да мислят критично, или да произвеждат отговори?“, която подчертава интерпретацията, оценяването, обяснението и самокоригирането като наблюдаеми обекти на оценяване. От ИИ грамотност към демонстрирана компетентност Блог постът „Отвъд формулирането на запитвания: 14 умения за работа с ИИ, които всеки студент трябва да развие“ поставя акцент върху способности, които студентите демонстрират чрез практически дейности. Заданията за коригиране на грешки предлагат начин тази цел да се превърне в изисквания на курса, със запазен акцент върху доказателствата и самостоятелната преценка. В Икономически университет – Варна катедрите могат да започнат с едно преработено задание, общи критерии за проверка и кратка последваща задача за самостоятелна работа. Сравнете представянето на студентите преди и след дейността, включително способността им да оценяват непознат отговор. Целта трябва да бъде доказателство за преценката на студентите: какво са проверили, защо са приели или отхвърлили твърдение и какво могат да обяснят без ИИ. |