What Universities Should Teach Students To Do with AI

Какво трябва да учат университетите студентите за работата си с AI

Plamen MILTENOFF

As universities move from debating whether students should use generative AI toward deciding how they should use it, a new study offers an important lesson: the quality of human-AI collaboration depends less on access to AI and more on how students engage with it.
Hou et al. (2026) studied 226 undergraduate students participating in a problem-based learning activity involving generative AI. The researchers tested whether a short critical-thinking intervention could change students’ reliance on AI and improve the quality and creativity of their work. The intervention combined three elements: identifying potential biases in AI-generated content, using a GPT-based peer tutor that asked reflective and Socratic questions, and role-playing different stakeholder perspectives during problem solving.
The comparison group completed the same problem-solving activity but used generative AI without these additional supports.
The results were mixed, and this is precisely what makes the study useful. Although the intervention did not significantly improve self-reported critical thinking, intervention groups demonstrated less direct adoption of AI-generated content and higher originality, while most measures of problem-solving quality showed no improvement. The findings support incorporating structured questioning, stakeholder dialogue, and reflection into AI-supported teaching, while emphasizing the need for longer interventions and more rigorous measurement of learning.
The study moves the discussion beyond whether students should use AI and focuses on the learning process while using AI.
AI literacy needs to move beyond tool use
Students improve prompting AI systems to summarize, explain, generate ideas, write text, or suggest solutions. These skills represent only one part of AI literacy.
The intervention did not significantly improve students’ self-reported critical thinking after one two-hour session. The authors suggest development of critical thinking occurs over longer periods and self-report measures may not capture subtle changes in students’ reasoning.
Yet students in the intervention condition behaved differently. They showed marginally less thoughtless AI use and significantly less direct adoption of AI-generated content. Their group reports were also more original and scored higher on several creativity indicators.
As a result, the concept of AI literacy may change.A student can be technically fluent with AI while remaining intellectually dependent on it. AI literacy, as a consequence, needs to include the ability to:
question AI-generated claims
• identify assumptions and potential bias
• compare alternative interpretations
• assess evidence and reasoning
• revise or reject AI suggestions
• explain why an AI recommendation was accepted
• contribute ideas that do not originate from the AI system
The goal should not be limitation of AI use, but be to improve the quality of human judgment around AI use.
Implications for university teaching
The study suggests that AI-supported learning should contain deliberate moments where students must stop generating and start evaluating. One useful approach is structured questioning. Instead of asking AI for a final answer, students can be required to challenge its reasoning:
What assumptions does this response make?
What evidence supports the recommendation?
Which stakeholder perspective is missing?
What alternative explanation should be considered?
What would make this recommendation fail?
The GPT-based peer tutor used in the study followed this approach. Rather than simply producing solutions, it asked reflective questions, identified gaps, and encouraged students to consider consequences and alternative perspectives.
This principle can be applied without specialized software. Instructors can build similar questions directly into assignments.
A second implication concerns assessment.
If students can generate polished answers quickly, evaluating only the final product becomes less informative. Assessment should increasingly examine the reasoning process.
In that sense, students need to submit:
• the original problem formulation
• selected AI interactions
• examples of AI suggestions they rejected
• explanations of revisions they made
• evidence supporting their final decisions
• a reflection on how AI influenced their reasoning
Such evidence gives instructors a clearer view of whether students exercised judgment or merely accepted generated content.
Cautionary tale here: the intervention groups produced more original work, but the comparison groups performed better on one evaluation dimension.
More structured reflection does not automatically improve every aspect of problem solving. Instructors need to balance creativity, analytical depth, evaluation, and feasibility rather than assuming that one form of AI engagement improves all learning outcomes.
Implications for institutional policy
The findings also have implications beyond individual courses.
Institutional AI policies often focus on permission, prohibition, disclosure, and academic integrity. These remain necessary, but they do not address the broader educational problem.
Universities also need policies to define the shape of a competent AI-supported learning.
Institutional guidance can encourage students to evaluate, question, contextualize, and revise AI outputs rather than treating AI use as a binary permitted-or-prohibited activity.
Faculty development becomes essential.
Instructors need support in designing assignments where AI contributes to learning without replacing reasoning. Professional development should focus less on collections of AI tools and prompts and more on instructional design, assessment, verification, critical evaluation, and human-AI collaboration.
The authors underline the role of assessment in rewarding students reasoning with and about AI, including justification, perspective integration, and creative synthesis. They also call for institutional professional development to helps educators integrate AI thoughtfully and ethically.
Recommended actions
Universities can begin with several practical steps.
First, embed critical AI use into existing courses rather than treating AI literacy as a separate one-time workshop.
Second, require students to explain how they evaluated AI outputs and what they changed.
Third, redesign assignments so students must contribute judgment, evidence, contextual understanding, and original reasoning.
Fourth, train faculty to use Socratic questioning and structured reflection when integrating AI.
Fifth, assess AI literacy through observable behavior, not only through surveys about confidence or perceived competence.
Sixth, test interventions over entire courses or semesters. The authors themselves note that the two-hour intervention was too short to establish measurable development in critical thinking and recommend longer, repeated interventions.
The important educational distinction is no longer between students who use AI and students who do not.
The more useful distinction is between students who accept AI-generated content and students who interrogate, revise, contextualize, and improve it.
For universities, this moves AI literacy closer to a broader educational goal: helping students retain intellectual agency when AI becomes part of everyday academic work.

These findings continue several themes we have already discussed on the Science & Research Blog. In “From AI Use to AI Literacy: What Schools Need to Teach”, we emphasized that frequent AI use should not be treated as evidence of AI literacy. In “When AI Enters the Classroom, Which Decisions Should Stay Human?”, the focus shifted to preserving human judgment when working with AI. The same issue was developed further in “The New Hybrid: What Should AI Be Allowed to Do in Education?”, where the central question concerned which intellectual tasks should remain with the student, especially as education moves from chatbots toward AI agents. Most directly, the present study also connects with “Are Students Learning to Think Critically, or Learning to Produce Answers?”, because it provides empirical support for the idea that university education should assess not only the final answer, but also how students analyze, verify, challenge, and improve AI-generated content.


 
Докато университетите постепенно изместват дискусията от въпроса дали студентите трябва да използват генеративен AI към въпроса как трябва да го използват, едно ново изследване предлага важен извод: качеството на сътрудничеството между човек и AI зависи по-малко от достъпа до AI и повече от начина, по който студентите взаимодействат с него.
Hou et al. (2026) изследват 226 студенти в бакалавърска степен, участващи в проблемно-базирано обучение с използване на генеративен AI. Изследователите проверяват дали кратка интервенция, насочена към критическото мислене, може да промени начина, по който студентите разчитат на AI, и да подобри качеството и креативността на тяхната работа. Интервенцията комбинира три елемента: идентифициране на потенциални пристрастия в генерираното от AI съдържание, използване на GPT-базиран партньор за обучение, който задава рефлексивни и сократически въпроси, и ролево представяне на различни гледни точки на заинтересованите страни при решаване на проблеми.
Сравнителната група изпълнява същата задача за решаване на проблеми, но използва генеративен AI без тези допълнителни форми на подкрепа.
Резултатите са смесени и именно това прави изследването полезно. Въпреки че интервенцията не води до статистически значимо подобрение в самооцененото критическо мислене, групите с интервенция показват по-слабо директно възприемане на съдържание, генерирано от AI, и по-висока оригиналност, докато при повечето показатели за качество на решаването на проблеми не се наблюдава подобрение. Резултатите подкрепят включването на структурирано задаване на въпроси, диалог между различни заинтересовани страни и рефлексия в обучението с AI. Същевременно те подчертават необходимостта от по-продължителни интервенции и по-прецизно измерване на ученето.
Изследването измества дискусията отвъд въпроса дали студентите трябва да използват AI и насочва вниманието към самия процес на учене при използването на AI.
AI грамотността трябва да надхвърли използването на инструменти
Студентите стават все по-добри в задаването на инструкции към AI системи за обобщаване, обяснение, генериране на идеи, създаване на текст или предлагане на решения. Тези умения представляват само една част от AI грамотността.
Интервенцията не води до статистически значимо подобрение в самооцененото критическо мислене след една двучасова сесия. Авторите предполагат, че развитието на критическото мислене изисква по-дълъг период, а самооценъчните измерители може да не улавят по-фините промени в начина на разсъждение на студентите.
Въпреки това студентите в интервенционната група се държат по различен начин. Те показват малко по-ниски нива на безкритична употреба на AI и значително по-слабо директно възприемане на генерирано от AI съдържание. Груповите им доклади са по-оригинални и получават по-високи оценки по няколко показателя за креативност.
В този смисъл самото разбиране за AI грамотност може да се промени. Един студент може да бъде технически уверен в работата с AI, но да остане интелектуално зависим от него. Следователно AI грамотността трябва да включва способността да:
• поставя под въпрос твърдения, генерирани от AI
• идентифицира предположения и потенциални пристрастия
• сравнява алтернативни интерпретации
• оценява доказателства и логика
• преработва или отхвърля предложения на AI
• обяснява защо дадена препоръка на AI е била приета
• предлага идеи, които не произхождат от AI системата
Целта не трябва да бъде ограничаването на използването на AI, а подобряването на качеството на човешката преценка при работа с AI.
Влияние върху университетското преподаване
Изследването показва, че обучението с AI трябва да включва съзнателно планирани моменти, в които студентите спират да генерират съдържание и започват да го оценяват. Един полезен подход е структурираното задаване на въпроси. Вместо да искат от AI краен отговор, студентите могат да бъдат задължени да оспорят неговата логика:
Какви предположения прави този отговор?
Какви доказателства подкрепят препоръката?
Чия гледна точка липсва?
Какво алтернативно обяснение трябва да се разгледа?
При какви условия тази препоръка би се оказала неуспешна?
GPT-базираният обучителен партньор, използван в изследването, следва именно този подход. Вместо просто да предлага решения, той задава рефлексивни въпроси, идентифицира пропуски и насърчава студентите да разглеждат последици и алтернативни гледни точки.
Този принцип може да се прилага и без специализиран софтуер. Преподавателите могат да включват подобни въпроси директно в заданията.
Второто важно следствие е свързано с оценяването.
Ако студентите могат бързо да генерират добре оформени отговори, оценяването само на крайния продукт става все по-малко информативно. Оценяването трябва все повече да се насочва към процеса на разсъждение.
В този смисъл студентите могат да представят:
първоначалната формулировка на проблема
• избрани взаимодействия с AI
• примери за предложения на AI, които са отхвърлили
• обяснения на направените промени
• доказателства в подкрепа на крайните решения
• рефлексия върху начина, по който AI е повлиял върху тяхното мислене
Подобни доказателства дават на преподавателите по-ясна представа дали студентите са упражнили собствена преценка, или просто са възприели генерирано съдържание.
Има и важен предупредителен резултат. Интервенционните групи създават по-оригинална работа, но сравнителните групи се представят по-добре по един от показателите за оценяване.
По-структурираната рефлексия не подобрява автоматично всеки аспект от решаването на проблеми. Преподавателите трябва да балансират креативността, аналитичната дълбочина, оценяването и приложимостта, вместо да приемат, че един вид взаимодействие с AI подобрява всички резултати от ученето.
Последици за институционалните политики
Резултатите имат значение и отвъд отделните курсове.
Институционалните политики за AI често се фокусират върху разрешаването, забраната, декларирането на употребата и академичната почтеност. Тези елементи остават необходими, но не решават по-широкия образователен проблем.
Университетите се нуждаят и от политики, които определят как изглежда компетентното учене с подкрепата на AI.
Институционалните насоки могат да насърчават студентите да оценяват, поставят под въпрос, контекстуализират и преработват резултатите от AI, вместо да третират употребата на AI като бинарен избор между позволено и забранено.
Развитието на преподавателите става ключово.
Преподавателите се нуждаят от подкрепа при проектирането на задания, в които AI подпомага ученето, без да замества разсъждението. Професионалното развитие трябва да поставя по-малък акцент върху списъци с AI инструменти и промптове и по-голям акцент върху учебния дизайн, оценяването, верифицирането, критическата оценка и сътрудничеството между човек и AI.
Авторите подчертават ролята на оценяването за насърчаване на начина, по който студентите разсъждават с AI и за AI, включително аргументацията, интегрирането на различни гледни точки и творческия синтез. Те също призовават за институционални инициативи за професионално развитие, които подпомагат преподавателите да интегрират AI обмислено и етично.
Препоръчани действия
Университетите могат да започнат с няколко практически стъпки.
Първо, да интегрират критическата употреба на AI в съществуващите курсове, вместо да разглеждат AI грамотността като отделен еднократен семинар.
Второ, да изискват от студентите да обясняват как са оценили резултатите от AI и какво са променили.
Трето, да преработят заданията така, че студентите да трябва да добавят собствена преценка, доказателства, контекстуално разбиране и оригинално разсъждение.
Четвърто, да обучават преподавателите да използват сократически въпроси и структурирана рефлексия при интегрирането на AI.
Пето, да оценяват AI грамотността чрез наблюдаемо поведение, а не само чрез анкети за увереност или самооценена компетентност.
Шесто, да тестват интервенции в рамките на цели курсове или семестри. Самите автори отбелязват, че двучасовата интервенция е твърде кратка, за да установи измеримо развитие на критическото мислене, и препоръчват по-дълги и повторяеми интервенции.
Важното образователно разграничение вече не е между студентите, които използват AI, и тези, които не го използват.
По-полезното разграничение е между студентите, които приемат генерираното от AI съдържание, и студентите, които го поставят под въпрос, преработват, контекстуализират и подобряват.
За университетите това приближава AI грамотността до една по-широка образователна цел: да помогнат на студентите да запазят своята интелектуална автономност, когато AI се превръща в част от ежедневната академична работа.
 Тези изводи продължават няколко линии, които вече обсъждахме в блога Science & Research. В публикацията „От използване на AI към AI грамотност: Какво трябва да преподават училищата“ подчертахме, че честата употреба на AI не е равнозначна на AI грамотност. В „Когато AI влезе в класната стая, кои решения трябва да останат човешки?“ поставихме акцент върху запазването на човешката преценка при използването на AI. Същата тема беше развита и в „The New Hybrid: What Should AI Be Allowed to Do in Education?“, където основният въпрос беше кои интелектуални задачи трябва да останат при студента, особено при преминаването от чатботи към AI агенти. Най-пряко настоящото изследване се свързва и с „Are Students Learning to Think Critically, or Learning to Produce Answers?“, защото предоставя емпирична подкрепа за идеята, че университетското образование трябва да оценява не само крайния отговор, а начина, по който студентите анализират, проверяват, оспорват и подобряват съдържанието, генерирано от AI.
scienceandresearch.ue-varna.bg

Reference
Hou, C., Zhu, G., Liu, Y., Sudarshan, V., Chong, J. L. L., Zhang, F. Y., Tan, M. Y. H., & Ong, Y. S. (2026). The effects of critical thinking intervention on reliance behaviors, problem-solving quality, and creativity during human-Generative AI collaborative learning. Computers & Education, 247, 105576.