GenAI Can Improve Educational Outcomes, but Pedagogy Still Decides

Генеративният ИИ може да подобри образователните резултати, но педагогиката остава решаваща

Plamen MILTENOFF

Podcast
Подкаст
A new meta-analysis by Ying Dong brings welcome evidence to a discussion often driven by enthusiasm, fear, and isolated classroom examples. Drawing on 53 studies, the author reports positive effects of generative AI on academic achievement, higher-order thinking, motivation, and writing. The largest reported effect concerns AI-generated feedback, while game-assisted GenAI shows no statistically significant advantage over non-game approaches. 

The strongest practical lesson concerns feedback. Universities should start with activities where GenAI comments on work rather than completes it. A student can prepare an initial response, receive AI feedback, check each suggestion, revise the work, and explain which recommendations were accepted or rejected. This process keeps responsibility with the learner while giving students faster and more detailed formative support.

The second lesson concerns visible thinking. Better output does not always prove better learning. Courses should assess the reasoning behind the final product through drafts, revision histories, oral explanations, reflective notes, source verification, or follow-up tasks completed without AI. GenAI should support analysis and self-regulation, while students remain responsible for interpretation and judgment.

The third lesson concerns local experimentation. Institutions should test GenAI in selected courses before expanding its use. Pilots should measure delayed retention, transfer to new problems, student trust, unequal access, faculty workload, and independent performance. Grades and satisfaction surveys cannot answer these questions alone. Discipline-specific pilots also matter because feedback, writing, problem-solving, and acceptable AI use differ across economics, finance, marketing, languages, and statistics.

The research displays some weaknesses. It treats a wide range of chatbots, feedback systems, AI instructors, and learning designs as one broad intervention. The comparison groups also differ, ranging from teacher feedback and conventional digital tools to limited support. This makes the pooled effect difficult to translate into a single classroom expectation.

Most major analyses show heterogeneity above 90 percent. Publication-bias tests are significant, and some subgroup conclusions rest on small numbers of studies. The non-significant gamification result, for example, comes from only four studies. The country comparisons may reflect differences in sample size, language coverage, subject, or research design rather than stable national characteristics. The paper sometimes uses causal language even though it includes experimental, quasi-experimental, and survey designs. 

Several hidden assumptions deserve attention. The article often treats measured performance as learning, short-term gains as durable development, access to GenAI as equal, and AI feedback as directly comparable with teacher feedback. It also assumes students possess enough AI literacy to judge the feedback they receive. These assumptions need testing rather than acceptance.

However, the central message aligns closely with previous Science & Research blog discussions. “Goals Before Tools” argues that learning outcomes and evidence should guide technology choices. ([Science and Research][1]) “From AI Use to Evidence of Learning” calls for assessment based on reasoning and process. ([Science and Research][2]) “Beyond One Definition of AI Literacy” connects responsible AI use with disciplinary judgment and research capability. ([Science and Research][3]) “AI in Higher Education Works Through Pedagogy” places feedback and formative assessment among the most promising starting points. ([Science and Research][4])

Together, these posts and the meta-analysis point toward the same institutional priority: invest less attention in access alone and more attention in instructional design, AI literacy, visible learning, and local evidence.

Нов метаанализ на Ying Dong внася ценни доказателства в дискусия, която често се движи от ентусиазъм, страх и отделни примери от учебната практика. Въз основа на 53 изследвания статията отчита положителни ефекти на генеративния ИИ върху академичните постижения, мисленето от по-висок порядък, мотивацията и уменията за писане. Най-големият отчетен ефект е свързан с обратната връзка, генерирана от ИИ, докато подпомогнатият от игри генеративен ИИ не показва статистически значимо предимство пред подходите без игрови елементи.

Най-важният практически извод е свързан с обратната връзка. Университетите трябва да започнат с дейности, при които генеративният ИИ коментира работата на студентите, вместо да я изпълнява вместо тях. Студентът може да подготви първоначален отговор, да получи обратна връзка от ИИ, да провери всяка препоръка, да преработи работата си и да обясни кои предложения е приел или отхвърлил. Този процес запазва отговорността у обучаемия и същевременно предоставя по-бърза и по-подробна формативна подкрепа.

Вторият извод е свързан с видимото мислене. По-добрият краен резултат невинаги доказва по-добро учене. Курсовете трябва да оценяват разсъжденията зад крайния продукт чрез чернови, история на редакциите, устни обяснения, рефлексивни бележки, проверка на източници или последващи задачи, изпълнени без ИИ. Генеративният ИИ трябва да подпомага анализа и саморегулацията, докато студентите запазват отговорността за интерпретацията и преценката.

Третият извод е свързан с локалното експериментиране. Институциите трябва да тестват генеративния ИИ в избрани курсове, преди да разширят употребата му. Пилотните проекти трябва да измерват дългосрочното запаметяване, преноса към нови проблеми, доверието на студентите, неравния достъп, натоварването на преподавателите и самостоятелното представяне. Оценките и анкетите за удовлетвореност не могат сами да отговорят на тези въпроси. Пилотните проекти по отделни дисциплини също са важни, защото обратната връзка, писането, решаването на проблеми и допустимата употреба на ИИ се различават в икономиката, финансите, маркетинга, езиковото обучение и статистиката.

Изследването показва и някои слабости. То разглежда широк кръг от чатботове, системи за обратна връзка, ИИ инструктори и учебни дизайни като една обща интервенция. Сравнителните групи също се различават, като включват преподавателска обратна връзка, традиционни дигитални инструменти или ограничена подкрепа. Това затруднява превръщането на обобщения ефект в конкретно очакване за учебната практика.
Повечето основни анализи показват хетерогенност над 90 процента. Тестовете за публикационна пристрастност са статистически значими, а някои изводи за подгрупите се основават на малък брой изследвания. Например резултатът за липса на значим ефект от геймификацията се основава само на четири проучвания. Сравненията между държавите може да отразяват различия в размера на извадките, езиковия обхват, дисциплината или изследователския дизайн, а не устойчиви национални характеристики. Статията понякога използва причинно-следствен език, въпреки че включва експериментални, квазиекспериментални и анкетни изследвания.

Няколко скрити допускания също заслужават внимание. Статията често приема измереното представяне за доказателство за учене, краткосрочните ползи за трайно развитие, достъпа до генеративен ИИ за равнопоставен и обратната връзка от ИИ за пряко сравнима с преподавателската обратна връзка. Тя също предполага, че студентите притежават достатъчна ИИ грамотност, за да оценят получената обратна връзка. Тези допускания трябва да бъдат проверявани, а не приемани.

Централното послание е в съзвучие с предишни дискусии в блога Science & Research. „Целите преди инструментите“ подчертава, че учебните резултати и доказателствата трябва да ръководят избора на технологии. ([Science and Research][1]) „От използването на ИИ към доказателства за учене“ призовава за оценяване, основано на разсъжденията и процеса. ([Science and Research][2]) „Отвъд една дефиниция за ИИ грамотност“ свързва отговорната употреба на ИИ с дисциплинарната преценка и изследователските способности. ([Science and Research][3]) „ИИ във висшето образование работи чрез педагогиката“ поставя обратната връзка и формативното оценяване сред най-перспективните отправни точки. ([Science and Research][4])
Заедно тези публикации и метаанализът насочват към един и същ институционален приоритет: по-малко внимание към самия достъп и повече внимание към учебния дизайн, ИИ грамотността, видимото учене и локалните доказателства.


[1]: https://scienceandresearch.ue-varna.bg/2026/05/19/goals-before-tools-understanding-by-design-and-teaching-with-ai/?utm_source=chatgpt.com “Goals Before Tools: Understanding by Design and Teaching with AI”
[2]: https://scienceandresearch.ue-varna.bg/2026/04/28/from-ai-use-to-evidence-of-learning-what-schools-must-change-now/?utm_source=chatgpt.com “From AI Use to Evidence of Learning: What Schools Must Change Now …”
[3]: https://scienceandresearch.ue-varna.bg/2026/07/24/beyond-one-definition-of-ai-literacy-what-universities-can-learn-from-the-unesco-eu-and-stanford-frameworks/?utm_source=chatgpt.com “Beyond One Definition of AI Literacy: What Universities Can Learn from …”
[4]: https://scienceandresearch.ue-varna.bg/2026/04/30/ai-in-higher-education-works-through-pedagogy-what-this-means-for-business-schools/?utm_source=chatgpt.com “AI in Higher Education Works Through Pedagogy, What This Means for …”