Стратегии за формулиране на промптове с генеративен ИИ: Какво помага на студентите да учат от множество източници?
Podcast
Подкаст
| Students increasingly complete academic work in environments where information comes from many places at once. A student may read a textbook chapter, consult lecture notes, search online sources, and ask ChatGPT for an explanation, example, or revision. This creates a new question for education. When students use generative AI together with other sources, what kinds of prompting support better academic work? A recent study by SeongYeup Kim and Matthew T. McCrudden provides useful evidence. The researchers examined 293 undergraduate students’ use if ChatGPT-3.5 while completing a graded essay based on course materials. Students had to use concepts from several weeks of an educational psychology course, cite textbook pages, and use ChatGPT as part of the assignment. The researchers analyzed students’ ChatGPT conversations and compared their prompting strategies with the quality of their essays. They identified 12 prompting strategies grouped into five broad areas: task framing, content generation, monitoring, writing improvement, and other uses. Key finding: the value of generative AI depended less on whether students used AI and more on how they used it. Students who used ChatGPT to improve their writing tended to perform better across several dimensions of essay quality. This included asking for help with clarity, wording, structure, grammar, and references. Task framing also mattered. Students who clearly communicated the assignment requirements to ChatGPT tended to produce stronger applications of course concepts and stronger essays overall. Another useful strategy involved “learner-based generation.” Instead of asking ChatGPT a broad question and accepting whatever appeared, students brought their own knowledge or course content into the conversation. For example, a weak prompt might be: “Give me ideas about student motivation.” A stronger approach would be: “Our textbook discusses self-efficacy and reinforcement. Explain how these concepts might help a teacher support a student who has stopped completing assignments.” The second approach gives AI a disciplinary foundation. The student contributes knowledge before asking AI to extend or apply it. This distinction matters because generative AI can easily produce plausible text without being well connected to course concepts. When students first provide relevant concepts, evidence, or source material, AI becomes a tool for developing their thinking rather than replacing it. One of the most interesting findings concerns monitoring. Students sometimes asked questions such as: “Is my answer correct?” “Did I explain this clearly?” “Does this meet the rubric?” More frequent use of this type of monitoring was associated with lower scores on several essay dimensions. The study does not show asking for feedback causes weaker performance. Students who were already struggling may simply have asked AI for more reassurance. Still, the result raises an important instructional question. Asking an AI system whether your work is correct is not the same as verifying your work. This is where teaching practice needs to change. Instead of teaching students only to write sophisticated prompts, instructors should teach a complete AI-supported learning process. Students can start by defining the task clearly. Before asking AI for content, they should tell the system their goals, the evidence they will use, the concepts they will use, and the constraints applied. Next, students should bring their own knowledge into the interaction. They can provide concepts from lectures, quotations from readings, data, notes, or an initial interpretation. AI should respond to something the student already understands or has selected. Then AI can help with elaboration. Students can ask for examples, alternative explanations, comparisons, counterarguments, or applications of a concept. After that comes verification. This is the part students in the study rarely performed. They seldom compared AI output with textbook material or checked whether AI-generated claims matched their other sources. A better prompt would therefore be: “Compare this explanation with the textbook passage below. Identify any contradictions, unsupported claims, or missing concepts.” Even then, students should return to the original source and make the final judgment themselves. AI can then support revision. According to the study, this may be one of the most productive uses. Students can ask AI to improve clarity, organization, grammar, or conciseness after they have already developed the core ideas. The important lesson for assessment. The researchers measured the quality of AI-assisted essays. They did not measure what students could explain or write independently without AI. A strong final essay therefore does not automatically prove strong learning. Educators may need two forms of evidence: what students can produce with AI and what they can understand, explain, or apply without AI support. The broader message from the study is not the need for better prompts. Students need better learning strategies around prompting. A useful sequence is: Understand the task → bring in course knowledge → ask AI to elaborate → compare with sources → verify claims → revise the writing → demonstrate what you understand independently. Prompting then becomes part of academic literacy, source evaluation, and reasoning, rather than a shortcut for producing text. | Студентите все по-често работят в учебна среда, в която информацията идва от много източници едновременно. Един студент може да чете глава от учебник, да използва лекционни бележки, да търси онлайн източници и да пита ChatGPT за обяснение, пример или редакция. Това поставя нов въпрос пред образованието. Когато студентите използват генеративен AI заедно с други източници, кои стратегии за формулиране на промптове подпомагат по-доброто академично представяне? Ново изследване на SeongYeup Kim и Matthew T. McCrudden дава полезни данни по този въпрос. Авторите анализират как 293 студенти използват ChatGPT-3.5 при изпълнение на оценявано есе, базирано на учебни материали. Студентите трябва да използват концепции от няколко седмици на курс по образователна психология, да цитират страници от учебника и да използват ChatGPT като част от задачата. Изследователите анализират разговорите на студентите с ChatGPT и сравняват използваните стратегии с качеството на техните есета. Те идентифицират 12 стратегии, групирани в пет по-широки категории: рамкиране на задачата, генериране на съдържание, мониторинг, подобряване на писането и други употреби. Основният извод: Ползата от генеративния AI зависи по-малко от това дали студентите го използват и повече от това как го използват. Студентите, които използват ChatGPT за подобряване на написаното, обикновено постигат по-добри резултати по няколко измерения на качеството на есето. Това включва помощ за яснота, формулировка, структура, граматика и препратки. Значение има и ясното формулиране на задачата. Студентите, които представят на ChatGPT конкретните изисквания на заданието, по-често създават по-добри приложения на учебните концепции и по-качествени есета като цяло. Друга полезна стратегия авторите наричат learner-based generation, или генериране, основано на знанията на обучаемия. Вместо да зададе общ въпрос и да приеме първия получен отговор, студентът внася в разговора свои знания или съдържание от курса. Например слаб промпт би бил: „Дай ми идеи за мотивацията на учениците.“ По-силен вариант би бил: „В учебника се разглеждат самоефективността и подкреплението. Обясни как тези концепции могат да помогнат на учител да подкрепи ученик, който е спрял да изпълнява заданията си.“ Във втория случай студентът дава на AI дисциплинарна основа. Първо внася знание, а след това използва AI, за да го разшири или приложи. Това разграничение е важно, защото генеративният AI лесно създава убедителен текст, който може да не е добре свързан с конкретните концепции от курса. Когато студентите първо предоставят релевантни понятия, доказателства или източници, AI по-скоро подпомага развитието на тяхното мислене, вместо да го замества. Един от най-интересните резултати е свързан с мониторинга. Студентите понякога задават въпроси като: „Правилен ли е отговорът ми?“ „Обяснил ли съм това ясно?“ „Отговаря ли това на критериите?“ По-честата употреба на този тип промптове е свързана с по-ниски резултати по няколко измерения на есето. Изследването не доказва, че подобни въпроси водят до по-слабо представяне. Възможно е студентите, които вече изпитват затруднения, просто да търсят по-често потвърждение от AI. Въпреки това резултатът поставя важен въпрос за преподаването. Да попиташ AI дали работата ти е правилна не е същото като да провериш работата си. Това е къде преподавателската практика трябва да се промени. Вместо студентите да бъдат обучавани само как да пишат по-сложни промптове, по-полезно е да бъдат обучавани в цялостен процес за работа с AI. Първо, студентите трябва ясно да определят задачата. Преди да поискат съдържание от AI, е добре да формулират какво трябва да постигнат, какви доказателства трябва да използват, кои концепции са важни и какви ограничения има задачата. След това трябва да внесат собствените си знания в разговора. Това може да включва концепции от лекции, цитати от текстове, данни, бележки или първоначална интерпретация. AI трябва да работи върху основа, която студентът вече е избрал или разбрал. Следва етапът на разширяване. Студентите могат да поискат примери, алтернативни обяснения, сравнения, контрааргументи или приложения на дадена концепция. След това идва проверката. Именно това студентите в изследването правят рядко. Те почти не сравняват отговорите на AI с учебника и рядко проверяват дали генерираните твърдения съответстват на другите използвани източници. По-добър промпт би бил: „Сравни това обяснение с откъса от учебника по-долу. Посочи противоречия, неподкрепени твърдения или липсващи концепции.“ И след това студентът трябва да се върне към оригиналния източник и сам да направи окончателната преценка. AI може да се използва и за редакция. Данните от изследването показват, че това може да бъде една от най-продуктивните му роли. След като основните идеи вече са разработени, студентите могат да поискат помощ за яснота, организация, граматика или краткост. Изследването има и важен урок за оценяването. Авторите измерват качеството на есета, създадени с помощта на AI. Те не измерват какво студентите могат да обяснят или напишат самостоятелно без AI. Следователно високото качество на крайния текст не е автоматично доказателство за високо ниво на учене. Затова преподавателите може да се нуждаят от два вида доказателства: какво студентите могат да създадат с AI и какво могат да разберат, обяснят или приложат без AI. По-широкото послание на изследването не е, че студентите се нуждаят от по-добри промптове. Те се нуждаят от по-добри стратегии за учене около използването на промптове. Една полезна последователност е: Разбери задачата → внеси знания от курса → използвай AI за разширяване → сравни с източниците → провери твърденията → редактирай текста → покажи какво разбираш самостоятелно. Така формулирането на промптове става част от академичната грамотност, оценяването на източници и аргументираното мислене, а не кратък път към генериране на текст. |