От ИИ грамотност към ИИ компетентност: Какво трябва да променят университетите
Podcast
Подкаст
| Artificial intelligence is becoming part of everyday university work, but an important question remains: how do we know whether students and faculty are actually AI literate? Two recent studies approach this question from different directions. Together, they offer a useful foundation for universities seeking to move beyond general AI awareness and toward practical competence. The first study, by Wakeman and colleagues, examines university students’ perception and practice of AI literacy. The second, by Adauto-Medina and colleagues, reviews AI literacy assessment in higher education. One study asks what students think they know and how they use AI. The other asks whether our current methods of measuring AI literacy are good enough. Their conclusions complement each other closely. What Wakeman et al. tell us about AI literacy Wakeman et al. surveyed 130 undergraduate and graduate students and examined five dimensions of AI literacy: – Access – Understanding – Critical Thinking – Application – Ethics Students reported moderate levels of AI literacy overall. Ethics received the highest average score, while Understanding received the lowest. Students who used AI more frequently also reported higher levels of Understanding, Critical Thinking, and Application. Students, according to the study, do not learn about AI in one consistent way. Some learn through instructors, some through peers, some through online searches, and others simply through trial and error. Students also make different decisions when to use AI. Some use it to clarify difficult concepts, some to summarize or organize information, some only when an instructor allows it, and some avoid it because they are unsure whether using AI might be considered cheating. This creates an important challenge for universities. Students may have access to AI and may use it often, but their understanding, judgment, and ethical practices can still vary widely. What Adauto-Medina et al. add The systematic review by Adauto-Medina and colleagues examines 31 studies of AI and generative AI literacy assessment in higher education. Its main finding is striking: 90.3% of the reviewed studies relied on self-report questionnaires, while only three included performance-based assessment. Meaning, the current state of “AI literacy” is based on answers to questions such as: “I can evaluate AI-generated information.” “I understand how generative AI works.” “I can use AI responsibly.” But saying “I can do this” is different from demonstrating it. A student may feel confident about checking AI-generated information and still fail to recognize a fabricated citation. A faculty member may know the importance of privacy but still upload sensitive student data into an external AI system. The review therefore recommends combining three forms of assessment: – self-report, – objective knowledge questions, – and authentic performance tasks. The central message so far: confidence is not the same as competence. How the two studies fit together Wakeman et al. help us understand what AI literacy includes and how unevenly it develops. Adauto-Medina et al. help us understand how AI literacy should be assessed. The combined conclusion: universities should stop treating AI literacy mainly as knowledge about AI tools. AI literacy is better understood as the ability to make informed decisions while using AI. This includes being able to: – select an appropriate tool, – understand what the system can and cannot do, – evaluate outputs critically, – verify claims and sources, – recognize ethical and privacy risks, – decide when AI use is appropriate, – and explain how AI contributed to the final work. This also changes the design of faculty development. From AI workshops to embedded AI literacy A traditional AI workshop often separates topics. First, participants learn the foundational of generative AI. Then they learn prompting. Then ethics. Then tools. A stronger model is to embed AI literacy inside authentic academic assignments. The sequence becomes: academic task → AI use → inspection → verification → judgment → reflection → transfer to teaching. This means AI literacy appears inside the work faculty already do. For example, in economics, faculty might ask AI to explain inflation, unemployment, or market equilibrium. They then identify oversimplifications, verify claims, and decide the revision needed before the explanation can be used with students. In marketing, faculty might ask AI to analyze customer reviews or propose market segments. They then evaluate whether the conclusions are supported by the data and whether the recommendations make business sense. In tourism, faculty might ask AI to evaluate a destination or propose a development strategy. They then check sources, identify unsupported claims, and examine whether the analysis reflects the local context. In accounting or finance, faculty might ask AI to interpret financial statements or explain a ratio. They then verify calculations, identify assumptions, and determine which decisions still require human expertise. In research methods, faculty might ask AI to generate a literature summary or identify relevant references. They then verify whether the sources exist, whether the claims are accurate, and whether the AI has introduced unsupported conclusions. In every discipline, the subject changes, but the AI literacy process remains similar. A practical structure for embedded AI literacy sessions Each hands-on assignment can follow the same seven steps. >>>Task Complete an authentic disciplinary activity. >>>AI Use an AI system as part of the task. >>>Inspect Identify what the AI produced and how it approached the problem. >>>Verify Check evidence, references, calculations, or claims. >>>Judge Decide what to accept, modify, reject, or redo. >>>Reflect Answer three short questions: – What did AI do well? – What required your expertise or verification? – What would you require students to demonstrate if they used AI for the same task? >>>Transfer Adapt the experience into a teaching activity for students. This model combines the strongest lessons from both studies. Wakeman et al. show us the uneven development of AI literacy across understanding, critical thinking, application, and ethics. Adauto-Medina et al. remind us to avoid assuming competence because someone reports confidence. For faculty development, the implication is practical. Do not ask only whether participants understand AI. Give them tasks where they have to demonstrate good judgment while using it. | Изкуственият интелект става част от ежедневната работа в университетите, но остава един важен въпрос: как разбираме дали студентите и преподавателите действително притежават AI грамотност? Две скорошни изследвания разглеждат този въпрос от различни страни. Заедно те предлагат полезна основа за университетите, които искат да преминат отвъд общата осведоменост за AI към практическа компетентност. Първото изследване, на Wakeman и съавтори, разглежда възприятията и практиките на университетските студенти, свързани с AI грамотността. Второто, на Adauto-Medina и съавтори, анализира начините, по които AI грамотността се оценява във висшето образование. Едното изследване пита какво студентите смятат, че знаят, и как използват AI. Другото пита дали настоящите ни методи за измерване на AI грамотността са достатъчно добри. Изводите от двете изследвания се допълват в значителна степен. Какво ни казват Wakeman et al. за AI грамотността Wakeman et al. анкетират 130 бакалавърски и магистърски студенти и разглеждат пет измерения на AI грамотността: • Достъп • Разбиране • Критично мислене • Приложение • Етика Като цяло студентите съобщават умерени нива на AI грамотност. Етиката получава най-висок среден резултат, а Разбирането най-нисък. Студентите, които използват AI по-често, съобщават и по-високи нива на Разбиране, Критично мислене и Приложение. Според изследването студентите не учат за AI по един и същи начин. Някои се обучават чрез преподаватели, други чрез свои колеги, трети чрез онлайн търсене, а други основно чрез проба и грешка. Студентите също вземат различни решения кога да използват AI. Някои го използват, за да изяснят трудни концепции, други за обобщаване или организиране на информация, трети само когато преподавателят го разрешава, а част от студентите го избягват, защото не са сигурни дали използването му може да бъде възприето като академична нечестност. Това създава важен проблем за университетите. Студентите може да имат достъп до AI и да го използват често, но тяхното разбиране, преценка и етични практики все още могат да се различават значително. Какво добавят Adauto-Medina et al. Систематичният преглед на Adauto-Medina и съавтори разглежда 31 изследвания върху оценяването на AI и генеративна AI грамотност във висшето образование. Основният резултат е показателен: 90.3% от разгледаните изследвания разчитат на самооценъчни въпросници, а само три включват оценяване чрез реално изпълнение на задачи. Това означава, че голяма част от настоящото измерване на „AI грамотност“ се основава на отговори на твърдения като: • „Мога да оценявам информация, генерирана от AI.“ • „Разбирам как работи генеративният AI.“ • „Мога да използвам AI отговорно.“ Но да кажеш „мога да направя това“ е различно от това да го демонстрираш. Студент може да се чувства уверен, че умее да проверява информация, генерирана от AI, но все пак да не разпознае измислена библиографска препратка. Преподавател може да знае, че защитата на личните данни е важна, но въпреки това да качи чувствителни студентски данни във външна AI система. Затова систематичният преглед препоръчва комбиниране на три форми на оценяване: • самооценка, • обективни въпроси за знания, • автентични практически задачи. Основното послание е просто: увереността не е същото като компетентността. Как двете изследвания се свързват Wakeman et al. ни помагат да разберем какво включва AI грамотността и колко неравномерно може да се развива. Adauto-Medina et al. ни помагат да разберем как AI грамотността трябва да бъде оценявана. Общият извод е, че университетите трябва да спрат да разглеждат AI грамотността основно като знание за AI инструменти. По-подходящо е да я разбираме като способност за вземане на информирани решения при използване на AI. Това включва способност да: • се избере подходящ инструмент, • се разбере какво системата може и не може да прави, • се оценяват критично резултатите, • се проверяват твърдения и източници, • се разпознават етични рискове и рискове за поверителността, • се преценява кога използването на AI е подходящо, • се обяснява как AI е допринесъл за крайния резултат. Това променя и начина, по който трябва да се организира развитието на преподавателите. От AI обучения към вградена AI грамотност Традиционното AI обучение често разделя темите. Първо участниците учат основите на генеративния AI. След това учат промптиране. След това етика. След това различни инструменти. По-силен модел е AI грамотността да бъде вградена в автентични академични задачи. Последователността може да изглежда така: академична задача → използване на AI → преглед → проверка → преценка → рефлексия → пренасяне към преподаването. Това означава, че AI грамотността се развива вътре в работата, която преподавателите вече извършват. Например в икономиката преподавателите могат да поискат от AI да обясни инфлация, безработица или пазарно равновесие. След това да идентифицират прекомерни опростявания, да проверят твърденията и да решат какви корекции са необходими, преди обяснението да бъде използвано със студенти. В маркетинга преподавателите могат да поискат от AI да анализира клиентски отзиви или да предложи пазарни сегменти. След това да оценят дали изводите са подкрепени от данните и дали препоръките имат бизнес логика. В туризма преподавателите могат да поискат от AI да оцени туристическа дестинация или да предложи стратегия за развитие. След това да проверят източниците, да идентифицират неподкрепени твърдения и да преценят дали анализът отчита местния контекст. В счетоводството или финансите преподавателите могат да поискат от AI да интерпретира финансови отчети или да обясни финансов коефициент. След това да проверят изчисленията, да идентифицират предположенията и да определят кои решения все още изискват човешка експертиза. В методологията на научните изследвания преподавателите могат да поискат от AI да генерира литературен обзор или да предложи релевантни източници. След това да проверят дали източниците действително съществуват, дали твърденията са точни и дали AI е добавил неподкрепени заключения. Във всяка дисциплина темата се променя, но процесът на AI грамотност остава сходен. Практическа структура за вградени сесии по AI грамотност Всяка практическа задача може да следва една и съща структура от седем стъпки. >>> Задача Изпълнете автентична дейност от съответната дисциплина. >>> ИИ Използвайте AI система като част от задачата. >>> Преглед Определете какво е генерирал AI и как е подходил към проблема. >>> Проверка Проверете доказателства, източници, изчисления или твърдения. >>> Преценка Решете какво да приемете, промените, отхвърлите или направите отново. >>> Рефлексия Отговорете на три кратки въпроса: • Какво AI направи добре? • Какво изискваше вашата експертиза или проверка? • Какво бихте изисквали от студентите да демонстрират, ако използват AI за същата задача? >>> Пренасяне към преподаването Адаптирайте преживяното в учебна дейност за студенти. Този модел обединява най-силните изводи от двете изследвания. Wakeman et al. показват неравномерното развитие на AI грамотността в областите на разбирането, критичното мислене, приложението и етиката. Adauto-Medina et al. ни напомнят, че не трябва да приемаме наличието на компетентност само защото някой съобщава, че се чувства уверен. За развитието на преподавателите практическото следствие е ясно. Не трябва само да питаме участниците дали разбират AI. Трябва да им даваме задачи, в които да демонстрират добра преценка, докато го използват. |