Какво всъщност знаят преподавателите за изкуствения интелект?

Vodcas

Видео

Universities have invested considerable time in introducing faculty to generative AI tools. Workshops often focus on prompting, productivity, academic integrity, or the use of systems such as ChatGPT, Copilot, and Gemini. These topics matter, but a 2024 study by Ding, Kim, and Allday raises a more basic question: do teachers understand artificial intelligence, the working behind it, and its limitations?

The study developed and validated an objective AI literacy assessment for people with little or no technical background. The researchers tested the instrument with 186 pre-service and in-service teachers in the United States. The final assessment included 25 items covering three areas: AI mechanisms, AI capabilities, and AI ethics.

The findings show a moderate level of AI literacy. The average score was 64.9%. In-service teachers performed slightly better than pre-service teachers, but the difference was small. This suggests teaching experience alone does not lead to a stronger understanding of AI.

The most important finding is the inconsistency in teachers’ responses.
Many participants correctly recognised the self-driving cars as a representation of narrow AI. At the same time, most incorrectly identified voice assistants such as Alexa and Siri as examples of general AI. Teachers understood algorithms support AI decision-making, yet many could not place the basic stages of machine learning in the correct order: collecting data, training a model, and deploying it.

A similar contradiction appeared in relation to data. Most participants responded correctly about the probability of data to contain errors and the need of interpretation. Yet many also believed AI algorithms can automatically make sense of messy data.

These results suggest teachers may know individual facts without having a coherent understanding of AI systems’ working. They recognise familiar language such as algorithms, data, or machine learning, but they may struggle to connect these ideas or apply them to new situations.

This distinction matters for academia.
A faculty member may be able to write an effective prompt but still overestimate the reliability of an AI-generated answer. A lecturer may warn students about bias and yet fail to understand and explain the way training data, model design, and human decisions may contribute to biased outputs. A researcher may use an AI tool to organise information while assuming the system can independently correct incomplete, inconsistent, or poor-quality data.

AI literacy therefore requires more than confidence with tools. It includes understanding the working and limitations of AI the way humans shape AI systems, the possibility of outputs to contain errors, and the ethical risks to emerge through data and design choices.

The study also makes an important contribution to assessment. Much AI literacy research relies on self-reported questionnaires. People rate knowledge or confidence; however confidence does not always correspond to competence. The assessment developed by Ding and colleagues uses objective questions and compares answers across related concepts. This approach can reveal contradictions failing to transpire in a self-report survey.

At the same time, the assessment has limits. Most items use true-or-false questions, which allow guessing. The study measures conceptual knowledge more strongly than practical judgment. It does not show whether teachers can evaluate an AI-generated source, identify fabricated references, protect student information, or decide when AI use supports a learning objective. The authors therefore recommend combining objective assessments with qualitative and contextual methods.

Practical recommendations for academia
Universities should assess AI literacy before designing faculty development. A short diagnostic test can identify misconceptions and help institutions avoid offering the same training to everyone.

Faculty development should include basic explanations of data, training, algorithms, model limitations, human oversight, and the difference between narrow and general AI.

Training should use paired questions and practical cases. Teachers should explain a correct answer, apply the concept to a classroom situation, and identify possible risks.

Institutions should combine knowledge tests with performance tasks. Faculty can evaluate an AI-generated response, check sources, redesign an assessment, or decide whether student data may be entered into a system.

Progress should be measured over time. Universities need evidence of learning, not only attendance, satisfaction, or self-reported confidence.

Университетите инвестират значително време в запознаването на преподавателите с инструментите на генеративния изкуствен интелект. Обученията често се фокусират върху формулирането на промптове, продуктивността, академичната почтеност или използването на системи като ChatGPT, Copilot и Gemini. Тези теми са важни, но изследване oт 2024 на Ding, Kim и Allday поставя по-фундаментален въпрос: разбират ли преподавателите какво представлява изкуственият интелект, как работи и какви са неговите ограничения?
Изследването разработва и валидира обективен инструмент за оценяване на грамотността в областта на изкуствения интелект при хора с малък или никакъв технически опит. Авторите тестват инструмента с 186 бъдещи и практикуващи учители в Съединените щати. Финалната версия на оценяването включва 25 въпроса, обхващащи три области: механизми на изкуствения интелект, възможности на изкуствения интелект и етика на изкуствения интелект.
Резултатите показват средно ниво на грамотност в областта на изкуствения интелект. Средният резултат е 64,9%. Практикуващите учители се представят малко по-добре от бъдещите учители, но разликата е малка. Това показва, че преподавателският опит сам по себе си не води непременно до по-задълбочено разбиране на изкуствения интелект.
Най-важният резултат не е средната оценка. По-значима е непоследователността в отговорите на участниците.
Много от тях правилно разпознават автономните автомобили като пример за тесен изкуствен интелект. В същото време повечето неправилно определят гласови асистенти като Alexa и Siri като примери за общ изкуствен интелект. Преподавателите разбират, че алгоритмите подпомагат вземането на решения от системите с изкуствен интелект, но много от тях не успяват да подредят правилно основните етапи на машинното обучение: събиране на данни, обучение на модел и внедряване на модела.
Подобно противоречие се наблюдава и по отношение на данните. Повечето участници знаят, че данните могат да съдържат грешки и изискват интерпретация. В същото време много от тях вярват, че алгоритмите с изкуствен интелект могат автоматично да се справят с неструктурирани или некачествени данни.
Тези резултати показват, че преподавателите може да познават отделни факти, без да имат цялостно разбиране за начина, по който функционират системите с изкуствен интелект. Те разпознават понятия като алгоритми, данни и машинно обучение, но може да изпитват трудности да свържат тези идеи или да ги приложат в нови ситуации.

Това разграничение е важно за академичната среда.
Преподавател може да умее да формулира ефективен промпт, но все пак да надценява надеждността на отговор, генериран от изкуствен интелект. Друг може да предупреждава студентите за алгоритмични пристрастия, без да разбира как обучителните данни, дизайнът на модела и човешките решения допринасят за появата им. Изследовател може да използва инструмент с изкуствен интелект за организиране на информация, като приема, че системата може самостоятелно да коригира непълни, противоречиви или некачествени данни.
Следователно грамотността в областта на изкуствения интелект изисква повече от увереност при използването на инструменти. Тя включва разбиране на това какво изкуственият интелект може и не може да прави, как хората участват в създаването и управлението на тези системи, защо резултатите могат да съдържат грешки и как етичните рискове възникват чрез данните и дизайнерските решения.
Изследването има важен принос и към оценяването на грамотността в областта на изкуствения интелект. Много проучвания разчитат на въпросници за самооценка. Хората оценяват колко знаещи или уверени се чувстват, но увереността невинаги съответства на реалната компетентност. Инструментът, разработен от Ding и съавторите, използва обективни въпроси и сравнява отговорите по свързани понятия. Този подход може да разкрие противоречия, които самооценъчният въпросник би пропуснал.
В същото време оценяването има ограничения. Повечето въпроси са от типа „вярно или невярно“, което позволява отгатване. Изследването измерва по-скоро концептуални знания, отколкото практическа преценка. То не показва дали преподавателите могат да оценят източник, генериран от изкуствен интелект, да разпознаят измислени библиографски препратки, да защитят студентски данни или да решат кога използването на изкуствен интелект подкрепя учебната цел. Поради това авторите препоръчват обективното оценяване да се комбинира с качествени и контекстуални методи.

Практически препоръки за академичната среда
Университетите трябва да оценяват грамотността в областта на изкуствения интелект, преди да разработят обучения за преподаватели. Кратък диагностичен тест може да открие погрешни разбирания и да помогне на институциите да избегнат еднакъв подход към всички.
Обученията трябва да включват основни обяснения за данните, обучението на модели, алгоритмите, ограниченията на системите, човешкия надзор и разликата между тесен и общ изкуствен интелект.
Следва да се използват свързани въпроси и практически казуси. Преподавателите трябва да обяснят защо даден отговор е правилен, да приложат понятието в учебна ситуация и да идентифицират възможни рискове.
Институциите трябва да комбинират тестове за знания със задачи за практическо изпълнение. Преподавателите могат да оценят отговор, генериран от изкуствен интелект, да проверят източниците му, да преработят задача за оценяване или да решат дали студентски данни могат да бъдат въвеждани в дадена система.
Напредъкът трябва да се измерва във времето. Университетите се нуждаят от доказателства за учене, а не само от присъствие на обучения, удовлетвореност или самооценена увереност.