Може ли изкуственият интелект да преглежда хиляди научни публикации, без да пропуска важните?
Podcast
Подкаст
| Systematic literature reviews are among the most demanding tasks in academic research. Researchers often spend weeks examining thousands of titles and abstracts to identify a relatively small number of relevant studies. Could artificial intelligence reduce this workload without compromising research quality? A recent study published in Research Synthesis Methods suggests that the answer may be yes, although important questions remain. In a LinkedIn post, Aaron Tay, known for his commentary on academic libraries, scholarly discovery, and AI-supported research, highlighted the findings of Connor Forbes and colleagues on a tool called MechaScreener. The results are impressive, but Tay also emphasizes the importance of reading the study’s limitations before drawing conclusions. What Is MechaScreener, and How Does It Work? Imagine you are preparing a systematic review about the use of generative AI in higher education. Your search across Scopus, Web of Science, and other academic databases produces 5,000 references. You now need to determine which studies address your research question. Traditionally, researchers read each title and abstract, decide whether the study meets their inclusion criteria, and often repeat the process with a second reviewer. MechaScreener attempts to automate the initial filtering. Researchers upload their references and describe the criteria for including or excluding studies. In medical research, these criteria often follow the PICOT framework: Population, Intervention, Comparator, Outcome, and Type of study. For education research, the instructions might be simpler: Include empirical studies examining how university students use generative AI for learning. Exclude studies about primary schools, purely technical AI development, and articles without empirical evidence. MechaScreener uses a large language model, Qwen3-235B, to examine each title and abstract and assign a relevance score between 1 and 5. A score of 1 indicates low relevance, while 5 indicates high relevance. The important decision is that only articles receiving a score of 1 are automatically excluded. All other articles remain available for human review. This conservative approach aims to minimize the risk of overlooking relevant research. Unlike some existing screening tools, MechaScreener requires no manually classified training examples. Researchers can begin using the system immediately, an approach known as zero-shot screening. What Did the Researchers Find? The researchers developed the system using five reference libraries and then evaluated its performance using ten additional, randomly selected Cochrane systematic reviews. These reviews covered different medical and public health topics, including diabetes, COVID-19 measures in schools, and pharmaceutical interventions. The evaluation involved more than 58,000 references before excluding records with missing abstracts. The headline finding was 100% recall. MechaScreener identified every study classified as relevant in the ten evaluation datasets. In the paper’s detailed results, this represents 235 known relevant records retained across all ten reviews. At the same time, the system achieved an average specificity of 61%. In simple terms, it correctly eliminated approximately six out of every ten irrelevant references. Consider a simplified example. If a researcher has 1,000 abstracts, including 20 relevant studies, a screening tool achieving these results would retain all 20 relevant studies while excluding approximately 598 irrelevant references. Instead of examining 1,000 references manually, the researcher would need to examine about 402. These results illustrate substantial potential workload savings. They do not establish that every future review will achieve the same accuracy. Why Should Researchers Be Interested? The importance of MechaScreener extends beyond saving time. Researchers spend considerable effort identifying irrelevant literature before reaching the stages requiring deeper academic judgment, including full-text assessment, methodological evaluation, data extraction, and interpretation. Reducing repetitive screening would allow research teams to concentrate more effort on these activities. For doctoral students and researchers with limited resources, the potential benefits are particularly relevant. There is also an instructional opportunity. Tools such as MechaScreener demonstrate why students need to formulate clear research questions and precise inclusion criteria. AI cannot compensate reliably for a poorly defined research problem. In fact, the authors emphasize that the quality of the criteria supplied by researchers directly influences screening performance. Why Should We Remain Cautious? Aaron Tay draws attention to several methodological limitations that deserve careful consideration. First, the study was retrospective. The researchers evaluated the system using previously published systematic reviews rather than testing its performance during new reviews. Second, the original screening datasets were unavailable. The researchers reconstructed the searches, potentially retrieving references published after the original reviews. Some newer studies were treated as irrelevant because they were not part of the original reviews, even though their actual eligibility had not been assessed. Third, the underlying Qwen model was released after the reviews included in the evaluation. It may have encountered some of these publications during training, creating a possibility of data leakage. This means that some apparent screening success might reflect prior exposure to the research rather than entirely independent evaluation of unfamiliar studies. Another limitation concerns disciplinary differences. MechaScreener performed better when research topics had precise terminology. Its specificity ranged from 91% for one pharmaceutical intervention review to only 21% for research about COVID-19 measures in schools. We therefore cannot assume that the same results will apply to education, economics, marketing, or management, where research questions and methods are often more diverse. Finally, 100% observed recall does not guarantee that the system will never miss an important study. Researchers must validate automated exclusions before relying on them in systematic reviews. What Does This Mean for Academic Research? MechaScreener provides encouraging evidence that AI can assist with one of the most labor-intensive stages of systematic literature reviews. For faculty and doctoral students, a useful first step would be to test the tool against a previously completed literature review, compare its decisions with human judgments, and examine disagreements. The broader lesson concerns the changing relationship between AI and research methodology. The question is no longer simply whether AI can help researchers find and summarize publications. It is whether AI can take responsibility for selected stages of the research workflow without weakening scientific standards. MechaScreener suggests that meaningful progress is possible. The next requirement is independent testing across new studies, different disciplines, and real research workflows. The goal should be to reduce repetitive work while strengthening the quality and transparency of research, with researchers retaining responsibility for the final decisions. | Систематичните прегледи на научната литература са сред най-трудоемките задачи в академичните изследвания. Изследователите често прекарват седмици в преглеждане на хиляди заглавия и резюмета, за да открият сравнително малък брой публикации, свързани с конкретния изследователски въпрос. Може ли изкуственият интелект да намали тази работа, без да компрометира качеството на научните изследвания? Ново изследване, публикувано в Research Synthesis Methods, показва, че това е възможно, макар че остават важни въпроси. В публикация в LinkedIn Арън Тей (Aaron Tay), известен със своите анализи на академичните библиотеки, търсенето на научна информация и приложението на ИИ в изследователската дейност, обръща внимание на резултатите от изследване на Конър Форбс (Connor Forbes) и неговите колеги върху инструмент, наречен MechaScreener. Резултатите са впечатляващи, но Тей подчертава необходимостта да се прочетат и ограниченията на изследването, преди да се правят окончателни заключения. Какво представлява MechaScreener и как работи? Представете си, че подготвяте систематичен преглед на научната литература за използването на генеративен ИИ във висшето образование. Търсенето в Scopus, Web of Science и други академични бази данни ви предоставя 5000 публикации. Сега трябва да установите кои от тях отговарят на вашия изследователски въпрос. Традиционно изследователите прочитат всяко заглавие и резюме, преценяват дали публикацията отговаря на критериите за включване и често повтарят процедурата с втори независим оценител. MechaScreener се опитва да автоматизира първоначалния подбор. Изследователите качват библиографските записи и описват критериите за включване и изключване на публикации. В медицинските изследвания тези критерии често следват рамката PICOT: популация, интервенция, сравнение, резултат и тип изследване. При изследвания в образованието инструкциите могат да бъдат по-прости: Включи емпирични изследвания за използването на генеративен ИИ от университетски студенти в процеса на обучение. Изключи изследвания за началното образование, публикации, посветени единствено на техническото разработване на ИИ, и статии без емпирични данни. MechaScreener използва голям езиков модел Qwen3-235B, за да анализира заглавието и резюмето на всяка публикация и да ѝ присвои оценка за релевантност от 1 до 5. Оценка 1 показва ниска релевантност, а оценка 5 означава висока релевантност. Най-важното решение е, че автоматично се изключват единствено публикациите с оценка 1. Всички останали продължават към проверка от изследовател. Този предпазлив подход цели да сведе до минимум риска от пропускане на релевантни изследвания. За разлика от някои съществуващи инструменти, MechaScreener не изисква предварително ръчно класифицирани публикации за обучение на системата. Изследователите могат да започнат работа веднага. Този подход се нарича zero-shot screening, или подбор без предварително предоставени обучаващи примери. Какво установяват изследователите? Изследователите разработват системата с помощта на пет библиографски колекции, след което оценяват нейната ефективност върху десет допълнителни, случайно избрани систематични прегледа на Cochrane. Прегледите обхващат различни медицински и общественоздравни теми, включително диабет, мерки срещу COVID-19 в училищата и лекарствени интервенции. Оценката включва над 58 000 библиографски записа, преди да бъдат изключени записите с липсващи резюмета. Основният резултат е 100% чувствителност (recall). MechaScreener идентифицира всички публикации, определени като релевантни в десетте оценявани колекции. Според подробните резултати в статията това означава, че системата запазва всичките 235 известни релевантни записа. Същевременно инструментът постига средна специфичност от 61%. Казано по-просто, той правилно изключва приблизително шест от всеки десет нерелевантни публикации. Да разгледаме опростен пример. Ако изследовател разполага с 1000 резюмета, сред които има 20 релевантни изследвания, инструмент с подобни резултати би запазил всичките 20 и би изключил приблизително 598 нерелевантни публикации. Вместо да преглежда ръчно 1000 записа, изследователят би трябвало да разгледа около 402. Тези резултати показват значителен потенциал за намаляване на работата. Те обаче не доказват, че всеки бъдещ систематичен преглед ще постигне същата точност. Защо това е важно за изследователите? Значението на MechaScreener надхвърля спестяването на време. Изследователите отделят значителни усилия за отстраняване на нерелевантна литература, преди да достигнат до етапите, изискващи по-задълбочена научна преценка: анализ на пълния текст, методологична оценка, извличане на данни и интерпретация на резултатите. Намаляването на рутинната работа би позволило на изследователските екипи да насочат повече усилия към тези дейности. Потенциалните ползи са особено важни за докторанти и изследователи с ограничени ресурси. Съществува и възможност за приложение в обучението. Инструменти като MechaScreener показват защо студентите трябва да умеят да формулират ясни изследователски въпроси и точни критерии за включване на публикации. ИИ не може надеждно да компенсира неясно дефиниран изследователски проблем. Авторите подчертават, че качеството на зададените от изследователите критерии влияе пряко върху ефективността на системата. Защо трябва да бъдем предпазливи? Арън Тей обръща внимание на няколко методологични ограничения, които заслужават сериозно внимание. Първо, изследването е ретроспективно. Авторите оценяват системата чрез вече публикувани систематични прегледи, вместо да проследят нейната работа при провеждането на нови изследвания. Второ, оригиналните данни от първоначалния подбор на публикациите не са били достъпни. Изследователите възстановяват търсенията, което може да е довело до извличане на публикации, излезли след приключването на оригиналните прегледи. Някои по-нови изследвания са третирани като нерелевантни, защото не са били включени в първоначалните прегледи, въпреки че действителната им допустимост не е била оценена. Трето, използваният модел Qwen е представен след публикуването на прегледите, включени в оценката. Възможно е моделът вече да е срещал някои от тези публикации по време на обучението си. Това създава риск от изтичане на данни (data leakage). Следователно част от успешните решения може да се дължат на предишно познаване на публикациите, а не единствено на независима оценка на непознати изследвания. Друго ограничение е свързано с различията между научните области. MechaScreener се справя по-добре с теми, използващи точно определена терминология. Специфичността варира от 91% при преглед на конкретна лекарствена интервенция до едва 21% при изследвания за мерките срещу COVID-19 в училищата. Следователно не можем да приемем, че същите резултати ще се повторят в образованието, икономиката, маркетинга или мениджмънта, където изследователските въпроси и методите често са по-разнообразни. Накрая, наблюдаваната 100% чувствителност не гарантира, че системата никога няма да пропусне важно изследване. Изследователите трябва да валидират автоматичните решения за изключване, преди да разчитат на тях в систематичните прегледи. Какво означава това за академичните изследвания? MechaScreener предоставя обнадеждаващи доказателства, че ИИ може да подпомогне един от най-трудоемките етапи при систематичните прегледи на научната литература. За преподавателите и докторантите полезна първа стъпка би била да изпробват инструмента върху вече завършен литературен преглед, да сравнят неговите решения с човешките оценки и да анализират разминаванията. По-широкият извод се отнася до променящата се връзка между ИИ и научноизследователската методология. Въпросът вече не е единствено дали ИИ може да помага на изследователите да откриват и обобщават публикации. Въпросът е дали ИИ може да поеме определени етапи от изследователския процес, без да отслабва научните стандарти. MechaScreener показва, че е възможен съществен напредък. Следващата необходима стъпка е независимо тестване върху нови изследвания, различни научни дисциплини и реални изследователски процеси. Целта трябва да бъде намаляване на рутинната работа, съчетано с повишаване на качеството и прозрачността на научните изследвания, като отговорността за окончателните решения остава при изследователите. Източници Forbes, C., Carter, M., Hudson, C., Glasziou, P., & Clark, J. (2026). MechaScreener: Large language model-based automated screening for systematic reviews and research. Research Synthesis Methods. MechaScreener: The Evidence Review Accelerator. Отворени изследователски материали и набори от данни за оценката. |
References
Forbes, C., Carter, M., Hudson, C., Glasziou, P., & Clark, J. (2026). MechaScreener: Large language model-based automated screening for systematic reviews and research. Research Synthesis Methods.
MechaScreener: The Evidence Review Accelerator.
Open research materials and evaluation datasets.