ALGORITHM FOR ASSESSING THE RELIABILITY OF ARTIFICIAL INTELLIGENCE SYSTEM RESPONSES IN EDUCATIONAL CONTENT CREATION
DOI:
https://doi.org/10.32782/2786-9024/v4i6(38).359331Keywords:
reliability assessment algorithm, modeling, artificial intelligence, educational content, digital learning platforms.Abstract
The paper analyzes the risks associated with the correctness and reliability of educational content created using artificial intelligence tools. Intelligent tools based on artificial intelligence contribute to the automation of the process of developing interactive educational materials, increasing the level of personalization of learning and optimizing the analysis of educational results. At the same time, the introduction of artificial intelligence technologies into the educational environment is accompanied by the emergence of new digital risks, in particular, the spread of disinformation and the formation of dependence on technological means. This study analyzes the risks associated with the correctness and reliability of educational content created using artificial intelligence tools. An algorithm for assessing the reliability of responses of artificial intelligence systems used in the creation of educational content is proposed. The algorithm is based on modeling the process of checking the reliability of answers generated by artificial intelligence, provides for a step-by-step analysis of the generated results, calculation of accuracy indicators and determination of their reliability level based on comparison with control sources. An experimental evaluation of several artificial intelligence tools was carried out using test tasks related to information security topics. The results showed that the accuracy of answers generated by ChatGPT reached approximately 90–95%, while other tools demonstrated lower reliability depending on the complexity of the task. The proposed algorithm is aimed at reducing the risks of spreading disinformation and contributes to improving the quality of educational materials created using intelligent systems.
References
Г. Ю. Журавель та Н. О. Маслова, «Застосування інтерактивних засобів при створенні учбового контенту закладу освіти на основі цифрових навчальних платформ», у Моделювання і комп’ютерна графіка: зб. матер. Восьмої міжнар. наук.-техн. конф., Донецьк: Донецький національний технічний університет, 2023, с. 95–100.
Н. Маслова та О. Любименко, «Безпека та захист навчальних LMC систем», Наукові праці Донецького національного технічного університету. Серія: Обчислювальна техніка та автоматизація, 1, № 33, с. 38–46, 2023. doi: 10.31474/2786-9024/т. v1i1(33).299636.
Khmelnitsky National University, Proceedings of the Khmelnitsky National University. Technical sciences. [Online]. Available: https://cpp.khmnu.edu.ua/index.php/ cpp/issue/view/8
S. Baumer, A. Carnevale, T. Corbett та C. Dumaresq, «Використання штучного інтелекту у навчанні: можливості та ризики», Вінницький державний педагогічний університет імені Михайла Коцюбинського, Buki, 30 бер. 2023. [Online]. Available: https://buki.com. ua/blogs/vikoristannia-stucnogo-intelektu-u-navcanni-
mozlivosti-ta-riziki/ NAUROK, «Методичні рекомендації: можливості, застереження та перспективи застосування ШІ на уроках української мови та літератури», 2023. [Online]. Available: https://naurok.com.ua/metodichni- rekomendaci-mozhlivosti-zasterezhennya-ta-perspektivi- zastosuvannya-shi-na-urokah-ukra-nsko-movi-ta- literaturi-450719.html (accessed Mar. 02, 2026).
A. Kolomiiets та O. Kushnir, «Використання штучного інтелекту в освітній та науковій діяльності: можливості та виклики», Modern Information Technologies and Innovation Methodologies of Education in Professional Training: Methodology, Theory, Experience, Problems, вип. 70, с. 45–57, 2024. doi: 10.31652/2412-1142-2 023-70-45-57.
Н. С. Бобро, «Застосування штучного інтелекту у закладах вищої освіти: зарубіжний досвід», Noolab, 9 жовт. 2024. [Online]. Available: https://www.noolab.ch/ua/ ua-blog/zastosuvannya-shtuchnogo-intelektu-u-zakladah- vishchoyi-osvity-zarubizhniy-dosvid
Н. Баловсяк, «ШІ та виклики в освіті: як поєднати інноваційну технологію з консервативною традицією», Kunsht, 27 груд. 2024. [Online]. Available: https:// kunsht.com.ua/articles/shi-ta-vyklyky-v-osviti-iak- poyednaty-innovatsiynu-tekhnolohiiu-z-konservatyvnoiu- tradytsiyeiu
Інститут інформаційних технологій і засобів навчання НАПН України, Використання штучного інтелекту в освіті, 2024. [Online]. Available: https://lib.iitta.gov.ua/ id/eprint/743864
Міністерство освіти і науки України, Інструктивно-методичні рекомендації щодо використання штучного інтелекту в закладах загальної середньої освіти, Київ, 2024, с. 1–10. [Online]. Available: https:// mon.gov.ua/static-objects/mon/sites/1/news/2024/05/21/ Instruktyvno.metodychni.rekomendatsiyi.shchodo. SHI.v.ZZSO-22.05.2024.pdf (accessed Mar. 02, 2026).
О. В. Кузьменко та К. Г. Гриценко, «Технології доброчесного використання штучного інтелекту у навчальному процесі», у Матеріали конференції, Центр українсько-європейських студій, 2024, с. 45–50. [Online]. Available: https://cuesc.org.ua/images/informlist/Maket_ advanced_training_PSAU.pdf
S. Saghiri та A. Saghiri, Catastrophic risks of AI-based chatbots in educational systems. Society of Actuaries, 2024, с. 1–12. [Online]. Available: https://www.soa. org/4a3f4c/globalassets/assets/files/resources/research- report/2024/ai-risk-essays/saghiri-ai-based-chatbots.pdf
Z. A. Pardos та S. Bhandari, «Learning gain differences between ChatGPT and human tutor generated algebra hints», arXiv preprint arXiv:2302.06871, 2023. [Online]. Available: https://arxiv.org/abs/2302.06871
J. Deriu et al., «Spot The Bot: A Robust and Efficient Framework for the Evaluation of Conversational Dialogue Systems», arXiv preprint arXiv:2010.02140, 2020. [Online]. Available: https://arxiv.org/abs/2010.02140
