Section outline

  • Collapse Expand

    General

    Collapse all Expand all
    • Оголошення Forum

    • Ільїн О.О.

      д.т.н., професор, професор кафедри управління проєктами КНУБА, м. Київ

      Застосування Prompt engineering для інтеграції таксономії Блума в процес генерації тестових завдань

      Сучасні підходи до застосування систем ШІ в роботі педагогів демонструють значний потенціал в різних областях. Зокрема в автоматизації процесу розробки тестових завдань. У попередньому дослідженні було показано підхід щодо використання системи ШІ ChatGPT (або аналогів) для ефективної генерації тестових завдань у форматі Aiken, сумісному із LMS Moodle [1]. Це дозволяє суттєво зменшити затрати часу та труда у процесі їх створення під час розробки дистанційного курсу, або для простого тестування студентів на платформі LMS Moodle. Проте, такий підхід має певне обмеження: відсутність чіткої інженерної методики побудови запиту до моделі (англ. prompt), яка б забезпечувала відповідність згенерованих тестових завдань педагогічним цілям навчання. Особливо це актуально в сучасних умовах навчання, коли під час читання дисципліни педагог з метою активації діяльності студента, або його мотивації, має швидко застосувати певну педагогічну техніку. Засоби ШІ можуть значно розширити можливості педагога в цьому аспекти, автоматизувавши певні рутинні процедури та час їх виконання.

      Як показала практика, генеративні моделі ШІ, за відсутності конкретних вказівок, генерують тестові завдання на самостійно обраному рівні когнітивної складності. Це може призводити до невідповідності між встановленими цілями навчання та тестовим методом оцінювання рівня знань. У педагогічній практиці така невідповідність часто вирішується шляхом застосування таксономії Блума. Вона дозволяє класифікувати різні рівні пізнавальної діяльності та формувати тестові завдання різної форми та складності [2]. Застосування цієї теорії в рамках розробки тестів дозволяє не тільки контролювати знання студентів на різних рівнях, а і мотивувати його до навчання, розробляти навчальні тести різного рівня складності, з підказками до вірних чи невірних відповідей тощо (наразі ці питання віднесені до наступних досліджень із за обмеженості вихідного формату Aiken). Однак механізм інтеграції цієї таксономії у процеси, пов’язані із автоматизацією генерації тестів за допомогою ШІ, залишаються недостатньо формалізованими з інженерної точки зору. 

      Цю прогалину наразі заповнює сучасний метод, який має назву «інженерія запитів» (англ. Prompt engineering). Prompt engineering – це інженерний метод з галузі інформаційних технологій. Його суть полягає у системному проектуванні текстових запитів до великих мовних моделей (LLM) з метою отримання контрольованих, відтворюваних та релевантних результатів. На відміну неформального створення запитів (звичайному «спілкуванні» із чат-ботом), інженерія запитів передбачає застосування інженерних підходів: декомпозиція задачі, формалізація вхідних параметрів, введення обмежень, тестування та валідація. Відповідно до рекомендацій OpenAI [3], ефективний запит має чітко визначати контекст, задачу, формат відповіді та додаткові інструкції. Підкреслюється, що якість результату безпосередньо залежить від структуризації та деталізації запиту. А не лише від якості моделі. В [1] було розглянуто застосування інженерії запиту для структуризації запиту та керування форматом відповіді (відповідно до вимог стандарту Aiken). Наразі ми продовжуємо розвивати цей підхід та застосовуємо для керування когнітивним рівнем, застосовуючи таксономію Блума.

      Таксономія Блума (в оновленому варіанті згідно [4]), передбачає наявність шести рівнів когнітивної діяльності:

      1. Remember (запам’ятовування): відтворення фактів, термінів, визначень;
      2. Understand (розуміння): інтерпретація, пояснення, узагальнення;
      3. Apply (застосування): використання знань у стандартних ситуаціях;
      4. Analyze (аналіз): виявлення структури, порівняння, декомпозиція;
      5. Evaluate (оцінювання): формування суджень, критичний вибір;
      6. Create (створення): синтез нових ідей, рішень.

      Для інтеграції таксономії Блума, використано додаткові блоки у структурі запиту, такі як <BLOOM_LEVEL>…<END BLOOM_LEVEL>, та <COGNITIVE_RULES>…<END COGNITIVE_RULES>. Перший набір тегів передбачає опис обраних рівнів таксономії, а другий – опис принципів формування тестового завдання відповідно до кожного рівня. Всі інші структурні блоки можна залишити як було наведено у роботі [1]. 

      Запропоновано методику керування рівнями таксономії. Вона передбачає: 

      1. Обрання лише одного рівня, для контролю конкретного типу знань; наприклад, перевірка лише «розуміння»;
      2. Комбінування рівнів, що дозволяє поєднувати різні типи питань (напр. 75% «запам’ятовування» та 50% «застосування»);
      3. Ускладнення, що передбачає формування тестових завдань з поступовим зростанням складності; наприклад, перехід від «запам’ятовування» до «аналізу» (в цьому випадку важливий порядок тестових завдань у тесті, тобто не можна випадковим чином тасувати завдання, які згенерує ШІ) 
      4. Вказання конкретної кількості згенерованих тестових завдань певного рівня; наприклад, “згенеруй 2 питання рівня «запам’ятовування» , 3 — «застосування», 1 — «аналізу» ”)

      Таким чином ми маємо не просто засіб автоматизованого створення тестових завдань і їх генерацію у певному форматі (Aiken). Ми маємо педагогічно обґрунтовану технологію, в якій викладач керує цілями навчання через параметри запиту, тексономія Блума задає когнітивну складність, а коректність та відтворюваність досягаються шляхом застосування інженерії запитів.  

       Список використаних джерел

      1. Застосування ШІ для розробки тестів до курсів платформи LMS MOODLE  / Ільїн О.О. Інформаційні технології –2025: зб. тез ХІІ Всеукраїнської науково-практичної  конференції  молодих учених, 15трав.  2025р.,  м.  Київ  / Київський  столичний  університет  імені  Бориса  Грінченка. с.43-45
      2. Тестовий контроль знань студентів у системі Мооdle: навчально-методичний посібник /Д.М. Бодненко, Л.О. Варченко, О.Б. Жильцов / За заг. ред. О.Б. Жильцова. – К.: Київ. ун-т ім. Б. Грінченка. – 2012. – 112 с.
      3. OpenAI. Prompt engineering guide [Електронний ресурс]. – Режим доступу: https://platform.openai.com/docs/guides/prompt-engineering (дата звернення: 02.05.2026).
      4. Anderson L. W., Krathwohl D. R. (eds.). A taxonomy for learning, teaching, and assessing: a revision of Bloom’s taxonomy of educational objectives. – New York: Longman, 2001. – 352 p.
    • Форум обговорення доповіді Forum