У попередній статті розглядалися питання відбору змісту навчальних дисциплін для створення тесту і тестових завдань. Були дані основні визначення і розглянута проблемна ситуація. У даній роботі наводиться система педагогічних принципів формування змісту завдань у тестовій формі.
Змістовні принципи теорії педагогічних вимірювань
Серед педагогічних принципів відбору змісту навчальних дисциплін при розробці тестових завдань, сформульованих в перовой статті, були значимість і наукова достовірність, відповідність змісту тесту рівню сучасного стану науки і ін. Репрезентативність змісту тесту розглядалася як вибіркова сукупність зі змісту тесту в банку завдань (генеральної сукупності) . Згадувалися також принципи зростаючих труднощів, системності, варіативності, комплексності та збалансованості завдань у тесті. Останнім був розглянутий діалектичний принцип зв'язку змісту і форми тестових завдань.
Важливо відзначити, що частина цих принципів використовується не тільки для відбору завдань в тест, але і для розробки завдань у тестовій формі [1]. Ці завдання дозволяють радикально поліпшити навчальний процес за рахунок активного їх застосування в самостійній роботі. Нагадаємо, що в ієрархії понять теорії педагогічних вимірювань на першому місці стоїть педагогічне завдання, потім йдуть завдання в тестовій формі, тестові завдання і тест [2].
Мета цієї статті - виклад системи принципів теорії педагогічних вимірювань, що стосуються визначення змісту тестових завдань та завдань у тестовій формі.
Відповідність змісту тесту мети тестування.
При необхідності оцінити відповідність знань випускників освітніх установ вимогам мінімуму змісту навчальних дисциплін, в тест включаються тільки легкі завдання, посильні переважній більшості тестованих. Ні про яке тесті, в класичному розумінні цього поняття, в такому випадку говорити не доводиться, а саме поняття «атестаційний тест» перетворюється на метафору. Для атестації можуть застосовуватися тільки завдання в тестовій формі. При мінімалістському підході до організації навчання та контролю виникає ряд таких питань, як визначення мінімально "прохідного" відсотка правильного виконання числа завдань, визначення оцінки в залежності від відсотка правильних відповідей.
Міра складності завдань
На труднощі завдання впливає також і час тестування. Звичайний розрахунок часу - приблизно одна хвилина на виконання кожного завдання. Якщо давати більше часу, то завдання можна, або потрібно, робити важче. Але це буде вже не тест, а іспит з використанням завдань у тестовій формі. Щось схоже на російський ЄДІ, в якому принципово використовуються не тести, а т.зв. контрольно-вимірювальні матеріали (Кіми), наукові властивості яких вже багато років залишається невідомими для наукової громадськості. За сумнівному підставі ці Кіми помилково називають засобами педагогічних вимірювань.
В теорії педагогічних вимірювань традиційної мірою труднощі довгі роки була частка правильних відповідей випробовуваних на завдання (p j). Ця частка розраховується за формулою
де p j з індексом j означає частку правильних відповідей на завдання під номером j;
R j являє число правильних відповідей випробовуваних на завдання під номером j;
N - число випробовуваних, що відповідали на завдання j.
Статистика p j. одержувана на вибірках випробуваних, порівняно проста і зрозуміла. А тому багато років вона використовувалася за кордоном при оцінці змістовних і формальних особливостей тестових завдань.
Однак у наш час виявилися два непривабливих властивості цієї статистики.
Перше полягає в тому, що значення p j завжди виявляється залежним від рівня підготовленості випробуваних тієї групи, в якій застосовується дане завдання. Якщо група добре підготовлена, то p j стає вище, якщо ж група погано підготовлена, то значення p j нижче. Англійською мовою такого роду необ'єктивну статистику називають group - dependent.
Складність зв'язується з ідеєю про кількість розумових операцій, які необхідно здійснити для досягнення успіху. Складність навчального завдання пояснюється тим, що учні часто не знають тих операцій, які треба робити, щоб знайти рішення. Вже зазначалося в наших роботах, що всі завдання в тесті, незалежно від їх змісту за темами і розділами, розташовуються в порядку рівномірно зростаючої складності. Це і є головний принцип побудови тесту.
У гонитві за теоретично високою надійністю даних за допомогою включення в тест великого числа завдань середнього рівня складності, втрачається змістовна валідність результатів тесту. Прагнення ж поліпшити валідність нерідко супроводжується зниженням надійності результатів. У науковій літературі це називається парадоксом Ф. Лорда [3]. З предметно-змістовної точки зору рекомендації включати в тест, головним чином, завдання середнього рівня складності для збільшення надійності треба ставитися як до суто формальним рішенням, тобто беззмістовним, і частіше за все, шкідливим.
Варіативність змісту завдань тесту
Варіативність змісту означає можливість заміни елементів завдання іншими схожими елементами, так, щоб відповіді у більшості, якщо не всіх випробовуваних, були різні. Наприклад, в тесті з математики все випробовувані можуть вирішувати квадратне рівняння, але у кожного випробуваного параметри рівняння можуть відрізнятися. Отже, різними будуть і відповіді. Виходить так: завдання та відповіді різні, а перевіряється тема - одна і та ж. Не випадково в центрах тестування вимагають, щоб кожен розробник готував не менше п'ятнадцяти варіантів кожного завдання свого тесту.
1) драми і вірші
2) вірші і поеми
3) поеми і драми
2. Потреба ГОРИЗОНТАЛЬНОГО ПОЛЬОТУ ПРИ
2) не змінюється
Якщо підтверджується факт различающейся труднощі окремих варіантів завдання, то такі елементи з фасета виключаються. Число фасетів варіюється в залежності від багатства змісту завдання. Максимально можливе число варіантів завдання знаходиться перемножением числа елементів у всіх трьох фасетах. Три фасета, представлені елементами в фігурних дужках попереднього завдання, дозволяють створити дванадцять варіантів завдань для контролю знань даної навчальної одиниці, що обчислюється перемножением числа елементів в кожному фасеті: 2 x 2 x 3 = 12. У міру збільшення кількості фасетів і елементів в них зростає і число варіантів завдання.
У поточному контролі випробовувані можуть потренувати себе на всіх елементах фасета. Ця форма сприяє організації самоконтролю - найгуманнішої форми контролю знань. Під час підсумкового тестування, проведеного за допомогою ЕОМ і інструментальної програми, випробуваний отримує з фасета тільки один варіант змісту завдання.
Число варіантів завдання залежить від його змісту. Приклад многофасетного завдання:
Загальна кількість різних варіантів цього завдання для перевірки однієї укрупненої одиниці знань одно ста, тобто твору числа елементів в кожному фасеті.
4. ДЛИНА вектора дорівнює
Принцип варіативності успішно застосовується при композиції завдань з вибором кількох правильних відповідей. Змістовну основу завдань з вибором кількох правильних відповідей складають, головним чином, класифікаційні знання. Приклади: Обвести гуртком номера всіх правильних відповідей:
5. ФУНКЦІЯ ПРИ Є
1) показовою 8) непарної
2) зростання 9) тригонометричної
3) статечної 10) постійної
4) логарифмічною 11) ні парною, ні непарною
5) спадної 12) увігнутою
6) періодичної 13) опуклою
7) парної 14) монотонної
6. ПРОДУКТИ гомоферментативного
8. У БИТВІ ПРИ ВЗЯЛИ УЧАСТЬ
1) німці 7) пруси
2) поляки 8) латиші
3) татари 9) естонці
4) російські 10) французи
5) литовці 11) голландці
6) англійці 12) швейцарці
Принцип варіативності змісту застосовується не тільки до завдань з вибором однієї або кількох правильних відповідей, а й до завдань відкритої форми, де відповідь треба дописувати. приклади:
9. ПРАВОПИС чергуються голосні від початку ЗАЛЕЖИТЬ ВІД _______.
10. N ОР. НАПИСАНА В ТОНАЛЬНОСТІ ____________. В останньому завданні можна бачити чотири фасета, що дозволяють, за допомогою заміни елементів в кожному з них, перевірити знання жанрів і назв музичних творів, написаних композиторами в різній тональності.
12. ТОК СИЛОЮ. ПРОХОДЯЧИ по провіднику. ЗА ЧАС СЕКУНД ВИДІЛЯЄ ___________ джоулів ТЕПЛА.
По суті, це одне завдання, в якому є три фасета, що дозволяють, в машинному варіанті, підставляти будь-які комбінації допустимих значень сили струму, опору та часу, для перевірки вміння застосовувати закон Джоуля-Ленца. Звідки і виникають паралельні, за змістом, завдання. Такі ж фасети можна зробити для перевірки знань всіх фізичних законів і умінь застосовувати при розрахунках.
Фасет змісту можна застосовувати також і для завдань, де потрібно встановити правильну послідовність. наприклад:
? - установка дискових батарей "вразвал-всвал"
? - навішування культиваторів на механізм навішування
? - регулювання натягу пружин
? - установка ширини захисної зони
? - установка кута нахилу батарей
? - перевірка кріплення деталей
Цікаві завдання, однакові за змістом, але різні за формою.
14. К. МАРКС НАРОДИВСЯ В МІСТІ _________
15. К. МАРКС НАРОДИВСЯ В МІСТІ
1) Трір 3) Берлін
2) Хемніц 4) Мюнхен
П араллельность завдань тесту
Паралельними називається завдання, які засновані на принципі варіативності змісту. Крім того, вони мають приблизно однакову емпіричну міру труднощі всіх варіантів завдання і подібні кореляції з вектором сум вихідних балів випробовуваних. З даного визначення видно, що паралельність завдань забезпечується не тільки варіативністю змісту, але і статистичної перевіркою заходи труднощі і кореляції варіантів завдання. За змістом принцип паралельності завдань ширше, ніж принцип варіативності змісту. Паралельність включає в себе ще й формальні критерії, спирається на емпіричні дані результатів випробовуваних.
Різний і статус цих принципів. Варіативність є змістовно-методичним принципом розробки тестових завдань, в той час як принцип паралельності завдань є загальнотеоретичних, що спирається на статистику, а тому використовується у всіх формальних теоріях педагогічних вимірювань. Треба підкреслити, що паралельність за змістом є тільки одним з необхідних умов паралельності тестових завдань. Не всі варіативні завдання можуть відповідати принципу паралельності змісту. Інакше кажучи, варіативність є змістовне, але не достатня умова для виникнення феномена паралельності варіантів тестового завдання.
Ідея розробки і існування паралельних варіантів тестових завдань є важливою для розробників тестів. Це - дорога до справжнього педагогічному тесту. У західній літературі часто помилково пишуть про «паралельних тестах»; так само помилково це перекладається і в текстах російською мовою. Насправді тест створюється один, а до нього робляться паралельні варіанти кожного завдання тесту. Створення паралельних варіантів створює передумови для застосування теоретично істотних методів перевірки надійності результатів тесту.
Оборотність змісту завдань
Цей принцип передбачає можливість формулювання зворотних тверджень в тестовій формі. Приклади завдань відкритої форми, побудованих за принципом оборотності.
16. ОПЕРАЦІЯ ПЕРЕБУВАННЯ ПОХІДНОЇ ФУНКЦІЇ НАЗИВАЄТЬСЯ ______________. Протилежне твердження:
17. диференціювання НАЗИВАЄТЬСЯ ОПЕРАЦІЯ ПЕРЕБУВАННЯ _______________. Так само:
18. диференціалом ФУНКЦІЇ НАЗИВАЮТЬ ТВІР ____________ ФУНКЦІЇ НА приросту аргументу.
Протилежне твердження: 19. ТВІР ПОХІДНОЇ ФУНКЦІЇ НА приросту аргументу НАЗИВАЄТЬСЯ ____________ ФУНКЦІЇ.
Іноді оборотні завдання змінюють форму:
20. До ізотопів СТАВЛЯТЬСЯ ЯДРА, МАЮТЬ РІЗНЕ ЧИСЛО ___________.
21. ЯДРА, МАЮТЬ РІЗНЕ ЧИСЛО НЕЙТРОНІВ, НАЛЕЖАТЬ ДО _________.
22. До ізотопів СТАВЛЯТЬСЯ ЯДРА, МАЮТЬ ЧИСЛО НЕЙТРОНІВ
1) різний 2) однакове
Оборотні завдання беруть логічну форму тавтології. Саме тому вони ніколи разом не включаються в один тест. Наприклад, не можна включати в один тест такі завдання:
23. ОПЕРАЦІЯ знаходження первісних НАЗИВАЄТЬСЯ ______________.
24. Інтегрування НАЗИВАЄТЬСЯ ОПЕРАЦІЯ ПЕРЕБУВАННЯ _______________.
Якщо випробовувані хоча б трохи орієнтуються в навчальній дисципліні, то в разі тавтології відповідь для одного завдання вони знайдуть зі змісту іншого завдання. Завдання, побудовані за принципом оборотності, можна використовувати по черзі, в поточному і в підсумковому контролі знань. Але найбільший ефект такі завдання можуть дати при розробці нового покоління автоматизованих контрольно-навчальних програм, в яких фрагмент навчального матеріалу закріплюється у свідомості учнів у формі прямих і зворотних затвердження, представлених в тестовій формі. Ще приклад оборотних завдань:
25. дистрофічногоураження ТКАНЕЙ ПАРОДОНТА НАЗИВАЄТЬСЯ __________.
26. пародонтозу НАЗИВАЄТЬСЯ дистрофічногоураження ТКАНЕЙ ___________.
При застосуванні оборотних завдань виникає питання вибору кращого варіанту для підсумкового тестування. У цей, здавалося б, нескладний процес вибору корисно привнести елементи науки і розділити роботу на два етапи. На першому етапі обговорюються педагогічні та психологічні міркування і аргументи, які зазвичай використовуються для вибору варіантів. На другому етапі проводиться емпіричне випробування всіх варіантів на паралельних вибірках [5]. після чого вибирається те завдання, яке більшою мірою має властивості тестового завдання для даного тесту.
Приклад завдань, тільки зовні схожих на паралельні і на оборотні, виявляється в працях П.М.. Розглядаються три види одного і того ж завдання для молодших школярів:
27. 6 + 3 = ____; 6 + ___ = 9. ___ + 3 = 9.
Змістовна коректність завдання
У завданні не допускаються двозначність, неточність, помилковість тієї його частини, яка називається англійським словом «stem»: це змістовна частина завдання, взята без відповідей. У педагогічній літературі зустрічаються завдання з неправдивими даними. Якщо уявити одну з них [7] в тестовій формі, то вийде наступне:
28. ЯКЩО КУТИ ТРИКУТНИКА РІВНІ 62º, 75º І 53º, ТО ЗОВНІШНІ КУТИ ТРИКУТНИКА РІВНІ _________.
Це приклад псевдозаданія з некоректними даними, оскільки в геометрії Евкліда не існує трикутник, сума кутів якого не дорівнює 180 гр.
У тест не включають і принципово не можуть бути вирішені завдання. наприклад:
29. ЯКЩО ПЛОЩА прямокутника дорівнює 435 КВАДРАТНИХ МЕТРИ, ТО ЙОГО сторони рівні ______.
Дізнатися довжину сторони по площі неможливо [8]. Для встановлення коректності завдання рекомендується перевірити всі його логічні і змістовні передумови. І якщо хоча б одна з його передумов помилкова, то завдання сформульовано неправильно. Наприклад, передумовою завдання:
30. ЧИСЛО 7 МАЄ КОЛІР
є помилкова думка, що число має колір.
Від некоректності формулювань завдань слід відрізняти неістинність їх змісту. Неістинність легко спростовується істинним твердженням, в той час як некоректне завдання може продукувати і правильні, і неправильні відповіді, а то і викликати подив. Сюди ж можна віднести неточно або двозначно сформульовані завдання, які породжують кілька правильних або умовно правильних відповідей.
Стислість змісту завдання.
У завданні не повинно бути жодного зайвого слова і навіть знака. Подивимося на приклад дуже короткого завдання:
Воно складається з одного слова, має короткі відповіді, абсолютно зрозуміло всім випробовуваним з першого ж читання. Відповіді - однорідні поняття із загальним коренем ( «гідро»), але з протилежним змістом, що виражається неявно союзом «або». Студенти погано запам'ятовують смисли таких слів без спеціального тренування, тому часто їх плутають. Введення завдань в систему автоматизованого самоконтролю помітно допомагає засвоєнню необхідних понять.
1) xy = 9 5) кількість х кратно 2
2) 3 y> 5 x +4 6) усі натуральні числа парні
3) x 2 + 5 x -6 = 0 7) твір чисел 3 і 13 одно 49
4) число 5 - ціле 8) будь-яке число - корінь рівняння х + 3 = 7