Обробка результатів тестування на сучасному етапі розвитку теорії тестів

Сучасний стан педагогічного контролю в російській системі освіти є контрастне поєднання старого з новим, суб'єктивного з об'єктивним, усного опитування за п'ятибальною системою оцінок зі спробами впровадження контролюючих технологій. Тестовий метод на сьогоднішній день швидко розвивається напрямок на стику педагогіки, теорії вимірювань, математичного моделювання, математичної статистики та автоматизації. Впровадження і розвиток такого тестування внесе істотний внесок в процес реформування вітчизняної системи освіти та її інтеграції в світову освітню практику [11]. З огляду на важливість тестування для процесу навчання в школі, розглянемо історію його розвитку і сучасний стан методів тестування в нашій країні.

Історія перевірки знань і здібностей за допомогою різних завдань налічує близько 4 тисяч років. Дані археології свідчать про те, що вчителі найдавнішої шумерської школи для перевірки засвоєння і закріплення матеріалу практикували "контрольні роботи" по пізнанню тексту пройдених творів [12, c.73]. Однак перші наукові праці з теорії тестів з'явилися на початку XX століття, на стику психології, соціології, педагогіки та інших так званих поведінкових наук (Behavioral Sciences). Одними з основоположників теорії тестів були вчені Ф. Гальтон [14], Дж.Кеттел [13]. Питанням теорії тестів присвячені праці В.С.Аванесова, А.Анастази, Х.Зіверта, і ін. [2, 3, 8].

Зарубіжні психологи називають теорію тестів психометрики (Psychometrika), а педагоги - педагогічним виміром (Educational measurement). Російською мовою прийнято називати цю науку тестології. Тестология - наука про тести. Тест - це короткий стандартизоване випробування, призначене як для отримання об'єктивної кількісної оцінки результатів навчання, так і для розпізнавання цікавлять нас особливостей і якостей особистості [6].

Тести для об'єктивного контролю знань і умінь називають педагогічними. Педагогічний тест прийнято визначати як систему завдань певного змісту, специфічної форми, що дозволяє якісно і ефективно виміряти рівень і оцінити структуру підготовленості учнів, контролювати результат засвоєння ними в процесі навчання знань і умінь. Педагогічні тести по цілям застосування діляться на: 1) тести досягнень, профорієнтаційна тести; 2) критеріальною-орієнтовані тести; 3) нормативно-орієнтовані тести; 4) атестаційні тести; 5) тести прогнозування результатів навчання.

Існують дві основні форми тестових завдань: 1) завдання закритої форми - завдання з вибором з варіантів відповіді, представлених випробуваному, завдання на встановлення відповідності та завдання на конструювання правильної послідовності; 2) завдання відкритої форми - завдання, коли відповідь конструюється, набирається або формулюється самим піддослідним, тобто в постановці завдання немає можливих варіантів відповіді.

Розробка завдань у тестовій формі проводиться на основі ряду обгрунтованих вимог в рамках єдиної методики. В рамках методики, прийнятої у світовій практиці, до таких вимог відносять такі: 1) в тексті завдання повинна бути усунена всяка двозначність або неясність формулювань; 2) основна частина завдання формулюється гранично коротко (як правило, не більше одного речення); 3) всі варіанти відповіді до одному завданню повинні бути приблизно однакової довжини; 4) з тексту завдання необхідно виключити всі вербальні асоціації, що сприяють вибору правильної відповіді з допомогою здогадки.

Крім критеріїв в класичній тестології виділяють наступні принципи відбору змісту тестового матеріалу: 1) значущість; 2) наукова достовірність; 3) відповідність змісту тесту рівню сучасного стану науки; 4) репрезентативність; 5) зростаюча складність навчального матеріалу; 5) варіативність змісту; 6) системність змісту; 7) комплексність і збалансованість змісту тесту; 8) взаємозв'язок змісту і форми; 9) відповідність мети.

Під довжиною тесту розуміється кількість завдань, що входять в тест. Класична теорія тестів стверджує: чим довше тест, тим він надійніший. Але практика аудиторного тестування показує, що якщо тест дуже довгий, то погіршується мотивація і увагу. Оптимальна довжина тесту - 30-60 завдань. Кожен тест має оптимальний час тестування - час від початку процедури тестування до моменту настання стомлення. Розкид по характеристикам порога настання стомлення досить великий - від 20 до 100 хвилин в одній віковій групі. Основні причини втоми: вік, мотивація, монотонність виконуваної роботи, індивідуальні особливості піддослідних.

Мінімальна тривалість тестування залежить від форм, кількості і складності завдань. Наприклад, для виконання простого тестового завдання закритої форми з вибором однієї елемента із запропонованих достатньо 10-15 секунд [1].

З'явилися на рубежі XX століття педагогічні тести швидко завоювали популярність у всіх розвинених країнах. Однак в СРСР до 30-х років розгорнулася їх зустрічна критика, а потім їх повну заборону. І тільки на початку 90-х років методи педагогічного тестування для контролю знань і умінь стали впроваджуватися в російські школи і вузи. Тестування в Росії в даний час розвивається на двох рівнях: 1) на державному рівні реалізуються проекти з тестування під егідою Міністерства освіти РФ: ЄДІ, Телетестінг, Централізоване комп'ютерне тестування; 2) на корпоративному рівні наука стрімко розвивається в рамках середніх, професійних і вищих освітніх закладів і навчальних центрів.

З розвитком інформаційних технологій і комунікацій методи тестування вийшли на новий рівень: тестування з використанням персональних комп'ютерів і on-line тестування з використанням Internet. Застосування інформаційних технологій для оцінювання якості навчання дає цілий ряд переваг перед проведенням звичайного контролю. Перш за все - це можливість організації централізованого контролю, що забезпечує охоплення всього бажаного контингенту учнів. Далі, комп'ютеризація дозволяє зробити контроль більш об'єктивним, не залежних від суб'єктивності викладача.

Розвиток інформаційних технологій сприяло розробці і впровадженню в практичне використання різних програмних комплексів тестування.

Аналіз сучасної науково-методичної літератури [7], а також інформації з мережі Internet [15, 16, 17] дозволяє сформулювати основні ознаки, якими повинен володіти сучасний програмний комплекс тестування:
  1. Основна вимога для сучасної контролюючої системи полягає в абстрагуванні від змісту, рівня складності, тематики, типу і предметної спрямованості окремих тестових завдань. Подібна стандартизація дозволяє не вдаватися для створення кожного чергового тесту і обробки його результатів до послуг програмістів, а, освоївши певну систему, наповнювати її змістовну частину з різних дисциплін на основі загальних принципів. Високий ступінь абстрагування від конкретного навчального матеріалу, відібраного для складання тесту, визначає властивість універсальності;
  2. Контролююча система повинна складатися з підсистем наступного призначення: створення тестів (формування банку питань і завдань, стратегій ведення опитування та оцінювання), проведення тестування (пред'явлення питань, обробка відповідей), моніторинг якості знань учнів протягом усього часу вивчення теми або навчальної дисципліни на основі протоколювання ходу і підсумків тестування в динамічно оновлюваної бази даних. Наявність незалежних, але взаємопов'язаних, компонентів (підсистем): створення тесту, моніторингу результатів, проведення тестування визначає свойствомодульності;
  3. Дані в контролюючої системі повинні зберігатися централізовано на віддаленому сервері. Доступ до даних здійснюється через локальну мережу. Наявність єдиного банку даних питань для кожної запущеної копії програми визначає свойствоцентралізованності;
  4. Контролююча система повинна розмежовувати права користувачів по типовим ролям (учень, викладач) для запобігання доступу тестованих до правильних відповідей тесту і т.п. - свойствозащіщенності;
  5. Контролююча система може також мати можливість налаштування на проведення діагностування із застосуванням різних моделей діагностики для отримання результатів, певних провідною ідеєю діагностування, наприклад, застосування адаптивної моделі тестування - свойствоадаптівності;
  6. У контролює системі повинна проводитися математична обробка результатів тестування, зокрема, розрахунок складності завдань тесту - свойствообработкірезультатовтеста.

Перераховані основні вимоги, що пред'являються до сучасного програмного комплексу тестування. Також сучасну систему діагностування повинні визначати такі ознаки: режими тестування, типи питань, які використовуються в тесті, випадкова вибірка завдань, обмеження часу тестування, імпортування тестових завдань з документа MicroSoft Word.

Таким чином, в даний час визначення складності завдань тесту є однією з вимог, що пред'являються до сучасного програмного комплексу тестування. Обробка результатів тесту з визначенням складності завдань тесту необхідна для наукового підходу до складання тестів.

З цієї точки зору цікавою моделлю обробки тестів, орієнтованих на критерій, є однопараметрична модель Раша [4, 10], яка дозволяє:
  • формувати тест із завдань різного ступеня складності;
  • робити досить об'єктивний висновок про здатність тестованого на підставі кількості вирішених завдань;
  • робити висновок про ймовірність рішення того або іншого завдання певного рівня складності.
Наприклад, при перевірці 20 учнів за допомогою тесту, що складається з 14 завдань, були отримані наступні результати:
  1. Шкала логіт, представлена ​​нижче на формі, заповнена нерівномірно, тест складається із завдань середнього ступеня труднощі, відсутні завдання з високою і низькою ступенем труднощі, у завдань 3, 11 і 10, 14 трудність однакова;

Обробка результатів тестування на сучасному етапі розвитку теорії тестів

  • За результатами тестування розраховані здібності учнів, оцінені в чотирибальною системою:

    Обробка результатів тестування на сучасному етапі розвитку теорії тестів

  • На підставі побудованої характеристичної кривої можна спрогнозувати рішення того або іншого завдання з певним ступенем складності:

    Обробка результатів тестування на сучасному етапі розвитку теорії тестів

    Невисокі вимоги до програмного і апаратного забезпечення роблять програму доступною для шкіл з різним рівнем апаратного про програмного забезпечення. Зокрема, дана програма апробується на факультеті інформатики, факультеті вчителів початкових класів Челябінського Державного Педагогічного Університету, МОУ №94 м Челябінська.

    Таким чином, в даний час методи тестування в нашій країні є важливе, перспективне і розвивається напрямок для реформування системи освіти. Одним з головних питань для тестування є обробка результатів тесту, зокрема, розрахунок складності завдань. Для такої обробки результатів тесту може бути використана однопараметрична модель тестів Г.Раша. Комп'ютерна програма, створена на основі даної моделі, дозволяє автоматизовано і об'єктивно:
    1. Проводити обробку тесту за рахунок визначення складності завдань, таким чином, що тест формується із завдань різного ступеня складності.
    2. Інтерпретувати результати тестування. роблячи висновок про здібності учнів.
    3. Прогнозувати рішення того або іншого завдання певного рівня складності.