3 Як перехитрити тест з декількома варіантами відповідей
Наша доля як в школі, так і після її закінчення в значній мірі залежить від контрольних опитувань, випускних випробувань, іспитів на водійські права, прийомних іспитів і підтвердження кваліфікації. Укладачі тестів намагаються зробити так, щоб той, хто не знає матеріал, не міг відгадати правильну відповідь. У разі тесту з декількома варіантами відповідей це означає, що кожен із запропонованих повинен мати однакову ймовірність виявитися вірним.
Складання подібного тесту - експеримент по імітації випадковості. Зазвичай тест з декількома варіантами відповідей являє собою або вертикальний список, або рядок. Можна очікувати, що укладач несвідомо віддасть перевагу одні варіанти іншим, і послідовність правильних надходження відповідей не буде випадковою.
В той чи інший момент більшість викладачів, ймовірно, отримують попередження про ці проблеми. Журнальні статті та підручники радять працівникам освіти розташовувати правильні відповіді випадково, хоча рідко визнають, що це легше сказати, ніж зробити. Для ефективної рандомізації укладачам тестів потребує комп'ютерні програми, гральні кістки або монетка. Однак вони навряд чи вдадуться до цих коштів, якщо не зрозуміють, що проблема дійсно серйозна і у них є можливість її уникнути. Чи знають вони, чи турбуються?
Саме це я і спробував з'ясувати. В даний час університети публікують в інтернеті архіви старих тестів з ключами відповідей. У мережі також є неймовірна кількість інших тестів. Я набрав статистику з вибірки в кількості 100 тестів - 34 зі шкіл і коледжів і 66 з інших джерел, всього 2456 питань. Були взяті екзаменаційні тести для середніх і старших класів школи, випускних іспитів коледжів і професійних училищ, іспитів на права з десяти штатів (в тому числі Нью-Йорка, Пенсільванії, Джорджії і Каліфорнії), з програм самотестування для процедури натуралізації, кваліфікаційних випробувань для пожежних і операторів аматорського радіозв'язку, з газетних тестів на знання поточних подій, спорту та життя знаменитостей, тестів з журналу Cosmopolitan ( «50 фраз, які віддають перевагу чоловіки»), а також тестів з техніки безпеки (Електрика, контрацепція та харчові отруєння). Я шукав стратегії, що допомагають вгадати правильну відповідь, і обчислював ступінь їх корисності.
Укладачі різних тестів не схожі один на одного. Деякі прагнуть перемішати відповіді, інші про це навіть не замислюються. Студенту, який виконує кілька тестів, складених одним і тим же професором, корисно зберегти їх (або знайти в мережі) і пошукати закономірність в розташуванні правильних відповідей, щоб визначити алгоритм дій упорядника. Зібрані мною дані, проте, дають підставу припустити: навіть не знаючи матеріалу, можна робити ставку на деякі поширені закономірності.
Почнемо з екзаменаційних питань, які передбачають вибір відповіді «так» або «ні». Викладач використовує такого роду тести тому, що їх легше всього складати і перевіряти. Укладач тестів, що вибирає тест з питаннями, які вимагають відповіді «так» або «ні», йде найкоротшим шляхом, і з точки зору стратегії це добре.
В даному випадку було виявлено дві закономірності. Перша: відповідей «так» більше, ніж відповідей «ні». В середньому 56 відсотків припадає на «так» і 44 відсотки на «ні».
Причину знайти неважко. Відповідь «так» першим приходить на розум. Ми згадуємо будь-якої факт швидше, ніж придумуємо брехня. Укладачі тестів слідують по шляху найменшого опору, і у них виходять тести з переважанням відповіді «так».
Інша закономірність цілком очікувана - відповіді «так» і «ні» чергуються набагато частіше, ніж при справжній випадкової послідовності. Ось, наприклад, ключ до відповідей тесту з підручника для коледжу, що складається з 20 питань (Plummer, McGeary, Carlson's Physical Geology, дев'ята видання): НДДНДННДДНДДНДДДНДДН. Зобразимо цей ключ у вигляді чорних і білих квадратів, де білі позначають відповідь «так».
Ця послідовність тільки виглядає випадковою. Один із способів перевірки - підрахувати, скільки разів за правильною відповіддю ( «так» або «ні») слід теж правильний. Таких випадків сім з 19 (після 20-го відповіді немає наступного). Іншими словами, ймовірність того, що таку відповідь буде відрізнятися від поточного, становить 63 відсотки. Це більше очікуваних 50 відсотків для випадкової послідовності.
Будемо сподіватися, що ви не станете вгадувати кожен відповідь. У більшості випадків ви заздалегідь знаєте правильні відповіді на питання, які передують важким і слідують за ними. Це дозволяє розробити стратегію для тесту з питаннями, які передбачають вибір відповіді «так» або «ні»:
• Подивіться на відомі правильні відповіді, розташовані до і після тих, які викликають у вас утруднення. Якщо обидва вони однакові (наприклад, обидва «ні»), вибирайте протилежний ( «так»).
• Якщо відповіді до і після різні, вибирайте «так» (оскільки такі відповіді, швидше за все, переважають).
Приклад. Вам належить вгадати відповідь, оточений відповідями «так», в яких ви впевнені. В цьому випадку переважно відповісти «ні».
Коли один з відповідей до і після «так», а інший «ні», правило чергування дає суперечливі сигнали. Тому слід вибирати більш поширений варіант - «так».
Про вгадуванні в тесті з декількома варіантами відповідей існує багатий фольклор. Я пам'ятаю, як мені радили вибирати середнє. Судячи з зібраним мною даними, ця тактика марна. У тестах з трьома варіантами вибору (назвемо їх A, Б, і В) всі варіанти з однаковою ймовірністю правильні. При чотирьох варіантах другий відповідь (Б) краще з ймовірністю 28 відсотків - у порівнянні з очікуваними 25 відсотками для кожного варіанта.
Коли варіантів п'ять, то частіше (23 відсотки) виявляється правильним остання відповідь (Д). Найменш популярний (17 відсотків) центральний варіант (В).
Схоже, що укладачі тестів інтуїтивно дотримувалися правильних пропорцій для трьох варіантів, але не змогли цього зробити для числа варіантів більше трьох. Це узгоджується з експериментальними даними, що свідчать, що зі збільшенням числа варіантів вибору надія вгадати зменшується.
Найкраща стратегія - вибирати другий відповідь (Б) в тестах з чотирма варіантами і п'ятий відповідь (Д) в тестах з п'ятьма варіантами вибору.
Інший популярний рада при підготовці до тестів звучить так: «Ніколи не вибирайте" ніколи "». Слід уникати відповідей, що містять такі слова, як ніколи, завжди, все або нічого. У нашому грішному і складному світі ці універсалії без праці перетворюють істинне твердження в помилкове. Даний рада легко прийняти, особливо якщо задуматися, який нелегкий труд - складати тест з декількома варіантами відповіді. На кожну правильну відповідь викладач повинен придумати кілька правдоподібних невірних. Прості рецепти складання неправдивих тверджень повинні використовуватися досить часто.
Я виявив одну цікаву виняток. У досліджених мною тестах відповіді «жодне з перелічених» і «все з перерахованих вище» в більшості випадків виявлялися вірними. В одному з підручників для коледжу в тесті з чотирма варіантами відповідей такі, як «все / нічого», були правильними в 65 відсотках випадків!
Інша цікава емпіричне правило говорить, що вірним, швидше за все, виявиться найдовший з декількох можливих відповідей. На одне із запитань іспиту на водійські права в штаті Вашингтон вірним дійсно виявляється найдовший варіант (В):
Для повороту направо ви повинні знаходитися:
Б. В середньому ряду.
В. В ряду, найближчому до напрямку, куди ви хочете повернути.
Укладачі тестів повинні переконатися, що вірні відповіді безперечні. Нерідко це вимагає точних визначень. В невірних відповідях вони можуть не так старатися.
Подібно тестів, що передбачає вибір відповіді «так» або «ні», тести з декількома варіантами відповіді характеризуються надмірним чергуванням. Досить часто виявлялися короткі тести, в яких жоден правильний варіант не повторювався двічі поспіль. Ключ до відповідей нагадував поле для гри в класики.
Я підрахував, наскільки часто становище правильної відповіді (A, Б, В ...) повторює положення попереднього правильної відповіді. Для тестів з трьома варіантами на вибір в моїй базі даних правильні відповіді в двох сусідніх питаннях збігалися тільки в 25 відсотках випадків (проти 33 відсотків, очікуваних для випадкової послідовності). Для тестів з чотирма варіантами вибору - збігів 19 відсотків (проти 25 очікуваних), а для тестів з п'ятьма варіантами відповідей - 18 відсотків (проти 20 очікуваних).
На графіку, що ілюструє ці результати, лінія відображає очікувану ймовірність для справжньої випадкової послідовності. Для будь-якої кількості варіантів вибору повторень виявилося занадто мало. Це означає, що випробуваний підвищує свій шанс вгадати відповідь, просто не повторюючи попередній.
Можливість повторення відповіді два рази поспіль
Я склав співвідношення цієї та інших стратегій, обчисливши, наскільки вони покращують шанси в порівнянні з випадковим вгадування.
Цілком очевидно, що найкраща стратегія - вибирати відповідь «нічого з перерахованого вище» або «все з перерахованого вище». Ці варіанти годяться майже в два рази частіше, ніж інші, на 90 відсотків підвищуючи шанс вгадати в порівнянні з випадковим вибором (в деяких наборах варіантів дано обидві відповіді, «нічого» і «все». Якщо ви хоч щось знаєте по темі, то зумієте відсіяти невірну відповідь).
Успіху сприяють і дві інші стратегії - вибирати найбільш часто зустрічаються відповіді і не повторювати попередній. Ефективність приблизно однакова, особливо якщо ви зрозумієте, що можете трохи підвищити ймовірність успіху стратегії «не повторювати попередній відповідь» тим, що не повторите і наступний.
Там, де необхідно вгадати відповідь на питання з декількома варіантами відповіді, насамперед слід виключити явно невірні. Знання надійніше вгадування! Якщо варіант «нічого / все» не потрапив до числа виключених, вибирайте його. В іншому випадку використовуйте два інших правила.
Приклад. Ви не знаєте відповіді на питання № 2, але не сумніваєтеся, що третій варіант (В) є помилковим. Залишається три можливості. Серед запропонованих варіантів немає «нічого з перерахованого вище» або «все з перерахованого вище».
У тестах з чотирма варіантами вибору частіше вірний другий варіант, і тому він краще. Подумки відзначте його «галочкою».
Вам відомо, що правильні варіанти відповідей на сусідні питання № 1 і № 3 - В і Г. Тому краще відмінний від них відповідь - A або B. Подумки відзначте їх «галочками».
Аналіз дає нам один голос за A, два за Б і жодного за Г - В виключений на підставі фактів. Варіант Б найбільш правдоподібний.
Якщо «голосування» дає рівний результат, вибирайте будь-який з варіантів.
Рада коледжів прекрасно обізнаний про недоліки тестів, складених вручну. Стандартизований «Відбірковий тест» (SAT) написаний краще, і вгадати правильні відповіді важче, ніж в звичайних тестах для старших класів школи або коледжів. По можливості кілька варіантів відповіді в тесті SAT розташовуються в логічному або нумераційного порядку. В інших випадках правильні відповіді перемішуються за допомогою програмного забезпечення. Це знецінює стратегії, засновані на місцезнаходження вірної відповіді в списку.
Цілком можливо, що порядок відповідей перетасувати за допомогою програмного забезпечення. Але самі відповіді все ж доводиться писати викладачеві, людині. Він прагне замаскувати вірну відповідь, оточивши його правдоподібними, але помилковими варіантами (професіонали називають їх дистракторами). Правильна відповідь зазвичай ховається в середині. Я маю на увазі не середину списку - середнім буде його значення. Аномальні відповіді зазвичай невірні.
Поширена хибне уявлення, що в тесті SAT вгадування карається. Точніше було б сказати, що система підрахунку балів, яка використовується Радою коледжів, карає за невірні відповіді. При підрахунку балів Рада коледжів бере кількість правильних відповідей і віднімає певну частку неправильних. Ця частка, складова 1/4 для тестів з вибором з п'яти варіантів відповідей, просто гарантує, що невіглас, який намагається вгадати відповідь, не отримає переваги над тим, хто залишає питання без відповіді.
Такий підхід включає в себе філософію, яку я намагаюся тут застосувати. Стратегія вгадування корисна в тому сенсі, що вона перевершує випадковий вибір. Будь-яка стратегія, що забезпечує статистичну перевагу, працює на вас - в тестах SAT і у всіх інших.
І останнє правило: завжди намагайтеся вгадати. Це ефективно навіть при відсутності будь-якої системи. Оптометрист пропонують пацієнту вгадати нижній рядок таблиці, оскільки знають, що ці відповіді часто виявляються правильними, незважаючи на запевнення пацієнта, що він не бачить букв. Якщо ви зовсім розгубилися, запитайте себе, який з відповідей виглядає більш знайомим. Правильна відповідь частіше здається таким. Можливо, ви його вже бачили, а потім просто забули, і це залишає слабке відчуття «знайомого». Вибирайте «вже бачене» як відповідь.
• У тестах «так» або «ні» частіше зустрічаються відповіді «так».
• У тестах з декількома варіантами відповідей найчастіше правильним буває відповідь (Б).
• Відповіді «нічого з перерахованого вище» і «все з перерахованого вище» мають непропорційно високу ймовірність виявитися вірними.
• Відповідь, який був правильним в попередньому питанні (наприклад, «так» або Г), швидше за все, буде невірним в поточному.
• Стратегія для стандартизованих тестів, на зразок SAT, полягає у виключенні аномалій. Не вибирайте відповідь, який занадто сильно відрізняється від інших.