КОНСТРУИРОВАНИЕ ТЕСТОВЫХ ЗАДАНИЙ И ОБРАБОТКА РЕЗУЛЬТАТОВ ТЕСТИРОВАНИЯ

Л. Я. Ащепкова, Дальневосточный государственный университет, Институт математики и компьютерных наук, Кафедра прикладной математики и информационных технологий, Владивосток 2003

Ссылка на источник: http://kpmit.wl.dvgu.ru/library/aschepkova/tests.php

Наряду с традиционными методами обучения и контроля знаний тестирование быстро становится необходимой частью учебного процесса. Это методическое направление в педагогике вновь возрождается в нашей стране.

Цель проведения экзаменов и другого контроля знаний в тестовой форме состоит в том, чтобы повысить объективность оценки уровня знаний. Когда тестирование знаний в группе студентов проводится по пройденному курсу, то полнота его изучения выявляется как для всей группы в целом, так и индивидуально для каждого студента.

В отличие от традиционного контроля в форме опроса, устного экзамена или зачета, которое отнимает много времени, тестирование проводится для студентов всей группы одновременно и, хотя процесс тестирования в целом менее продолжителен, он дает более объективную картину уровня знаний студентов. Тестирование, независимо от того, проводится оно в письменной форме или посредством компьютеров, психологически меньше нагружает студентов и преподавателей. Результаты тестирования после обработки на компьютере представляются в форме совокупности стандартных статистических показателей, пригодных для установления рейтинга знаний студентов и сравнительных характеристик студенческой группы в целом.

По определению В.С.Аванесова (1998), педагогическим тестом называют систему заданий возрастающей трудности и специфической формы, позволяющей качественно оценить структуру и измерить уровень знаний учащихся.

Чтобы создать корректный педагогический тест по некоторой дисциплине, требуется немало времени и средств. Однако все затраты оправданы выгодами, которые приносит тестирование учебному процессу. Работа по созданию теста проходит поэтапно.

1 этап.. Отбор учебного материала, подлежащего тестовому контролю, и его спецификация. Определяется круг тем, включаемых в тест, и относительное количество заданий, которым должен быть представлен каждый раздел курса. Содержание программного материала дисциплины разбивается на 5-6 смысловых блоков, примерно определяется содержательный вес каждого модуля так, чтобы процентное соотношение вопросов, формируемых по каждому блоку, соответствовало весу модуля.

2 этап. Создание заданий в тестовой форме по всему курсу или по проверяемой его части, объединение их в тематические группы, комплектование первичного, пробного, теста.

3 этап. Проверка первичного теста на группе испытуемых (студентов)

4 этап.. Статистический анализ результатов первичного тестирования, выбраковка и корректировка тестовых заданий.

5 этап. Формирование из прошедших проверку заданий собственно теста, который должен состоять из заданий в тестовой форме возрастающей трудности с учетом необходимого уровня усвоения знаний и максимально охватывающих всю программу дисциплины.

6 этап. Эмпирическая проверка теста для уточнения педагогических характеристик как отдельных тестовых заданий, так и всего теста в целом, его валидности, надежности и др.

Задания, входящие в тест, подбираются так, чтобы они давали основу для проверки некоторых из таких категорий приобретенных знаний, как названия, имена; формулы; смысл слов, названий и имен; факты; определения; сравнение, сопоставление объектов; противоположности, противоречия, антонимы и т.п.; ассоциации; классификации; причинно-следственные отношения; алгоритмы, процедуры; технологии и технологические понятия; вероятностные понятия; абстрактные понятия; методология предмета (Аванесов, 1998)

Хорошо составленный тест обеспечивает широту охвата содержания предмета и проверяет глубину знаний, полученных студентами.

С развитием технологической (прежде всего компьютерной) базы обучения тестирование становится средством не только обучения, но и самообучения. Интернет способствует быстрому развитию самой идеи образования, расширив и качественно изменив возможности доступа к информации, приведя к созданию дистанционного образования.

В этих условиях хорошо составленные тесты по разным областям знания становятся необходимой частью любого учебного процесса. Однако методической литературы для преподавателей по тестологии пока недостаточно.

Форма задания, в соответствии с методическими задачами, может относиться к одной из четырех основных категорий. Рекомендуется использовать задания с выбором одного или нескольких правильных ответов, задания открытой формы, задания на установление соответствия, а также задания на установление правильной последовательности (Аванесов, 1998)

Короткие инструкции, общие для всех испытуемых, обычно помещаются перед заданием или группой заданий и по шрифтовому оформлению отличаться от содержательной основы задания и ответов к нему. Инструкции адекватны форме и содержанию задания. Если задания представлены одной формой, инструкция пишется один раз для всего теста. Если же тест включает в себя задания различных форм, то перед каждой сменой формы задания пишется новая инструкция.

Задание формулируется в утвердительной, а не в вопросительной форме. Содержательную часть задания не перегружают второстепенными деталями; она включает минимум ключевых слов, необходимых для правильного понимания задания, потому что формулировки заданий должны иметь однозначное толкование.

Немаловажное значение имеет шрифтовое оформление задания. Оно должно быть таким, чтобы суть задания понималась с одного взгляда. Традиционно текст задания пишется прописными буквами, а варианты ответов – строчными.

Правила оценки выполнения каждого задания разрабатываются вместе с тестом, они всегда одинаковы для всех испытуемых. Чаще всего, за верный ответ принято давать один балл, за неверный – ноль. В таком случае сумма всех баллов, полученных студентом, равна числу его правильных ответов. Однако можно использовать и другие шкалы оценок. Сумма баллов ассоциируется с уровнем знаний студента. Совокупность сумм баллов испытуемых используется для установления их рейтингов, то есть порядковых номеров, показывающих сравнительную оценку достижений в рамках данной группы.

Опишем четыре формы заданий, применяемых для формирования теста.  Тестовые задания, приводимые здесь в качестве примеров и иллюстраций, сконструированы на основе математических  и экономических учебных курсов.  Авторы заданий - сотрудники кафедры прикладной математики и информационных технологий Дальневосточного государственного университета проф. Л.Т.Ащепков, преподаватели А.А.Величко и Д.В.Давыдов, а также ст. науч. сотр. Рег. центра качества при ДВГУ Л.Я Ащепкова.

Задания с выбором одного или нескольких правильных ответов

Это простейший вид задания, в котором правильный ответ уже содержится, и задача испытуемого состоит в его узнавании.

Рассмотрим основные элементы заданий с выбором правильного ответа. К ним относятся инструкции для испытуемых, содержание заданий, форма, содержание и число ответов, а также оценки за правильность выполнения.

В заданиях с выбором ответа применяют один из двух вариантов инструкций, соответствующих двум вариантам заданий. Инструкция помещается перед заданием, она печатается шрифтом, отличающимся от шрифта самого задания, например, более жирным:
ОБВЕДИТЕ КРУЖКОМ НОМЕР ПРАВИЛЬНОГО ОТВЕТА:
или
ОБВЕДИТЕ КРУЖКОМ НОМЕРА ВСЕХ ПРАВИЛЬНЫХ ОТВЕТОВ:

Задание представляет собой часть утвердительного предложения, но не вопрос. Предлагаемые варианты ответов дополняют его до полного утвердительного предложения. Задача испытуемого – выбрать правильный вариант утверждения, используя знания, полученные в ходе изучения дисциплины. Содержательная основа задания должна быть такой, чтобы для выбора правильного ответа достаточно было вспомнить и применить лишь то, что звучало на лекциях и было написано в рекомендованных для изучения пособиях. В конце содержательной части задания нет знаков препинания.

Текст задания обычно пишется прописными буквами, ответы – строчными. Номера заданий следуют в порядке возрастания, после номера ставится точка. Для нумерации ответов используются числа (или строчные буквы) со скобками.

1. НИ ОДНОГО ЭЛЕМЕНТА НЕ СОДЕРЖИТ МНОЖЕСТВО
    1) пустое
    2) неполное
    3) неправильное


2. ПРИ ФИКСИРОВАННЫХ ЦЕНАХ И ДОХОДЕ БЮДЖЕТНАЯ ЛИНИЯ ЕСТЬ
    1) парабола
    2) гипербола
    3) окружность
    4) прямая

Ответы должны быть содержательными и, по возможности, короткими. В конце ответов нет знаков препинания. Места для правильных ответов в разных заданиях выбираются случайным образом. Располагать ответы можно в одну, две и три колонки.

3. ЕСЛИ КАЖДЫЙ ЭЛЕМЕНТ МНОЖЕСТВА А ЯВЛЯЕТСЯ ЭЛЕМЕНТОМ МНОЖЕСТВА В  И НАОБОРОТ, ТО
   

   1) АВ  2) А \ В

   3) АВ  4) АВ

   5) АВ  6) АВ

Минимум средств (слов, символов, рисунков и графиков) должен обеспечивать максимальную ясность смысла задания. При подготовке ответов избегают повторов слов, применения малопонятных, редко употребляемых слов, а также неизвестных студентам символов, иностранных слов, затрудняющих восприятие смысла.

Пример:

НА ГРАФИЧЕСКОЙ КЕЙНСИАНСКОЙ МОДЕЛИ  ТОВАРНОГО РЫНКА ФУНКЦИИ  ПОТРЕБИТЕЛЬСКИХ РАСХОДОВ СООТВЕТСТВУЕТ ЛИНИЯ  1) E = Y  2) E = C+ I  3) E = C

Для объективной оценки знаний студентов им предлагаются так называемые ответы-дистракторы (от англ. to distract - отвлекать). Дистракторы оказывают большое влияние на качество теста. В хорошо составленном задании правильные и неправильные ответы испытуемыми, плохо знакомыми с предметом, выбираются с равной вероятностью.

5. ЕСЛИ АВ, ТО
   

   1) А – элемент В  2) А – подмножество В

   3) В – элемент А  4) В – подмножество А

    
6. УРАВНЕНИЯ, КОТОРЫЕ ПРИВОДЯТСЯ К ВИДУ f(y)dy=g(x)dx, НАЗЫВАЮТСЯ УРАВНЕНИЯМИ С ПЕРЕМЕННЫМИ
   

   1) разделенными  2) приведенными

   3) разделяющимися  4) разнесенными

    
7. ФОРМУЛА ИНТЕГРИРОВАНИЯ ПО ЧАСТЯМ
   

   1)  2)

   3)  4)

    
8. ЕСЛИ g'(x)= f(x), ТО ПЕРВООБРАЗНОЙ НАЗОВЕМ ФУНКЦИЮ
    1) g(x)
    2) f(x)

В заданиях с выбором одного правильного ответа вероятность угадывания при двух вариантах ответов составляет 1/2, при трех - 1/3 и т.д.

Ответы к заданиям могут быть выражены словами, числами, графиками. Они не должны представляться в форме "да" или "нет", "верно" или "неверно".

9. ИРРАЦИОНАЛЬНОЕ ЧИСЛО НЕ МОЖЕТ БЫТЬ ДЕЙСТВИТЕЛЬНЫМ ?
    1) да
    2) нет
   
   
10. ИРРАЦИОНАЛЬНОЕ ЧИСЛО МОЖЕТ БЫТЬ КОМПЛЕКСНЫМ
     1) верно
     2) неверно

Правильно составленное задание на эту тему может выглядеть, например, следующим образом:

11. ВЫСКАЗЫВАНИЕ “ИРРАЦИОНАЛЬНОЕ ЧИСЛО МОЖЕТ БЫТЬ КОМПЛЕКСНЫМ”
     1) истинно
     2) ложно
или так:
12. ИРРАЦИОНАЛЬНОЕ ЧИСЛО
     1) действительно
     2) комплексно

Существует много и других возможностей построить правильное задание в тестовой форме для проверки знаний о соотношении множеств действительных и иррациональных чисел.

Исключается применение таких вариантов ответа, как “правильного ответа нет”, “все ответы правильные” или “все ответы неправильные”.

Чтобы смысл задания лучше понимался, сильные слова «самый», «наибольший», «наименьший», «наилучший» рекомендуется ставить в самом начале основной части задания.

13. САМАЯ БОЛЬШАЯ КАТЕГОРИЯ РАСХОДОВ В ВАЛОВОМ ВНУТРЕННЕМ ПРОДУКТЕ
    

    1) зарплата  2) инвестиции

    3) прибыль  4) потребление

1. Первая группа используется при разработке ответов к заданиям. К ней относятся принцип противоречия, принцип противоположности, принцип однородности, принцип кумуляции, принцип градуирования, принцип удвоенного противопоставления.
2. Вторая группа, состоящая из принципа фасетности и принципа импликации, используется при разработке содержания заданий.

Рассмотрим применение этих принципов на примерах из математики, экономики и моделирования систем.

Если задание содержит два ответа, то, согласно принципу противоречия, второй ответ образуется из первого простым прибавлением отрицательной частицы “не”, отрицающих предлогов и слов так, что этим ответом отрицается смысл не самого задания, а содержания первого ответа:

14. ПРЯМЫЕ y=1+3x И y=1-5x
     1) параллельны
     2) не параллельны
    
    
15. ГРАФИК ФУНКЦИИ f(x)=log_b x ГОРИЗОНТАЛЬНУЮ АСИМПТОТУ
     1) имеет
     2) не имеет
    
    
16. ГРАФИК ФУНКЦИИ f(x)=b^x ОСЬ АБСЦИСС
     1) пересекает
     2) не пересекает
    
    
17. ЗНАЧЕНИЯ ФУНКЦИИ ПЛОТНОСТИ ВЕРОЯТНОСТИ f(x) ВЕРОЯТНОСТЯМ РЕАЛИЗАЦИЙ СЛУЧАЙНОЙ НЕПРЕРЫВНОЙ ПЕРЕМЕННОЙ
     1) равны
     2) не равны

От противоречивых ответов отличаются ответы, построенные по принципу противоположности.

18. ФУНКЦИЯ f(x)= В ТОЧКЕ x=3
     1) разрывна
     2) непрерывна
    
    
19. УТВЕРЖДЕНИЕ “ФУНКЦИЯ, НЕПРЕРЫВНАЯ В ТОЧКЕ, ДИФФЕРЕНЦИРУЕМА В ЭТОЙ ТОЧКЕ”
     1) истинно
     2) ложно
    
    
20. ПРОИЗВОДНАЯ ЛИНЕЙНОЙ ФУНКЦИИ
     1) постоянная
     2) переменная


21. ПРИНЦИПЫ ГОРИЗОНТАЛЬНОЙ И ВЕРТИКАЛЬНОЙ СПРАВЕДЛИВОСТИ НАЛОГООБЛОЖЕНИЯ ДРУГ ДРУГА
     1) дополняют
     2) замещают

В заданиях с тремя ответами второй ответ может быть противоположен первому, а третий ответ – первому и второму, так что множество ответов полно.

22. ЕСЛИ b>1, то функция f(x)=log_b(x)
     1) убывает
     2) возрастает
     3) немонотонна
    
23. ОБМЕН ЯВЛЯЕТСЯ ВЗАИМОВЫГОДНЫМ, ЕСЛИ В РЕЗУЛЬТАТЕ ПОЛЕЗНОСТЬ КАЖДОГО АГЕНТА
     1) увеличивается
     2) уменьшается
     3) не изменяется

Противоположность может быть введена внутрь самих ответов

24. СОГЛАСНО КРИВОЙ ЛАФФЕРА С РОСТОМ НАЛОГОВОЙ СТАВКИ  ПОСТУПЛЕНИЯ В БЮДЖЕТ
    

    1) растут  2) падают

    3) сначала растут, потом падают  4) сначала падают, потом растут

Принцип однородности состоит в том, что ответы в заданиях должны быть однородными по форме. Не следует использовать в разных ответах одновременно глагол, прилагательное и существительное.

25. РАЗНОСТЬ ПОЛИНОМОВ - ФУНКЦИЯ
     1) рациональная
     2) полиномиальная
     3) трансцендентная
    
    
26. ДЛЯ ПРОВЕРКИ ГИПОТЕЗЫ ОБ ОДНОРОДНОСТИ ДИСПЕРСИЙ В ДИСПЕРСИОННОМ АНАЛИЗЕ ИСПОЛЬЗУЕТСЯ КРИТЕРИЙ
    

    1) Стьюдента  2) Фишера

    3) Пирсона  4) Бартлета

    
    
27. ДЛЯ ОБЕСПЕЧЕНИЯ УСТОЙЧИВОГО ЭКОНОМИЧЕСКОГО РАЗВИТИЯ ГОСУДАРСТВЕННОЕ РЕГУЛИРОВАНИЕ РЫНКА
     1) вредно
     2) необходимо
     3) безразлично

Усиливает эффективность заданий, сконструированных по принципу однородности, использование сходных по написанию и звучанию слов, похожих формул.

28. КОЭФФИЦИЕНТ НАКЛОНА ПРЯМОЙ y=ax+b , ПРОХОДЯЩЕЙ ЧЕРЕЗ ТОЧКИ (x₁,y₁) И (x₂,y₂), ВЫЧИСЛЯЕТСЯ ПО ФОРМУЛЕ
    

    1) а=  2) а=

    3) b=  4) b=

    
    
29. z=x²+y² – УРАВНЕНИЕ
     1) параболы
     2) параболида
     3) параболоида
    
    
30. ИГРА, О КОТОРОЙ ИДЕТ РЕЧЬ В ЗАДАЧЕ О ЗАЧЕТЕ, НАЗЫВАЕТСЯ
    

    1) матричной  2) биматричной

    3) двухматричной  4) полиматричной

    
    
31. УПОРЯДОЧИВАНИЕ ОБЪЕКТОВ ПО ВОЗРАСТАНИЮ ЕСТЬ
     1) ранжирование
     2) рандомизация
32. ЛИНИИ УРОВНЯ ФУНКЦИИ ПРИБЫЛИ НАЗЫВАЮТ

    1) изоквантами  2) изоквантилями

    3) изокостами  4) изопрофитами   5) изоклиналями

При конструировании ответов можно применить принцип кумуляции признаков, суть которого в том, что каждый следующий ответ содержит на один элемент больше, чем предыдущий:

33. ТЕХНОЛОГИЯ ПРОИЗВОДСТВА ОПИСЫВАЕТ 
     1) объем используемых ресурсов
     2) объем используемых ресурсов и объемы выпуска
     3) объем используемых ресурсов,  объемы выпуска и цены ресурсов
     4) объем используемых ресурсов,  объемы выпуска,  цены ресурсов и цены продукции
    
34. ОБЩИМ ИЗДЕРЖКАМ РАВНЫ ИЗДЕРЖКИ 
     1) переменные
     2) переменные + постоянные
     3) переменные + постоянные + предельные
     4) переменные + постоянные + предельные + средние
    
35. В ЗАДАЧЕ О ЗАЧЕТЕ ВЫИГРЫШ МОЖЕТ БЫТЬ
     1) положительным
     2) положительным или отрицательным
     3) положительным, или отрицательным, или нулевым

В следующих заданиях одновременно применены принципы противоположности и кумуляции:

36. ОТНОСИТЕЛЬНАЯ ПРИБЫЛЬ РАВНА ДОХОДУ ОТ РЕАЛИЗАЦИИ ГОТОВОЙ ПРОДУКЦИИ ЗА ВЫЧЕТОМ СТОИМОСТИ
     1) сырья
     2) производства
     3) сырья и производства


37. В ЭКОНОМИКЕ ОБМЕНА ДЕНЕЖНЫЙ ДОХОД АГЕНТА ИЗМЕРЯЕТСЯ
     1) ценами товаров
     2) начальными запасами
     3) ценами и начальными запасами
     4) ценами, начальными запасами и предпочтениями агента
    

Применяя принцип сочетания, используют соединение двух, трех или четырех слов в каждом ответе. Можно, например, сочетать более или менее однородные и правдоподобные пары ответов.

38. ГРАФИКИ СОСТАВЛЯЮЩИХ ЦЕЛЕВОЙ ФУНКЦИИ В ЗАДАЧЕ УПРАВЛЕНИЯ ЗАПАСАМИ

    1) прямые линии  2) парабола и прямая

    3) гипербола и прямая  4) гипербола и парабола

    
    
39. ИГРА С ПРЕСЛЕДОВАНИЕМ ШEРЛОКА ХОЛМСА ОТНОСИТСЯ К ЧИСЛУ ИГР С НУЛЕВОЙ

    1) суммой выигрышей  2) суммой проигрышей

    3) разностью выигрышей  4) разностью проигрышей

40. В РАВНОВЕСИИ ПРЕДЕЛЬНЫЕ НОРМЫ ЗАМЕЩЕНИЯ

     1) равны между собой, но не равны относительным ценам
     2) равны между собой и равны относительным ценам
     3) не равны между собой, но равны относительным ценам
     4) не равны между собой и не равны относительным ценам
    

41. КАЖДАЯ ТОЧКА ИЗОКВАНТЫ
     1) технологически неэффективна
     2) технологически эффективна
     3) экономически неэффективна
     4) экономически эффективна
    

Ответы сочетаются также по правилу цепочки, причем последнее слово в первом ответе становится первым во втором ответе, последнее во втором – первым в третьем и т.д. Понятия сочетаются по два и по три.

42. ФУНКЦИЯ y=-2x²+5x-1
     1) непрерывна, дифференцируема
     2) дифференцируема, монотонна
     3) монотонна, непрерывна
    
    
43. ФУНКЦИЯ y=2e^3x
     1) возрастает, вогнута
     2) вогнута, положительна
     3) положительна, возрастает
     4) возрастает, вогнута, положительна

Согласно принципу градуирования, ответы в задании упорядочиваются по возрастанию какого-то количественного признака.

44. НА РЕАЛИЗАЦИЮ ПРИРОДООХРАННЫХ МЕРОПРИЯТИЙ КРАЕВОГО ЗНАЧЕНИЯ ОТ ВСЕЙ СУММЫ, ПОСТУПИВШЕЙ В ЭКОЛОГИЧЕСКИЙ ФОНД, ВЫДЕЛЯЕТСЯ

    1) 9%  2) 10%

    3) 27%  4) 30%

    5) 54%  6) 60%

45. В ЭКОНОМИКЕ РОБИНЗОНА КРУЗО
     1) 1 агент, 1 ресурс, 1 товар
     2) 1 агент, 1 ресурс, 2 товара
     3) 1 агент, 2 ресурса, 2 товара
     4) 2 агента, 2 ресурса, 2 товара
46. МАКСИМАЛЬНОЕ ЗНАЧЕНИЕ КОЭФФИЦИЕНТА ДЖИНИ

    1) -∞  2) -1

    3) 0  4) 1

    5) 2  6) +∞

    47. ИСХОДЯ ИЗ ПРИВЕДЕННЫХ УСЛОВИЙ УРАВНЕНИЕ  КОЛИЧЕСТВЕННОЙ ТЕОРИИ ДЕНЕГ ПРЕДСКАЗЫВАЕТ ТЕМП ИНФЛЯЦИИ   1) 0,97%  2) 1,53%  3) 2,86%  4) 3,21%

Принцип удвоенного противопоставления применяется в заданиях с четырьмя ответами, части которых, построенные по принципу противоположности, сочетаются попарно.

48. СУБСИДИЯ ПРОИЗВОДИТЕЛЮ
     1) увеличивает производство, уменьшает потребление
     2) увеличивает производство, увеличивает потребление
     3) уменьшает производство, уменьшает потребление
     4) уменьшает производство, увеличивает потребление
    
    
49. ЕСЛИ ДЛЯ ЛЮБОЙ ТОЧКИ (x,y) ИЗ НЕКОТОРОЙ ОКРЕСТНОСТИ ТОЧКИ (a,b) ВЫПОЛНЯЕТСЯ УСЛОВИЕ f(x,y)>f(a,b), ТО В ТОЧКЕ (a,b) ФУНКЦИЯ f(x,y) ИМЕЕТ
     1) относительный максимум
     2) относительный минимум
     3) абсолютный минимум
     4) абсолютный максимум


50. ЕСЛИ ГРАЖДАНИН РОССИИ РАБОТАЕТ В ЯПОНИИ, ТО ЕГО ДОХОДЫ ВКЛЮЧАЮТСЯ В
     1) ВНП России и ВВП Японии
     2) ВВП России и ВНП Японии
     3) ВНП России и ВНП Японии
     4) ВВП России и ВВП Японии

Принцип фасетности содержания задания позволяет использовать фасеты в основном тексте задания. Фасет – это форма записи нескольких вариантов одного и того же задания. Множество слов и словосочетаний, образующих фасет, помещается в столбик и обрамляется фигурными скобками.

51. В ЗАДАЧЕ УПРАВЛЕНИЯ ЗАПАСАМИ ПАРАМЕТР

    1) положительный  2) отрицательный

    3) неположительный  4) неотрицательный

С помощью фасета создаются параллельные задания. Приведенное выше задание на самом деле содержит краткую запись для четырех параллельных заданий.

52. В ЗАДАЧЕ УПРАВЛЕНИЯ ЗАПАСАМИ ПАРАМЕТР с₁
    

    1) положительный  2) отрицательный

    3) неположительный  4) неотрицательный

Аналогично выглядят три других варианта задания 38 для параметров c₂, N, T. Фасет содержания задания может иметь большое количество вариантов. Например, список математических выражений может быть сделан сколь угодно длинным.

53. ПЛОСКОСТЬ ЧЕРЕЗ НАЧАЛО КООРДИНАТ
     1) проходит
     2) не проходит
54. ПОД ВОЗДЕЙСТВИЕМ БЮДЖЕТНЫЕ МНОЖЕСТВА ПОТРЕБИТЕЛЕЙ
     1) расширяются
     2) сокращаются
     2) не изменяются
     3) не расширяются
     4) не сокращаются

Когда в содержательной части задания используется оборот “Если…, то” или эквивалентные ему, то имеет место применение принципа импликации.

55. ЕСЛИ ДВА ПУТНИКА ОДНОВРЕМЕННО ОТПРАВЛЯЮТСЯ ИЗ ОДНОЙ ТОЧКИ, ОДИН НА ВОСТОК, ВТОРОЙ НА ЮГ, СО СКОРОСТЬЮ, СООТВЕТСТВЕННО x км/час И y км/час, ТО ЧЕРЕЗ t ЧАСОВ РАССТОЯНИЕ МЕЖДУ НИМИ СОСТАВИТ
    

    1) км  2) км

    3) км  4) км

56. ЕСЛИ  M - КОЛИЧЕСТВО ДЕНЕГ В ОБРАЩЕНИИ,  V - СКОРОСТЬ ОБРАЩЕНИЯ ДЕНЕГ, P - УРОВЕНЬ ЦЕН,  Y - ДОХОД, ТО УРАВНЕНИЕ КОЛИЧЕСТВЕННОЙ ТЕОРИИ ДЕНЕГ ИМЕЕТ ВИД 3

    1) MV = PY  2) MP = VY

    3) M/V =  P/Y  4) M/V =  P/Y

При конструировании заданий в тестовой форме, как правило, применяются сочетания принципов, о которых шла речь выше.

Разработчик теста вправе использовать любую обоснованную систему оценки выполнения заданий. Хотя в большинстве случаев за правильно выполненное задание принято давать один балл, а за неправильно выполненное – ноль, однако существуют и другие подходы в оценке. Например, в заданиях с выбором одного правильного ответа можно не ограничиваться дихотомической оценкой и дополнить эту шкалу третьей оценкой, -1, за неправильный ответ, а 0 давать в случае, когда испытуемый не указал никакого ответа. Логика такого подхода состоит в том, что испытуемый, понимающий, что он не может выбрать правильного ответа, потому что по каким-то причинам не усвоил необходимого материала, не заслуживает ни поощрения, ни наказания. Тот же, кто выбрал неправильный ответ, не только очевидным образом показал свое незнание этого вопроса, но, вполне вероятно, выбрал ответ случайно. Такой авантюризм можно наказать отрицательным баллом. Большое количество отрицательных баллов за выполнение отдельных заданий сделает отрицательной сумму баллов испытуемого. Перед тестированием следует предупредить испытуемых, что, если они не знают правильного ответа, то лучше не выбирать никакого или выбрать ответ, специально вводимый для этого случая.

57. ОБЩЕЕ РЕШЕНИЕ ДИФФЕРЕНЦИАЛЬНОГО УРАВНЕНИЯ ПРОИЗВОЛЬНУЮ ПОСТОЯННУЮ
     1) содержит
     2) не содержит
     3) затрудняюсь ответить

Впрочем, вычитание балла за любой ошибочный ответ в каждом случае должно быть хорошо педагогически обосновано.

В заданиях с выбором нескольких правильных ответов применимы те же принципы конструирования, что и в заданиях с выбором одного правильного ответа.

Инструкция к таким заданиям имеет вид:
ОБВЕДИТЕ КРУЖКОМ НОМЕРА ВСЕХ ПРАВИЛЬНЫХ ОТВЕТОВ:

57. ФАКТОРЫ-ДЕТЕРМИНАНТЫ СПРОСА – СУТЬ ИЗМЕНЕНИЯ
    

    1) технологии  2) цен на ресурсы  3) налогов и дотаций  4) числа поставщиков  5) числа покупателей

    6) дохода покупателей  7) ожидания потребителей  8) цен на сопряженные товары  9) объема доступных ресурсов  10) вкусов и предпочтений покупателей

    
    
58. К ПОЛИНОМАМ ОТНОСЯТСЯ ФУНКЦИИ
    

    1) y=  2) y=ax+b

    2) y=ax2+bx+c  3) y=

Если требуется указать не один верный ответ, а несколько из большого числа вариантов ответов, то без знания учебного материала угадать ответ маловероятно, так что информационная ценность заданий этого вида, вообще говоря, выше, чем у заданий с выбором одного правильного ответа.

В заданиях с выбором нескольких правильных ответов используется практически только два принципа композиции – однородность ответов и фасеты в основной части задания.

Задание с выбором нескольких правильных ответов считается выполненным правильно, если точно выбраны все без исключения правильные ответы. Как правило, один балл дается за правильно выполненное задание, ноль – за неправильно выполненное. Можно использовать и более широкую шкалу оценок. Например, за полностью выполненное задание давать 3 балла, за одну ошибку (один лишний ответ или один пропущенный) - 2 балла, и так далее, до нуля. Лишь бы правила оценки были определены заранее и известны испытуемым перед началом тестирования.

Наиболее часто при разработке заданий встречаются логические ошибки, суть которых в несоответствии инструкции содержанию задания, а также основной части задания – ответам. Например, в задании

59. ЧТОБЫ НАЙТИ ЧАСТНОЕ РЕШЕНИЕ ДИФФЕРЕНЦИАЛЬНОГО УРАВНЕНИЯ, НЕОБХОДИМО УСЛОВИЕ
     1) частное
     2) начальное
     3) произвольное
     4) никакое

последний ответ логически противоречит содержанию задания, где утверждается наличие условия.

Следующая типичная ошибка состоит в несоблюдении правила подбора ответов по одному основанию.

60. ЕСЛИ f(х)>0 ДЛЯ ВСЕХ х ИЗ НЕКОТОРОГО ИНТЕРВАЛА, ТО f(х) НА ЭТОМ ИНТЕРВАЛЕ
     1) выпукла
     2) вогнута
     3) возрастает

Здесь имеют место два основания подбора ответов: одно – выпукла/вогнута, а другое – возрастает/не возрастает.

Типичная ошибка разработчиков тестов состоит в том, что они оставляют в задании избыточную информацию. Более краткие формулировки основной части и ответов могут сделать задание более обозримым без потери его сути. Особенно мешает восприятию задания многословие ответов. Поэтому повторяющиеся слова из ответов рекомендуется выносить в основу задания. Чем короче ответы, тем яснее логика. В следующем примере слово “деятельность” повторяется в обоих ответах.

61. ЭКОЛОГИЧЕСКИЙ БИЗНЕС – ЭТО
     1) коммерческая деятельность
     2) некоммерческая деятельность

62. ЭКОЛОГИЧЕСКИЙ БИЗНЕС – ДЕЯТЕЛЬНОСТЬ
     1) коммерческая
     2) некоммерческая

63. ПЕРВООБРАЗНОЙ ФУНКЦИИ f(x)=2x НЕ ЯВЛЯЕТСЯ
     1) x²
     2) -x²

Испытуемый, знакомый с предметом, вынужден будет выбрать второй ответ. Однако первообразными данной функции не являются и другие функции, так что есть и другие правильные ответы, которые не были включены в состав этого задания. При дефиците времени задания в форме отрицательных утверждений трудно поддаются логическому анализу.

Типичная ошибка разработчиков тестов заключается и в том, что используется не все пространство возможных комбинаций ответов.

64. ДОСТАТОЧНОЕ УСЛОВИЕ СУЩЕСТВОВАНИЯ МИНИМУМА ФУНКЦИИ f(x) В ТОЧКЕ x=a
     1) f (a)=0
     2) f '(a)=0
     3) f '' (a)>0
     4) f '(a) = 0 и f '' (a)>0

Используя принцип сочетания, получим более завершенное по строению задание с тремя ответами:

Применяя принципы однородности и сочетания, множество ответов можно увеличить до шести элементов:

При большом числе возможных ответов рекомендуется использовать задания с выбором нескольких правильных ответов.

Задания открытой формы

Задание открытой формы конструируется в виде утверждения, рядом с которым готовые ответы с выбором не приводятся. Испытуемый сам дописывает в отведенном для этого месте свой ответ так, чтобы в результате получилось истинное высказывание. Эта форма задания сводит возможность догадки к минимуму. С помощью заданий открытой формы проверяют знание названий, формул, имен, фактов, свойств, признаков, дат, причинно-следственных отношений.

Инструкция к заданиям открытой формы может иметь вид:
ДОПОЛНИТЕ:

Если несколько заданий открытой формы следуют одно за другим, то инструкция пишется один раз перед всей группой таких заданий.

Чем ближе к концу фразы находится место для ответа, тем лучше понимается суть задания. В конце задания открытой формы ставится точка.

65. НИ ОДНОГО ЭЛЕМЕНТА НЕ СОДЕРЖИТ ___________ МНОЖЕСТВО.
66. ЕСЛИ n – НЕОТРИЦАТЕЛЬНОЕ ЦЕЛОЕ ЧИСЛО, a_n, a_n-1, …a₁, a₀ – ДЕЙСТВИТЕЛЬНЫЕ ЧИСЛА, ТО ФУНКЦИЯ F(x)= a_nxⁿ+ a_n-1x^n-1+ …+a₁x+ a₀ НАЗЫВАЕТСЯ ________________________.

Если в задании открытой формы пропускается два слова, то они могут подбираться по принципу противоположности, как следующем примере.

67. НА _________________ РЫНКЕ ВЛАСТЬ ПОЛУЧАЕТ ПРОИЗВОДИТЕЛЬ, А НА ___________________ - ПОКУПАТЕЛЬ.

При создании заданий открытой формы используются такие принципы композиции, как логическая определенность содержания задания, фасетность, параллельность, обратимость, логическая соразмерность объема определяющего понятия объему определяемого, краткость, неотрицательность и импликация. Рассмотрим на примерах применение этих принципов.

Выполняя задание, построенное в соответствии с принципом логической определенности содержания, испытуемый, знающий содержание предмета, легко находит ответ. Содержание и форма правильно сконструированного задания ведут его мысль прямо к правильному результату.

68. СОВОКУПНОСТЬ ОБЪЕКТОВ, ОБЪЕДИНЕННЫХ ОБЩИМ ПРИЗНАКОМ ИЛИ СВОЙСТВОМ, НАЗОВЕМ ________________.

Использование принципа фасетности обогащает возможности создания параллельных заданий.

69. ГРАФИК ФУНКЦИИ НАЗЫВАЕТСЯ _________.
70. ЕСЛИ , ТО f(g(x))=___________________.
71. ПЛОЩАДЬ ФИГУРЫ, ОГРАНИЧЕННОЙ ГРАФИКАМИ , и y=0 РАВНА _______________.

Чтобы проиллюстрировать применение принципа обратимости, покажем, как одно и то же утверждение может быть преобразовано в несколько заданий открытой формы.

72. 6+5=_____.
73. 6+______=11.
74. _____+5=11.

75. ___________.
76. 
    или
77. “ЕСЛИ , ТО f(x)=____________".
78. ЕСЛИ , ТО a=_____.

Посредством такого приема создаются параллельные задания для разных вариантов теста.

Кстати, параллельно с последними тремя примерами можно сконструировать, например, задания в рассмотренной выше форме, с выбором правильного ответа.

79. 
     1) x³/3+t
     2) t³/3
     3) (x-t)³/3

Принцип параллельности предполагает параллельность заданий по содержанию, по форме и по трудности. Параллельность заданий по содержанию обеспечивается применением рассмотренных выше принципов фасетности и обратимости. Использование принципов фасетности и обратимости в заданиях разных форм, имеющих одинаковое содержание, делает эти задания параллельными по содержанию и по форме. Параллельность заданий по содержанию, форме и по трудности имеет место в случаях, когда ко всему выше перечисленному добавляется одинаковая трудность заданий. Обратимся теперь к принципу логической соразмерности объема определяющего понятия объему определяемого.

Нередко оказывается, что задание открытой формы порождает несколько правильных ответов.

80. ПЕРВООБРАЗНАЯ ФУНКЦИИ f(x)=2x РАВНА ____________.

Испытуемый может вписать только “x²”, и его ответ будет таким же верным, как ответы “x²+с", "x²+10” или “x²-1”.

По-видимому, для обеспечения логической соразмерности ответа здесь вместо слова “первообразная” следует использовать “неопределенный интеграл”.

Еще один принцип конструирования заданий в тестовой форме – принцип краткости: чем меньше слов, тем меньше недоразумений:

81. =______.
82. ГЛАВНЫЙ СИГНАЛЬНЫЙ ФАКТОР НА РЫНКЕ - __________.

Согласно принципу неотрицательности, в основе задания не следует использовать отрицательных частиц или определять понятие, перечисляя элементы, не входящие в него. Приведем здесь пример из книги В.С.Аванесова (1998).

83. ТОЧКОЙ НАЗЫВАЕТСЯ ТО, ЧТО НЕ ИМЕЕТ ______________.

По определению Евклида, точкой называется то, что не имеет частей. Однако задание, предъявленное в такой форме, студент мог бы дополнить ответом “цвета”, “запаха”, “вкуса”, и был бы логически безупречен, потому что точка действительно не обладает ни одним из этих свойств, как впрочем, и многими другими.

В первой части задания, построенного по принципу импликации, заключено условие, во второй – заключение или вывод.

84. ЕСЛИ f(x)=, ТО f ' (x)=________

Посредством заданий открытой формы можно проверять знание терминов.

85. ЗНАЧЕНИЕ СЛУЧАЙНОЙ ПЕРЕМЕННОЙ, СООТВЕТСТВУЮЩЕЕ СЕРЕДИНЕ РАНЖИРОВАННОГО РЯДА ЕЕ РЕАЛИЗАЦИЙ, НАЗЫВАЮТ _________________

Однако, чтобы часто не повторять слово “называется”, вместо него можно ставить тире.

86. КРИВАЯ, К КОТОРОЙ ПРИБЛИЖАЕТСЯ ГРАФИК ДАННОЙ ФУНКЦИИ, НИКОГДА НЕ СЛИВАЯСЬ И НЕ ПЕРЕСЕКАЯ ЕЕ - _____________

Несколько последовательных заданий открытого типа, предназначенных для проверки знания терминов, можно объединить в таблицу под условным названием “КАК НАЗЫВАЕТСЯ”. Ответы в этой таблице вписываются испытуемым на специально предназначенные для этого места во втором столбце.

КАК НАЗЫВАЕТСЯ	ОТВЕТЫ:
1) ПРОЦЕСС ОТЫСКАНИЯ ПРОИЗВОДНОЙ ФУНКЦИИ	_________________
2) ОПРЕДЕЛЕНИЕ ПРИБЛИЖЕННОГО ЗНАЧЕНИЯ ФУНКЦИИ y= f(x) В ТОЧКЕ x* (x0,хn) ПО РЯДУ НАБЛЮДЕННЫХ ПАР ЗНАЧЕНИЙ (x0, y0), (x1, y1),…, (xn, yn)	_________________
3) ФУНКЦИЯ, РАВНАЯ ОТНОШЕНИЮ ДВУХ ПОЛИНОМОВ	_________________
4) ФУНКЦИЯ R=a1x1+ a2x2+…+ anxn, МАКСИМУМ ИЛИ МИНИМУМ КОТОРОЙ НАХОДИТСЯ ПРИ РЕШЕНИИ ЗАДАЧИ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ	_________________

При оценке правильности выполнения заданий открытой формы, обычно используется дихотомическая шкала {0,1}. Однако в случаях, когда в одном задании проверяется более одного элемента знаний, допустимо использовать и более широкие шкалы.

Задания на установление соответствия

Задания, где элементам одного множества требуется поставить в соответствие элементы другого множества, называют заданиями на установление соответствия. Задания на установление соответствия эффективны при самоконтроле и текущем контроле знаний. С их помощью проверяются так называемые ассоциативные знания, то есть знания о связи формы и содержания, сущности и явления, о соотношении между различными предметами, свойствами, законами. Испытуемый должен собрать ответ из элементов списка левой и соответствующих им элементов правой колонки.

Инструкция к заданиям этой формы имеет вид:
УСТАНОВИТЕ СООТВЕТСТВИЕ:

Номер задания ставится рядом с заголовком первого столбца. Заголовки пишутся прописными буквами. Заголовок каждого столбца относится ко всем элементам соответствующего множества. Элементы должны соответствовать названиям столбцов и быть короткими. Элементы левой колонки нумеруются цифрами, элементы правой – прописными буквами. Номер и буква отделяются от элементов столбца круглой скобкой и пробелом.

На каждый элемент слева должен найтись по крайней мере один элемент справа, а каждому элементу справа должен соответствовать только один элемент слева.

Строка ответов пишется посредине задания. Испытуемый пишет ответы буквами из правого столбца в соответствующих пробелах рядом с номерами.

ЧАСТНАЯ ПРОИЗВОДНАЯ ФУНКЦИИ z=f(x,y)  1)  2)

ОПРЕДЕЛЕНИЕ A) B) C)

ОТВЕТЫ: 1 _____; 2 ______.

Оценивая правильность выполнения задания на установление соответствия, можно использовать дихотомическую шкалу: 1 за безупречно выполненное задание, 0 даже за одну допущенную ошибку. Однако можно выставлять оценки на основе более широкой порядковой шкалы: 0 –“совершенно неверно”, 1- “есть верные элементы”, 2 – “много верных элементов” или “совершенно верно”, и т.д.

Задания на установление правильной последовательности

В тех случаях, когда требуется установить правильную последовательность действий или слов в определениях, используются задания на установление правильной последовательности. Это более сложный тип задания в тестовой форме, в процессе выполнения которого испытуемый конструирует ответ из предложенной неупорядоченной последовательности слов.

Задания на установление правильной последовательности используются для проверки знаний хода процесса, цепочки событий, действий и операций, а также определений и понятий. Они помогают формировать у учащихся алгоритмические мышление, знание и умение. Задания этой формы полезны как в качестве средства контроля знаний, так и в качестве средства обучения.

Инструкции к заданиям этой формы имеют вид:
УПОРЯДОЧИТЕ:
или
УСТАНОВИТЕ ПРАВИЛЬНУЮ ПОСЛЕДОВАТЕЛЬНОСТЬ:

93. “ПРАВИЛО ТРЕХ ШАГОВ” ОТЫСКАНИЯ ПРОИЗВОДНОЙ
    избавиться от х в знаменателе
    найти предел выражения при х0
    найти отношение приращения функции к приращению аргумента
 
94. ПОСЛЕДОВАТЕЛЬНОСТЬ ЗАДАЧ СК ФИРМЫ
    построение производственной функции
    построение функции издержек
    максимизация прибыли по выпуску

Испытуемый должен расставить в отведенных для ответов местах в начале каждой строчки порядковые номера элементов последовательности действий.

Посредством заданий этой формы можно проверять знание последовательности доказательства теорем.

95. ДОКАЗАТЕЛЬСТВО ФУНДАМЕНТАЛЬНОЙ ТЕОРЕМЫ ИНТЕГРАЛЬНОГО ИСЧИСЛЕНИЯ ДЛЯ НЕОТРИЦАТЕЛЬНОЙ ФУНКЦИИ f(x), x[a,b]
    ввести функцию F(x)=А(х)+с
    найти производную функции А(х)
    использовать условие =0
    найти значение А(в) через значения функции F(x)
    показать, что А(х) есть первообразная функции f(x)
    оценить отношение приращения функции А(х) к приращению аргумента
    ввести функцию А(х), х[a,b], равную площади криволинейной трапеции над отрезком [a,x]
    использовать условие: А(в) равно площади криволинейной трапеции над отрезком [a,b]

Задания на установление правильной последовательности полезны при проверке знаний формулировок утверждений и определений.

96. “ТРАГЕДИЯ ОБЩИХ РЕСУРСОВ”
    то
    что
    чем
    ничего
    быстрее
    не стоит
    необходимо
    потребляется
    

После расстановки номеров слов в этом задании должно получиться утверждение: “То, что ничего не стоит, потребляется быстрее, чем необходимо”.

Инструкция к заданию может сопровождаться необходимыми пояснениями. Название задания пишется заглавными буквами; оно декларирует, знание чего должен продемонстрировать испытуемый, причем ключевое слово в нем должно иметь именительный падеж.

Ранжируемые элементы в задании ставятся в случайном порядке. Чтобы окончания слов не служили подсказкой, их пишут в именительном падеже. Предлоги и союзы из множества ранжируемых элементов могут исключаться.

Чаще всего используется дихотомическая оценка правильности выполнения задания: 0 или 1. Однако можно применить и другое правило оценивания. Например, правильно выполненное задание оценивать 3 баллами, ошибка в конце задания снижает оценку на 1 балл, ошибка в середине – на 2 балла, а ошибка в начале – к снижению оценки выполнения всего задания до нуля.

Каждая из рассмотренных выше форм заданий может быть применена для проверки знаний. Выбор зависит от цели применения теста и от вкусов его разработчика.

Статистические характеристики заданий

Рассмотрим самые простые и необходимые процедуры статистической обработки результатов тестирования знаний и методы оценки качества теста в соответствии с классической теорией тестирования.

Обозначим через x_ij числовую оценку успешности выполнения j-го задания, выполненного i-м испытуемым. Результаты тестирования обычно представляются в виде матрицы {x_ij} с n строками и m столбцами (i=1,…,n; j=1,…,m). В практике тестирования принято, как правило, пользоваться дихотомической шкалой оценок результатов, когда множество возможных оценок состоит всего из двух элементов {0;1}: 0 – задание не выполнено, 1 – выполнено правильно. Это, конечно, не единственно возможная шкала. Расчет, однако, ведется по формулам, приведенным ниже, независимо от выбранной для оценок шкалы.

Процесс статистической обработки матрицы результатов тестирования будем рассматривать последовательно, по шагам.

• 1 шаг. Вычисляются индивидуальные баллы испытуемых y_i (i=1,…,n), показывающие результат выполнения теста каждым студентом:
.

Поскольку для проверки статистических гипотез, которые применяются в классической теории тестов, используют предположение о нормальном распределении суммарных баллов испытуемых, то рекомендуется исследовать распределение частот. Для сравнения распределения баллов с нормальным можно использовать любой из критериев, применяемых обычно для этой цели.

• 2 шаг. Вычисляются средние результаты суммарных баллов испытуемых: .
• 3 шаг. Вычисляются средние результаты испытуемых по каждому заданию: . Для дихотомических данных величины, вычисляемые по аналогичной формуле, обозначаются через p_j и традиционно называются в тестологии мерой трудности задания j (j=1,2,…,m): . Заметим, однако, что чем больше величина коэффициента p_j, тем большая часть испытуемых успешно справляется с заданием j. Так что на самом деле коэффициенты p_j (j=1,2,...,m) должны интерпретироваться как показатели легкости заданий.
• 4 шаг. Вычисляется дисперсия и стандартное отклонение суммарных баллов испытуемых:
  , .
• 5 шаг. Вычисляется дисперсия результатов испытуемых по j–ому заданию (j=1,…,m). Если успешность выполнения задания оценивается баллами 0 или 1, мера вариации определяется по формуле:
  . Когда множество оценок состоит из более чем двух значений, применима формула: . Вычислив дисперсию, можно найти и стандартное отклонение .
• 6 шаг. Определяется связь каждого j–го задания (j=1,…,m) с суммой баллов по всему тесту. Для этого можно использовать коэффициент корреляции Пирсона:
.
• 7 шаг.Определяется попарная корреляционная связь заданий между собой. Здесь тоже можно использовать коэффициент корреляции Пирсона r_jk, (j,k=1, 2,…,m): . Для дихотомических оценок успешности выполнения заданий тот же результат можно получить, оценив эту связь посредством коэффициента корреляции (j,k=1, 2,…,m) для такого рода данных: , где A– количество испытуемых, верно выполнивших задания jи k; B, - количество испытуемых, верно выполнивших задание jи неверно - задание k; C - количество испытуемых, неверно выполнивших задание j и верно задание k; D - количество испытуемых, неверно выполнивших задания jи k.Очевидно, величины A,B,C и D вычисляются по формулам: , ,,.
• 8 шаг. Вычисляется индекс I_j(j=1, 2, … m)дискриминативности задания, то есть его различающая способность, указывающая на возможность разделять отдельных испытуемых по уровню выполнения теста в целом. Для этого из общей совокупности испытуемых выделяют две подгруппы – тех, кто получил самые высокие суммарные баллы, и тех, кто получил самые низкие. Тогда индекс дискриминативности может быть определен как разность между относительными численностями испытуемых, правильно выполнивших задание jв этих двух подгруппах. Например, упорядоченную совокупность суммарных баллов делят на три части и сравнивают результаты выполнения каждого задания j первой и последней третями испытуемых.В этом случае для дихотомических данных индекс приобретает вид:


Чем больше коэффициент I_j, тем больше дискриминативность задания.
При наличии больших выборочных совокупностей дихотомических данных и нормального распределения индивидуальных сумм баллов рекомендуют рассчитывать для всех заданий бисериальные коэффициенты корреляции В_j (j=1, 2, … m):

где M_j1– среднее арифметическое сумм баллов по всему тесту для испытуемых, получивших по данному заданию 1 балл; M_j0– среднее арифметическое сумм баллов по всему тесту для испытуемых, получивших по данному заданию 0 баллов; n_j1– число испытуемых, получивших по данному заданию 1 балл; n_j0– число испытуемых, получивших по данному заданию 0 баллов.Очевидно, входящие в формулу величины могут быть рассчитаны следующим образом: ,
• 9 шаг.Очередной шаг делается на основе вектора корреляций {R_j} (или {В_j}), корреляционной матрицы } (или {}) и вектора коэффициентов трудности {p_j}. Из собрания тестовых заданий удаляются задания, не обладающие дискриминативностью, то есть задания слишком легкие (p_j>0,9) и слишком трудные (p_j <0,2). Затем исключаются задания, плохо коррелирующие с суммой баллов (R_j<0,15), и имеющие отрицательные коэффициенты корреляции (или r_jk).
• 10 шаг. Для укороченного списка заданий вновь подсчитываются суммарные баллы испытуемых y_i. Затем составляется новая, упорядоченная, матрица данных тестирования, в которой столбцы располагаются в порядке возрастания трудности заданий, а строки – в порядке уменьшения, сверху вниз, суммарных баллов испытуемых. Для редуцированной матрицы пересчитываются средний суммарный балл, дисперсия суммарных баллов и коэффициенты корреляции заданий с суммой баллов.

Проверка качества теста

Чтобы полученное собрание тестовых заданий можно было считать тестом, оно должно удовлетворять определенным критериям надежности и валидности.

Надежность теста r тем выше, чем более согласованы результаты одного и того же человека при повторной проверке знаний посредством того же теста или эквивалентной его формы (параллельного теста). Согласованность результатов можно измерять коэффициентом корреляции Пирсона.
Если значения коэффициента r  попадают в интервал 0,80-0,89, то говорят, что тест обладает хорошей надежностью, а если этот коэффициент не меньше 0,90, то надежность можно назвать очень высокой.
Другие, более практичные, методы оценки надежности теста, основаны на однократном применении единственной формы теста.
При применении метода расщепления откорректированную выше описанным образом тестовую матрицу разбивают на две половины, состоящие из заданий с четными и нечетными номерами. Коэффициент корреляции r_1/2 Пирсона между двумя совокупностями суммарных баллов результатов сам по себе уже может служить оценкой надежности всего теста.
Оценку надежности полного теста можно делать также с использованием коэффициента корреляции r_1/2, по формуле Спирмана-Брауна :

.

,

Здесь ( y_i^чет-y_i^нечет), (i=1,2,…n) - разность сумм баллов в строках с номером i субматриц с четными и нечетными заданиями.

Еще один метод определения надежности, основанный на однократном предъявлении единственной формы теста, носит имя Кьюдера-Ричардсона. Он использует данные о выполнении испытуемыми каждого задания. Коэффициент надежности Кьюдера-Ричардсона вычисляется по следующей формуле:

Показано, что такой коэффициент равен среднему арифметическому значений коэффициентов надежности, найденных по методу расщепления при всех возможных разбиениях теста.

Чем выше показатель надежности, тем меньше стандартная ошибка измерения индивидуального результата. Показатель надежности можно использовать для построения доверительного интервала, в пределах которого с выбранной вероятностью Р находится истинное значение оценки знаний испытуемого: , где t_P – значение статистики Стьюдента, найденное для выбранной вероятности P, когда число испытуемых равно n.

Валидность теста показывает, насколько хорошо тест делает то, для чего он был создан. Определить коэффициент валидности теста – значит определить, как выполнение теста соотносится с другими независимо сделанными оценками знаний испытуемых. Для определения валидности требуется независимый внешний критерий, то есть оценка эксперта (преподавателя). За коэффициент валидности принимают коэффициент корреляции результатов тестовых измерений и критерия. Если экспертная оценка знаний испытуемых, полученная независимо от процедуры тестирования, представлена числовой последовательностью Y₁,Y₂, …, Y_n, то коэффициент валидности теста может быть рассчитан по формуле:

,

, .

Из двух тестов, предназначенных для одной и той же цели, более эффективен тот, который быстрее, дешевле и качественнее измеряет знания данной группы испытуемых.

 При подготовке материала использованы следующие литературные источники:

1. Аванесов В.С. Научные основы тестового контроля знаний. М.: Исследовательский центр, 1994. – 135 с.
2. Аванесов В.С. Композиция тестовых заданий. Учебная книга для преподавателей вузов, техникумов и училищ, учителей школ, гимназий и лицеев, для студентов и аспирантов педагогических вузов. М.: Центр тестирования, 2002, - 240 с.
3. Анастази А. Психологическое тестирование. Кн.1. – М.: Педагогика, 1982. – 320 с.