Реферат по теме магистерской работы:
Актуальность рассматриваемого вопроса
В современных условиях жизни одним из важных факторов успешного перехода всего человечества от постиндустриального к информационному обществу является эффективное функционирование системы образования. Высшее образование на сегодняшний день является основной составляющей системы образования, определяющей не только современное состояние общества, но и перспективы его развития.
Усовершенствование учебного процесса должно осуществляться по различным критериям. Одной из важнейших составляющих модернизации учебного процесса является разработка объективных методик контроля знаний и оценки качества обучения. Контроль качества знаний выполняет три основные функции:
1. Управляет процессом усвоения знаний. Контроль дает возможность увидеть ошибки, оценить результаты обучения, осуществить коррекцию знаний, умений и навыков;
2. Воспитывает познавательную мотивацию и стимулирует творческую деятельность. Правильно организованная система контроля позволяет пробудить чувство ответственности за результаты обучения (получение более высокой оценки), способствует стремлению к целенаправленной работе по исправлению ошибок;
3. Является средством обучения и развития.
Проблема контроля знаний чрезвычайно сложна из-за отсутствия строгой структуры знаний. Однако наиболее серьезными являются проблемы объективности оценивания знаний. Например, одна и та же оценка уровня знаний студента в различных учебных заведениях может соответствовать разным, иногда даже несопоставимым уровням знаний. Эти проблемы могут быть успешно разрешены с применением тестирования. Несмотря на некоторые недостатки, тестирование получило широкое применение в учебном процессе, в определении уровня профессиональной пригодности и подготовки. К преимуществам оценивания знаний методом компьютерного тестирования относят:
1. Применение современных методов оценки знаний;
2. Оперативность обработки результатов тестирования;
3. Возможность реализации обучающей функции;
4. Индивидуализация процесса усвоения знаний учащимися;
5. Освобождение преподавателя от выполнения рутинных работ.
Для проведения компьютерного тестирования необходима база тестовых заданий, соответствующих Государственным образовательным стандартам. Для создания качественного тестового задания необходимо обладать высоким педагогическим опытом. Написание таковых заданий является тяжелой задачей:
Во-первых, необходимо оценивать качество каждого теста – соответствие направлению изучаемого курса и реальным возможностям студентов, учитывая при этом сильно действующие временные ограничения на выполнение ими тестовых заданий. Если соответствие направлению курса обучения можно проверить, анализируя только литературу, то проверка «посильности» каждого теста и даже каждого задания в отдельно взятом тесте возможна только после проверки в реальном эксперименте.
Во-вторых, желательна оценка применимости всей базы тестов, насколько она захватывает весь программный материал или хотя бы наиболее существенную его.
Проведенный анализ существующих компьютерных систем тестирования показал, что они в большинстве случаев ориентированы на проведение тестов, а не на их разработку. При реализации тестирования ни одна из рассмотренных компьютерных систем тестирования не поддерживает адаптивные методы проведения тестов.
Таким образом, актуальность рассматриваемого вопроса определяется необходимостью разработки компьютерной системы тестирования, устраняющей недостатки рассмотренных систем, обеспечивающей реализацию адаптивных методов тестирования, опирающейся при разработке тестов на теоретические основы как классической, так и современной теории тестирования.
Отчёт о поиске в ДонНТУ
1. Магистр Трофименко Е.С. "Разработка автоматизированной системы тестирования знаний студентов в области компьютерных
технологий с использованием механизмов адаптации"
2. Магистр Казаченко Е.В. на тему "Разработка экспертной системы проверки знаний по результатам тестирования"
3. Магистр Тризна С.В. на магистерскую работу по теме «Система дистанционного тестирования студентов в Internet с модулем искусственного интеллекта по предмету
"Теория обработки графической и звуковой информации в цифровых системах»
Отчёт о поиске в Украине
1. Лубяной Евгений Сергеевич тема: "Разработка автоматизированной программы тестирования знаний обучающихся"
2. Аверьянов Сергей Вадимович тема "Разработка и исследование сетевых средств дистанционного тестирования знаний на основе вероятностных критериев"
3. Ляукин Андрей тема "Разработка Системы Компьютерного Тестирования Знаний
Отчёт о поиске в мире
1. Timkin S. An introductory course in information obrazovaelnuyu Wednesday Open Education (ILE GS)
2. P.Kline Handbook on designing tests
3. M.Chelyshkova Theory and practice of designing pedagogical tests
4. A.Pavolotsky "The methodology of the automated monitoring of knowledge."
Цель исследовательской работы
Целью исследовательской работы является повышение эффективности контроля знаний с помощью компьютерной системы тестирования, что позволяет своевременно получать информацию о качестве учебного процесса, необходимую для принятия управленческих мер.
Для достижения цели необходимо решить следующие задачи:
1. Анализ существующих компьютерных систем тестирования и выявление их достоинств и недостатков;
2. Анализ существующих моделей и алгоритмов проведения тестирования;
3. Поиск путей повышения качества тестирования с помощью использования компьютерной системы тестирования;
4. Разработка моделей и алгоритмов, повышающих эффективность использования компьютерной системы тестирования;
5. Разработка компьютерной системы тестирования. Определение её структуры и функционального назначения её модулей.
6. Апробация разработанной системы в конкретной предметной области.
Разновидность тестовых заданий и система их оценивания
Для создания качественной тестовой базы необходимо составить и включить в нее задания разных типов. Для объективного оценивания степени трудности тестовых заданий разных
типов вводится коэффициент оценивания ri.
1. Одноальтернативные тестовые задания, задания на установление последовательности, открытые тестовые задания - задания с одноальтернативным ответом
(тесты с однозначным выбором ответа). На каждое задание предлагается несколько вариантов ответа, из которых только один верный. Предлагаемая ниже система
оценивания называется дихотомической.
ri = 1 [правильный ответ/последовательность]
ri = 0 [неправильный ответ/последовательность]
2. Многоальтернативные тестовые задания (Тест с многозначным ответом). В варианты ответа может быть внесено более верного ответа, но в разных видах. При оценивании многоальтернативных заданий дихотомической системы оценивания недостаточно, потому что испытуемый может дать неполный ответ. В данном случае необходимо учитывать не только количество верных ответов, но и количество допущенных ошибок.
, где Q1 – множество всех правильных вариантов ответа в задании, Q2 – количество правильных вариантов ответа, выбранных обучаемым, Q3 – количество неправильных вариантов ответа обучаемого
3. Задания на установление соответствия
, где Q1 – количество пар для сопоставления, Q2 – количество верно составленных пар
4. Открытые тестовые задания (таблицы) При заполнении таблицы каждая ячейка является отдельным вариантом ответа. Если одна из ячеек заполнена неверно, такой ответ нельзя засчитывать как полностью неправильный (введение одного неверного значения в ячейку может быть механической ошибкой, и поэтому оно должно не полностью обнулить результат выполнения работы, а лишь снизить результат выполнения задания).
, где Q1 – количество ячеек, которые предлагается заполнить обучаемому, Q2 – количество ячеек, которое обучаемый заполнил правильно
5. Многошаговые тестовые задания (одноальтернативные, последовательности) состоят из набора заданий (набора шагов), решаемых последовательно, когда переход к следующему шагу задания осуществляется только после правильного ответа на предыдущий шаг. Благодаря этому обучаемый сразу может увидеть, где им допущена ошибка и в дальнейших шагах получить правильные исходные данные, т.е. ошибки в заданиях не будут накапливаться.
, где i – номер шага, mi – количество ошибок, допущенных на i-м шаге, n – количество шагов
6. Многошаговые тестовые задания (соответствие)
, где j – номер попытки прохождения шага, если на нем была допущена ошибка, Q2ij – количество пар для составления на i-м шаге при j-й попытке, Q1ij – количество верно составленных пар на i-м шаге при j-й попытке.
7. Многошаговые тестовые задания (многоальтернативные)
, где Q1ij – количество правильных вариантов ответов на i-м на шаге при j попытке, Q2ij – количество правильных ответов, выбранных тестируемым на i-м шаге, Q3ij – количество неправильных ответов, выбранных тестируемым на i-м шаге при j-й попытке
Итоговая оценка выполнения всего теста R, состоящего из набора тестовых заданий, содержащего Z уровней сложности, определяется по формуле:
, где B – балльность системы, N – количество тестовых заданий, включенных в тест, zi – уровень сложности i-го задания, 
– суммарная сложность теста, которая определяется по формуле:
Структура компьютерной системы тестирования
Рис.1 - Структура компьютерной системы тестирования
15 кадров. Размер анимации: 550px х 400px. Размер файла: 35.7 Kbytes.
Создано при помощи Macromedia Flash.
Сервис преподавателя, включает в себя редактор тестов, позволяющий создавать новые задания, выяснять наличие повторений вопросов в темах, отсутствие правильных и неправильных вариантов ответа.
Формирование задания. В соответствии с указаниями преподавателя этот блок создает сценарий проверочной работы для каждого студента, случайным образом выбирая из банка вопросов определяемое преподавателем количество заданий по каждой теме.
Банк вопросов. База тестовых заданий, которая на данный момент состоит из вопросов двух типов: Открытые тестовые задания, Многоальтернативные тестовые задания
Банк ответов содержит правильные ответы к каждому заданию.
Блок управления обеспечивает сверку данного студентом ответа с содержанием банка ответов.
Блок формирования оценок. Рассчитывает итоговую оценку и выводит её на экран.
На данный момент на языке программирования Visual Basic разработана первая версия компьютерной системы тестирования, которая включает в себя редактор тестов, позволяющий
выяснить наличие повторений вопросов в темах, отсутствие правильных и неправильных вариантов ответа, некорректный выбор количества вопросов для тестирования по теме или предмету.
База тестовых заданий состоит из вопросов двух типов: открытые тестовые задания и многоальтернативные тестовые задания.На экран задания выводятся по одному, чтобы не отвлекать
внимание от предлагаемого задания (рис.2). В случае, если испытуемый не выберет ответ, на экране появится предупредительное сообщение. По окончанию тестирования на экран выводится
количество правильных ответов (в дальнейшем по окончанию тестирования планируется выставление итоговой оценки)
Рис.2 – Графический интерфейс компьютерной системы тестирования
Выводы
Человеку в современных условиях жизни необходимо иметь возможности непрерывного совершенствования знаний, переквалификации или переподготовки.
Именно с этой целью постоянно разрабатываются новые технологии обучения и внедряются эффективные формы контроля знаний. Одной из таких форм является проведение
тестирования. Это наиболее стандартизованный и объективный метод контроля и оценивания знаний. Существуют методы оценки знаний с использованием моделей, учитывающих только правильность ответов студентов, и моделей, учитывающих параметры заданий и уровень усвоения знаний.
Проведенный анализ существующих компьютерных систем тестирования показал, что они в большинстве случаев ориентированы на проведение тестов, а не на их разработку. При реализации тестирования ни одна из рассмотренных компьютерных систем тестирования не поддерживает адаптивные методы проведения тестов, слабо развита политомическая оценка выполнения тестовых заданий.
Направлением дальнейшей работы есть усовершенствование базы тестовых заданий. Добавление заданий других видов, таких как определение последовательности, задания на установление соответствия, многошаговые тестовые задания
Литература
1. М.Ф.Бондаренко, В.В.Семенец, Н.В.Белоус, И.В.Куцевич, И.А.Белоус «Оценивание тестовых заданий разных типов и определение их уровня сложности», 2009, «Искусственный интеллект» / Национальная библиотека Украины им. В.И.Вернадского [Электронный ресурс] – Режим доступа: http://www.nbuv.gov.ua/portal/natural/ii/2009_ 4/7%5C00_Bondarenko_Semenets_Belous_Kutsevich_Belous.pdf
2. А.В. Паволоцкий «Методика проведения автоматизированного контроля знаний». 2006. Московский педагогический государственный университет. [Электронный ресурс] - Режим доступа: http://conf2006.pskovedu.ru/files/thesis/388.doc
3. А.А. Проскурнин «Автоматизированная система контроля знаний» / Ростовский государственный педагогический университет [Электронный ресурс] - Режим доступа: http://www.philippovich.ru/Projects/RFFI/almanah/Proskurnin1.pdf
4. Челышкова М.Б. Теория и практика конструирования педагогических тестов [Текст] / Челышкова М.Б. – М: Логос, 2002. – 432 с.
5. Malcheva R., Korotin Y. & Gurov D. The applying of the computer visualization technology for improving of lectured perception. // Сборник трудов VIII МНТК, Т.3., Донецк, 2001 – с.161-164.Malcheva R., Korotin Y. & Gurov D. The applying of the computer visualization technology for improving of lectured perception. // Сборник трудов VIII МНТК, Т.3., Донецк, 2001 – с.161-164.
6. А.А.Андреев, С.Л.Каплан, В.Г.Кинелев, Г.А.Краснова, В.Ф.Кривошеев. "Преподавание в сети Интернет". Учеб. пособие / Отв. редактор В.И.Солдаткин. — М: Высшая школа, 2003 - 792 с.
7. Моисеева М.В., Полат Е.С., Бухаркина М.Ю., Нежурина М.И. Интернетобучение: технологии педагогического дизайна / Под ред. кандидатa педагогических наук М.В. Моисеевой. — М.: Издательский дом «Камерон», 2004. — 216 с.
8. Тимкин С.Л. Вводный курс в информационно-образоваельную среду открытого образования (ИОС ОО): Учебное пособие. - Омск: Издательство ОмГУ, 2005. - 136с.
9. Аванесов В.С. Основы научной организации педагогического контроля в высшей школе./ Учебное пособие. М., 1989г., - 167с.
10. Аванесов B.C. Научные проблемы тестового контроля знаний / Учебное пособие. М., 1994. - 135 с.
11. Гуревич К.М. Методы тестирования в дидактических исследованиях / Методы педагогических исследований. М., 1979. С. 139 - 158.
12. Матушанский Г. У. Проектирование педагогических тестов для контроля знаний // Информатика и образование. — 2000. — № 6. — С. 7-10.
13. Клайн П. Справочное руководство по конструированию тестов / Пер. с англ. — К.: ПАН Лтд., 1994. — 288 с.
14. Воробейчикова О. В. Структурированные тесты как средство контроля знаний // Информатика и образование. - 2001. - №7. - С.14-17.
, где Q1 – множество всех правильных вариантов ответа в задании, Q2 – количество правильных вариантов ответа, выбранных обучаемым, Q3 – количество неправильных вариантов ответа обучаемого
, где Q1 – количество пар для сопоставления, Q2 – количество верно составленных пар
, где Q1 – количество ячеек, которые предлагается заполнить обучаемому, Q2 – количество ячеек, которое обучаемый заполнил правильно
, где i – номер шага, mi – количество ошибок, допущенных на i-м шаге, n – количество шагов
, где j – номер попытки прохождения шага, если на нем была допущена ошибка, Q2ij – количество пар для составления на i-м шаге при j-й попытке, Q1ij – количество верно составленных пар на i-м шаге при j-й попытке.
, где Q1ij – количество правильных вариантов ответов на i-м на шаге при j попытке, Q2ij – количество правильных ответов, выбранных тестируемым на i-м шаге, Q3ij – количество неправильных ответов, выбранных тестируемым на i-м шаге при j-й попытке
, где B – балльность системы, N – количество тестовых заданий, включенных в тест, zi – уровень сложности i-го задания, – суммарная сложность теста, которая определяется по формуле:
