Мониторинг успеваемости студентов как одно из направлений оценки качества системы управления в ВУЗе
Автор: Спешилова Н. В. – к. э. н., доцент, источник: http://ej.kubagro.ru/2006/04/26/
Статья раскрывает возможности решения проблемы осуществления мониторинга успеваемости студентов через создание и освоение системы объективной проверки знаний с использованием информационных технологий на базе разработанной многофункциональной системы тестирования. Показаны особенности функционирования данного программного продукта. Сделан акцент на научном подходе к формированию тестового материала согласно последним веяниям в теории тестов, что обосновывает характеристику системы тестирования как надежного и валидного инструментария.
The article shows possibilities of the problems solution of monitoring the students progress through making and mastering the system of the checking their. Knowledge using information technologies basing on the multifunctional test system worked out. Functioning peculiarities of this programmed product are shown there. The scientific approach to the forming of test material is emphasized according to the latest trends in the test theory, and it proves that characteristic of this system as being reliable and valid instrument.
Организованный в фиксированные моменты времени контроль позволяет определить местонахождение объектов, на которые воздействует управление (в данном случае совокупность обучающихся), по отношению к цели, выдвигаемой как на каждом этапе, так и глобально. Это способствует выработке оперативных решений по выбору наиболее целесообразных действий, которые помогут скорректировать процесс и за оставшееся время максимально приблизиться к достижению преследуемой цели. Определение эффективности управления происходит посредством определения степени соответствия заданной цели путем осуществления мониторинга успеваемости и самоконтроля, позволяющего студенту самому оценить свои текущие знания по предмету и, с учетом результата, выработать меры по самоуправлению процессом познания, что в свою очередь способствует развитию самостоятельного мышления. В соответствии с этим необходимо разработать алгоритм и на его основе создать соответствующий программный продукт, играющий роль контролирующей подсистемы системы управления процессом обучения.
Проблема измерения знаний, умений и навыков всегда стояла остро в отношении компетентности, надежности и валидности инструментария его организации. Она расположена особняком по отношению к другим задачам обучения и представляет собой одно из направлений, изучению которого посвящены работы В. С. Аванесова [1; 2]. Основным аспектом их содержания является применение тестов для организации контроля в рамках теории и методики контроля, в соответствии с принципами его научной организации, использованием новейших достижений в этой области, связанных в основном с интенсивно разрабатываемыми сейчас моделями оценки качества заданий и уровня учебных достижений студента. Даются рекомендации по научной организации системы педагогического контроля в вузе с использованием современной тестовой технологии и компьютерной техники.
Процесс обучения немыслим без постоянно действующей обратной связи, информирующей преподавателя о состоянии знаний каждого студента, о трудностях, возникающих у обучаемого в процессе учения, об уровне усвоения им знаний. Такая обратная связь устанавливается различными способами контроля (устный опрос, проверка индивидуальных домашних заданий, контрольные работы и пр.). В помощь преподавателю внедрились и укрепились технические средства контроля, ускоряющие этот аспект его деятельности.
Проблема создания и освоения системы объективной проверки знаний студентов в образовании сегодня особенно актуальна. В связи с этим в настоящее время придается большое значение ее решению, так как активное использование таких систем помогает поддерживать нужный образовательный уровень студентов, предоставляет преподавателю возможность уделять больше внимания индивидуальной работе с обучаемыми. Следует также подчеркнуть, что контролирующая система вовсе не исключает преподавателя из процесса проверки знаний. Освобождая его от многих формальных и трудоемких процедур, система позволяет сосредоточить внимание на индивидуальных проблемах каждого студента. Таким образом, роль преподавателя возрастает с неизменным расширением его возможностей.
С помощью компьютера организуется непрерывная обратная связь в виде предварительного, текущего и рубежного контроля, что способствует улучшению управления процессом обучения и повышению качества знаний.
Применение информационных технологий в сопровождении процедуры оценки объема и качества знаний (использующих принципы тестового подхода, многобалльной шкалы оценки и статистических методов обработки и анализа) оправдано следующим.
Во-первых, наиболее распространенные на современном этапе формы оценки знаний (экзамен, зачет, коллоквиум и т. д.) не отвечают условиям воспроизводимости и сравнимости результатов, полученных на различных контингентах испытуемых, так как основываются на субъективном мнении одного или нескольких преподавателей. И хотя практика подтвердила необходимость таких форм контроля, все же при устном опросе (экзамене или зачете) на оценку уровня знаний студента могут отрицательно повлиять такие факторы, как снисхождение, антипатия, недооценка или переоценка ответа со стороны преподавателя и др. Следовательно, поставленная оценка не может рассматриваться в качестве объективной.
Во-вторых, имеют место существенные проблемы при проведении массовых испытательных мероприятий, связанные с большим объемом информации, которую требуется подготовить, обработать и проанализировать за относительно короткий промежуток времени.
В-третьих, серьезные затруднения вызывает задача выбора форм представления и уровня детализации итоговой информации, обеспечивающая эффективность ее анализа и принятия оптимальных решений на соответствующем уровне в зависимости от поставленных целей. Реально неосуществимой остается идея составления для каждого студента индивидуального, но типового задания.
В-четвертых, отсутствует подходящий инструмент для предварительного контроля студентом собственных знаний и оценки им своей готовности к экзамену. Часто именно из-за этого у студента возникает либо неуверенность в своих силах и боязнь экзамена, либо необоснованная переоценка уровня знаний и беспечное отношение к подготовке к аттестации.
Среди функций педагогического контроля выделяют: диагностическую, обучающую, организующую и воспитывающую. Останавливаясь на рассмотрении диагностической функции, выделим в качестве ее целей получение информации о степени подготовки студента, выявление уровня знаний, умений и навыков. В рамках данной функции в вузе осуществляются такие методы диагностики учебных достижений студентов, как опрос, самостоятельная и контрольная работы, типовые расчеты, коллоквиумы, рефераты, курсовые и дипломные работы, зачеты, экзамены и т. д. Все они по отдельности имеют как достоинства, так и недостатки.
Из существующего ряда принципов контроля остановимся на принципах объективности, научности и эффективности. Здесь традиционные методы контроля страдают существенными недостатками, в числе которых субъективность и личностный подход к оценке студента преподавателем; работа преподавателей на разных уровнях требований [6], в связи с чем трудно сопоставить результаты студентов между собой даже по одной дисциплине; специфичность экзаменатора в направлении смещения акцента большего «веса» оценивания в сторону либо точности ответа, либо его основательности, либо оригинальности. Контролируя знания и выставляя отметки, преподаватель не может абстрагироваться от социальных, личностных и эмоциональных факторов, которые сопутствуют процессу оценивания. К тому же, чтобы оценить знания студентов, необходимо их прежде всего измерить, однако нет точной единицы, позволяющей это сделать. Но если за каждое «правильное выполнение возрастающих по трудности заданий давать один балл, то набранная сумма баллов будет иметь вполне интерпретируемый смысл: различия в сумме будут указывать на различия в способностях студентов решать задания различной трудности» [3]. Существуют и другие подходы, в которых акцент сделан на создание искусственной единицы измерения.
Исключить перечисленные аспекты помогают всевозможные средства тестирования знаний на основе единых критериев и подходов. Одним из таких средств является созданная нами многофункциональная тестовая система автоматизированного контроля и самопроверки знаний. Ее назначение – повышение эффективности организации контроля за усвоением материала разных областей знаний, а также для самоконтроля обучающихся. Данный программный продукт способствует объективизации оценки за счет создания тестов, отвечающих научным принципам. Прошедший необходимую апробацию и усовершенствованный за счет возможности функционирования в сети – система тестирования (СТ) «Контроль» – данный продукт рекомендуется к использованию в учебных заведениях, особенно в вузах, а также в различных организациях, где необходим контроль за усвоением некоторого блока знаний.
Созданная информационная технология организации многоаспектного контроля и самоконтроля обучающихся использует алгоритм формирования тестовых заданий с включением блока помощи, разработанного на основе применения гипертекста. Она включает в себя модифицированную совокупность показателей научных принципов формирования тестов и способов их расчета с учетом возможной корректировки последних на основе накопления статистической информации о результатах тестирования. Разработан блок подготовки, проверки и корректировки тестовых заданий на ЭВМ. При формировании коэффициентов для статистического анализа тестового материала, а также для организации помощи по отладке тестов были учтены рекомендации, представленные в работах [1; 3].
Программа реализована в среде Inpise Delphi 5.0 с применением дополнительных компонент из библиотеки RXLib 2.75. В состав программного продукта входят: два автоматизированных рабочих места (АРМ) для студента и преподавателя, объединенных одной базой данных; модуль помощи, содержащий справочную информацию, и модуль статистики. Функциональное разбиение представлено в виде схемы, изображенной на рисунке.
Рисунок – Обобщенная функциональная схема СТ «Контроль»
Отметим, что в идеале тест должен состоять из заданий различного уровня трудности. Причем их построение осуществляется, начиная с самого легкого, которое должны выполнить практически все испытуемые, и заканчивая самыми трудными. Такая организация осуществляется в гомогенных тестах, в которых тест создан с целью проверки знаний по одной учебной дисциплине и все вопросы связаны именно с ней. В гетерогенных тестах, состоящих из группы гомогенных, возможна реализация как увеличения трудности по всему тесту (то есть равномерное движение вверх), так и внутри каждой части, его составляющей (то есть поступательное скачкообразное движение). Трудность заданий влияет на надежность и валидность.
Посредством использования в программе коэффициента трудности формируются тестовые билеты приблизительно равные по среднему уровню трудности, который обеспечен за счет предоставления пользователю возможности выбора равного количества заданий одинаковой трудности в разных вариантах тестов. При необходимости происходит перегруппировка в модуле «Шаблоны тестов». Таким образом, формируется банк заданий на основе их эмпирической проверки с модификацией и уточнением согласно совокупности соответствующих статистических характеристик заданий, рассчитанных в модуле «Статистика» (таких, как надежность, валидность и пр.).
Наличие банка заданий позволяет соединить преимущества неформального тестирования с научной основой при одновременном повышении качества тестирования. Исходя из учебных целей и необходимых для достижения последних характеристик заданий, любой преподаватель может применять тесты, находящиеся в «базе вопросов». В программе присутствует возможность исключения некоторых вопросов из уже имеющихся по данной теме в базе заданий или присоединение части вопросов к тестам. Это позволяет формировать оптимально адаптированные к конкретному занятию задания с учетом их сложности в зависимости от цели конкретного исследования (например, более слабая или сильная группа подвергается проверке).
Предварительно преподаватель устанавливает параметры режима тестирования: с оповещением правильного ответа или без оного, с возвратом к предыдущим вопросам и возможностью исправления ответов (в этом случае к подсчету принимается последняя, окончательная версия проверки знаний) или без возврата. Поскольку при тестировании важным фактором является время, возможно установление его ограничения для контроля как по каждому отдельному заданию, так и по всему тесту в совокупности.
За счет изменения позиций вопросов и последовательности ответов (верный ответ каждый раз стоит на другом месте в каждом конкретном задании в различных вариантах тестов) достигается значительное снижение вероятности угадывания правильного ответа и повышается объективность и обоснованность аттестации студента.
В редакторе вопросов задаются или модифицируются варианты ответов, формулировка вопроса, первоначальная трудность задания, а также некоторые другие настройки.
Тесты формируются и отлаживаются с помощью модуля «Шаблоны тестов». На основе шаблона формируются тесты, поступающие в модуль «Тестовые варианты», в котором возможен их полный просмотр и перевод в «Пакет студента» для опроса на компьютерах или вывод на печать с целью проведения тестирования на бумажных носителях. В последнем случае для компьютерной обработки результатов тестирования, проводимого без использования ЭВМ, необходимо сохранить сформированные для опроса (или создать вновь) карточки студентов в базе данных, чтобы в дальнейшем система могла определить правильность ответов без участия преподавателя.
Если тестирование проводится на компьютерах с непосредственным подключением многофункциональной системы тестирования, то результаты автоматически заносятся в модуль «Результаты опросов». Можно посмотреть для каждого конкретного обучаемого его вариант ответа на любое задание теста. Данная возможность осуществляется на базе просмотра и анализа результатов. Кроме того, в программе реализована статистическая обработка данных тестирования с постоянным сохранением и накоплением информации.
Если данные вводятся вручную, то пользователь должен указать размерность матрицы тестовых результатов (т. е. количество студентов и вопросов). Матрица заполняется с помощью выбора ее ячеек, после чего нужно нажать кнопку «Обработать» и переходить к просмотру результатов статистического анализа.
В программном модуле «Статистика» решается ряд задач, среди которых формирование матрицы тестовых результатов; трансформация матрицы в таблицу тестовых результатов; ранжирование студентов с подсчетом рейтинга и пр. Кроме того, на любом этапе использования программы возможно обращение к модулю справочной информации, носящему название «Помощь», построенному на основе гипертекста и содержащему рекомендации по отладке и улучшению тестового материала с учетом основных элементов теории тестов, фиксируемых в модуле «Статистика».
Таким образом, исходя из того, что проверка знаний должна быть объективной и давать корректные сведения об итогах процесса обучения, отметим, что с помощью тестов легче всего обеспечиваются надежность измерения, его объективность и, к тому же, они позволяют опросить всех студентов по всем вопросам учебного материала в одинаковых условиях с заранее разработанными, равными критериями оценки. Описанная выше многофункциональная система тестирования является именно таким инструментом и дает возможность подойти к формированию тестов с научной точки зрения, отвечает последним веяниям в теории тестов.
Для наполнения программного продукта нами были разработаны блоки тестового материала по основным вопросам и разделам экономической теории [4], информатике [5], экономико-математическим методам и моделям [7] с соблюдением принципов формирования тестовых заданий с последующей их проверкой на соответствие ряду необходимых требований, среди которых объективность, дифференцирующая способность, надежность и пр.
Управление учебным процессом должно производиться в соответствии с целями обучения, как на глобальном уровне в соответствии с критериями эффективной стратегии вуза, так и в рамках плоскости организации познавательной деятельности. Осуществление регулярного мониторинга усвоения знаний студентами способствует оценке качества процесса подготовки высококвалифицированных специалистов, а также оперативной выработке и реализации корректирующих воздействий, включая профилактические меры.