Введение
Вопросы компьютерного контроля знаний интересуют многих ученых, как педагогов, так и специалистов в области информационных технологий (ИТ). За последние тридцать лет были изучены различные формы и виды контроля [1-3], определены более десяти типов вопросов, их компоненты и метаданные, используемые, как правило, при формировании набора контрольных заданий [4 -7], разработаны математические методы оценки знаний учащихся [8 - 13] и предложены различные методы (стратегии) проведения контроля [14]. При разработке компьютерной системы контроля знаний (СКЗ) важно организовать всестороннюю оценку знаний, умений и навыков студента, то есть проверить с чем ознакомлен, что знает и что умеет студент. Поэтому основными требованиями к СКЗ являются следующие [14 - 16]: - учет цели проводимого контроля и задание критерия достижения этой цели; - поддержка различных типов, форм и видов контрольных заданий и вопросов и др. - обеспечение обратной связи с обучаемым; - возможность определения предварительного уровня подготовки студента и соответствующей настройки системы на требуемый уровень; - возможность применения различных стратегий контроля и разнообразных параметров КЗ; - использование данных из модели студента и модели учебного материала; - адаптация системы к обучаемому и др. Реализация перечисленных требований связана, в первую очередь, с решением вопросов организации контроля знаний с учетом методических и технических аспектов данной проблемы [17]. Таким образом, при разработке системы компьютерного КЗ необходимо: 1) определить вид планируемого контроля (исходный, текущий, рубежный, итоговый); 2) сформулировать цели контроля (например, контроль знаний по отдельной теме или разделу, контроль остаточных знаний после изучения всего курса и т.д.) и на их основе определить содержание контроля; 3) с учетом поставленной цели, подготовить контрольный материал, то есть разработать банк контрольных заданий (вопросов) разного типа и трудности для проверки знаний, умений и навыков студентов, предусмотрев различные комментарии на ответы студентов и др.; 4) выработать стратегию контроля знаний. В данной статье рассматриваются различные стратегии контроля знаний компьютерной СКЗ, а также основываясь на полученных результатах эксперимента, предложены рекомендации по применению методов проведения контроля и моделей оценивания знаний студентов.
Стратегии контроля знаний
Стратегия КЗ определяет механизм предъявления контрольных заданий и критерии, связанные с оцениванием уровня знаний студента по результатам выполнения им набора контрольных заданий. В целом, стратегии контроля знаний можно разделить на два вида: · стратегии контроля, не зависящие от результатов выполнения студентом отдельных заданий; · стратегии, формируемые в процессе контроля и зависящие от действий студента. В первом случае, контроль знаний проводится посредством заранее определенного числа заданий, при этом множество контрольных вопросов формируется в виде фиксированного набора или генерируется случайно. Процесс контроля в данном случае может быть представлен в виде следующей схемы На первом этапе устанавливаются параметры КЗ, связанные с контрольным сеансом. Это может быть количество заданий, предусмотренных для контроля, предельное время контроля, допустимое количество попыток ответа на вопрос и др. Затем из множества вопросов, находящихся в базе данных (БД), формируется набор контрольных заданий (выборка), которые будут заданы студенту во время сеанса. При использовании стратегий контроля, не зависящих от результатов работы студента в системе компьютерного КЗ, набор вопросов для контроля подготавливается либо заранее, либо формируется непосредственно перед контролем на основе заданий, хранящихся в БД, при этом число проверочных вопросов в контрольном сеансе является постоянным для всех студентов, не зависимо от их уровня подготовленности. На последующих третьем и четвертом этапах происходит, соответственно, выбор и предъявление студенту контрольного задания, получение ответа и анализ выполнения задания. Контроль продолжается, если не достигнуто условие (или условия) завершения контроля. В противном случае, если условие выполнено (например, если студенту были предъявлены все предусмотренные в данном сеансе контрольные задания или был исчерпан лимит времени, отведенного на решение набора контрольных вопросов), определяются и фиксируются результаты проведенного контроля знаний. Стратегии, зависящие от хода контроля, выстраивают последовательность заданий (вопросов) непосредственно в процессе контроля: либо в зависимости от правильности ответов студента, либо на основе специально разработанных сценариев проведения контроля знаний. При реализации данных стратегий КЗ, последовательность и число контрольных заданий в контрольном сеансе различны для сильных, средних и слабых студентов, так как количество проверочных вопросов зависит от уровня их подготовленности. Стратегия КЗ определяет также критерии, по которым оценивается степень усвоения студентом материала компьютерного курса. Так, система оценивания результатов выполнения заданий в компьютерном курсе может предусматривать вычисление оценки в виде суммы баллов, рейтинга, отметки в принятой шкале измерения и др. При этом, рассчитываемая оценка может зависеть от типа, структуры и/или метаданных, применяемых для контроля заданий, от числа правильных (неправильных) ответов, степени правильности ответов, ограничений на время контроля и др. Применение той или иной стратегии оценки знаний зависит от разных факторов. Так, выбор модели оценивания может быть обусловлен тем, насколько полно собирается информация об обучаемом в процессе контроля знаний (например, учитываются ли данные из модели студента). То есть, чем больше данных о студенте и/или о его работе учитывается в системе КЗ, тем более развитая модель выставления оценки может быть использована. Таким образом, различные стратегии организации компьютерного контроля знаний могут быть реализованы с помощью разнообразных метода(ов) проведения КЗ и моделей оценивания результатов контроля [18].
Методы и модели оценки знаний
Оценка знаний представляет собой задачу распознавания, основанную на обучении [19]. Решение проблемы оценивания состоит из трех основных этапов (рис. 3): I. Определение параметров контроля (обучение), выполняемое до начала КЗ; II. Сбор, анализ и/или преобразование данных, получаемых в процессе контроля (распознавание); III. Выставление оценки за контрольную работу по завершении контроля (распознавание). На первом этапе по результатам контрольного эксперимента определяются метаданные заданий (трудность, значимость и т.д.) и устанавливаются параметры КЗ (число вопросов, время на ответ и др.). Метаданные и параметры помещаются в репозиторий системы и используются на последующих этапах. На втором этапе при выполнении студентом контрольных заданий осуществляется сбор, анализ и, возможно, предварительная обработка полученных данных. На последнем этапе выставляется оценка за работу. Методы оценивания в основном используются на втором и третьем этапе, хотя существует ряд методов, которые применяются для выставления оценки только на последнем этапе. Методы выставления оценки можно классифицировать: · по цели проводимой проверки; · по времени формирования оценки; · по способу вычисления оценки.
Заключение
В процессе проектирования и создания СКЗ важно определить стратегию КЗ и, соответственно, выбрать такие методы проведения КЗ и модели оценивания, с помощью которых будет возможно организовать планируемый контроль при комьютерном обучении. В результате эксперимента были определены наиболее и наименее подходящие методы проведения КЗ для проверки знаний студентов для различнык видов контроля и разработаны рекомендации по их применению. По мнению автора, в современные компьютерные системы обучения и контроля знаний следует включать несколько различных методов и моделей, чтобы преподаватель имел возможность выбрать метод проведения контроля и модель выставления оценки, отвечающие целям контроля и наиболее подходящие для отдельного или группы студентов. В дальнейшем планируется дальше развивать разработанные в РТУ компьютерные СКЗ, реализуя в них адаптивные методы КЗ (учитываяющие информацию о студенте и его работе в системе), а также увеличивая количество типов контрольных заданий, предлагаемых студентам во время контроля.
