Вступление
Последнее столетие и, особенно, его последние десятилетия отмечены качественным рывком в разработке и использовании информационных технологий. Такой вывод базируется на трех «китах»: создании вычислительной техники, разработке соответствующего программного обеспечения и применении первых двух составляющих к решению все более сложных прикладных задач. Развитие глобальной сети и телекоммуникаций – еще один аспект, определяющий современное состояние производственной сферы и инфраструктуры. Широкое проникновение информационных технологий во все области жизнедеятельности человека привело к тому, что значительная часть мировых финансовых потоков генерируется и проходит через информационно-коммуникационную сферу. В связи с этим возникло обоснованное предложение считать современный этап развития «информационным обществом». С другой стороны, экспоненциальный рост информации в мире и ее распространение через сеть Интернет, а также развитие самой сети и ее новые сервисы дают основания называть этот этап «обществом без границ». Свободное распространение информации, рост ее хранилищ, извлечение новых знаний и использование для этих целей территориально удаленных кластерных и Grid-систем, указывает на формирование «общества, базирующегося на знаниях» [Згуровский, 2005]. Все указанные выше аспекты, являются причиной и основанием для разработки экспертных и обучающих систем, в которых интегрированы возможности глобальной сети, удаленного обучения и получения новой информации. Известно, что первые экспертные системы были разработаны в середине 20-го столетия, а промышленное применения нашли в 80-х годах. Сегодня сложно представить вид деятельности, где не была бы задействована вычислительная техника и где бы не делались попытки применения экспертных систем. Одной из таких областей является образование. Первые шаги в создании экспертных систем в сфере образования сводились к разработке систем тестового контроля знаний учашихся [Глибовец, 2000]. И сегодня почти в каждом высшем учебном заведении Украины используют одну, а то и несколько таких систем автоматизированного контроля знаний. На следующем этапе предлагались системы обучения, которые с развитием мультимедийных технологий вывели на новый уровень преподавание отдельных дисциплин. Интеграция систем обучения и контроля позволила замкнуть цикл обучения. Жесткость такой структуры стала причиной внедрения в автоматизированные системы адаптационных механизмов, базирующихся на различных принципах и моделях [Коджа, 2003]. Авторами ранее уже были выполнены некоторые шаги в направлении формирования элементов методологии разработки автоматизированных систем обучения и контроля знаний (АСОКЗ) и проведения процессов обучения и контроля знаний. В частности, в роботе [Снитюк, 2000] в основу формирования базы данных АСОКЗ предложено положить классификацию вопросов в зависимости от типов ответов: «Да-Нет»; один из многих; несколько из многих; число; интервал; нечеткий интервал; слово; предложение. Для каждого из этих типов вопросов разработаны процедуры оценки, исходя из отклонений ответов обучаемого лица от правильных ответов и метод формирования интегральной оценки [Снитюк, 2003]. В следующей статье [Снитюк, 2008] было предложено осуществлять структуризацию предметной области, которой, чаще всего, и есть учебные курсы, что позволило оптимизировать процессы тестирования за счет самоорганизации множества вопросов, которые задаются обучаемому. Аспекты создания эффективных компьютерных систем профессиональной подготовки как одного из видов АСОКЗ рассмотрено в [Снитюк, 2010], где определено, что такие системы должны удовлетворять требованиям: минимизации времени обучения и контроля знаний; полноты контроля знаний; отсутствия или минимального присутствия информационной избыточности и информационной недостаточности, максимально возможной объективизации результатов оценивания. Современные мировые тенденции нацелены на создание таких АСОКЗ, которые ориентированы на определенную модель пользователя. В частности, создаются системы, учитывающее психологическое состояние обучаемого и соответствующим образом на него реагирующие. Не достаточно изученной является проблема объективизации уровня сложности задаваемых вопросов и, соответственно, определения интегральной оценки знаний.
Адаптация уровня сложности элементов процесса контроля знаний
Предложим один из путей адаптации уровня сложности вопросов к оцениваемому множеству обучаемых. При этом будем базироваться на нескольких эвристиках:
Эвристика 1. Если обучаемый дает правильный ответ, то сложность вопроса уменьшается и наоборот.
Эвристика 2. Динамика значения уровня сложности зависит от количества обучаемых, знания которых контролируются, а также от суммарной оценки каждого из них.
Эвристика 3. Если обучаемый со сравнительно высокой суммарной оценкой дает правильный ответ, то сложность вопроса уменьшается на меньшее значение, чем в случае, когда правильный ответ дает обучаемый з низшей суммарной оценкой.
Эвристика 4. Если обучаемый со сравнительно высокой суммарной оценкой дает неправильный ответ, то сложность вопроса увеличивается на большее значение по сравнению со случаем, когда неправильный ответ дает обучаемый с низшей суммарной оценкой.
Эвристика 5. Минимальная сложность вопроса должна быть больше нуля.
Эвристика 6. Максимальная сложность вопроса должна быть меньшей единицы. Предположим, что оцениваются знания m обучаемых, количество вопросов - n . Коррекция сложности вопросов производится по формулегде j i p - сложность i -го вопроса при контроле знаний j -го обучаемого, i f - некоторая функция, в соответствии со значением которой осуществляется коррекция сложности i -го вопроса, 0 i p - начальная сложность вопроса, d j - суммарная оценка ответов( j -го обучаемого, Z - некоторая величина, зависящая от величины отклонения данного ответа от правильного. Как следует из формулы (1), коррекция уровня сложности вопроса производится сразу же после контроля знаний каждого обучаемого, т.е. в режиме реального времени. Рассмотрим отдельные варианты формулы (1) в применении к вопросам различного типа. Вопросы с ответами типа «Да-Нет». В таком случае коррекция сложности вопроса осуществляется по формуле
К другому типу относятся вопросы, где один ответ выбирается из нескольких, и правильность каждого определяется баллом . Тогда коррекцию сложности вопроса в первом приближении осуществляем по формуле
где j i a - балл за ответ j -го обучаемого на i -й вопрос. Формула (3) открыта для внесения уточняющих коэффициентов и может быть использована для предварительных расчетов. Адаптация сложности вопросов других типов осуществляется по аналогии с (1)-(3). Предположим, что все формулы для коррекции уровня сложности вопросов известны. Возможны две ситуации: начальные значения сложности вопросов известны и не известны. Как поступать в том и другом случаях? Пусть начальные значения коэффициентов сложности вопросов заданы лицом, принимающим решение, экзаменатором или экспертом. Тогда в процессе оценивания знаний, реализуя случайный порядок экзаменуемых, получим колебания значений уровня сложности. Эвристика 7. Предполагая бесконечное количество экзаменуемых, делаем вывод о сходимости значения уровня сложности вопроса к постоянному значению. Заметим, что в формулах (2)-(3) предполагается учет влияния начального значения уровня сложности на весь дальнейший процесс его корректировки. Безусловно, от этого предположения можно отказаться, но только в том случае, если лицо, принимающее решение, дав начальные установки, стремится устраниться от дальнейшего активного участия в процессе оценивания. Выбор того или иного варианта зависит от экзаменатора и внешних обстоятельств. Возможна ситуация, когда экзаменатор не может определить сложность вопросов с достаточной точностью. В таком случае начинать контроль знаний не следует, поскольку первые экзаменуемые получат значительно смещенные оценки. На помощь здесь может придти моделирование. Экзаменатор, скорее всего, знает распределение учащихся, исходя из их учебных успехов (среднего балла в зачетной книжке). Если это не так, то можно воспользоваться различными дополнительными эвристиками, одна их которых указывает на то, что количество отличников составляет 20% от общего количества учащихся, количество учащихся на «хорошо» - 20% от оставшихся и т.д. В соответствие с распределением учеников, разыгрываем случайные значения, которые отвечают правильным или неправильным ответам, и осуществляем коррекцию значений сложности ответов. Такой подход приводит к объективизации процесса оценивания как в целом, так и его начального этапа в особенности, когда значения сложности вопросов носят сильно субъективизированный характер.
Вывод
В статье рассмотрен один из аспектов создания автоматизированных систем обучения и контроля знаний, а также компьютерных систем профессиональной подготовки. Отмечен низкий методологический уровень создания таких систем и предложен один из элементов реализации системного подхода к осуществлению дистанционного образования, а именно, к разработке подсистемы контроля знаний учащихся, базирующийся на адаптационных механизмах. Сформулированы эвристики, которые положены в основу процедур коррекции уровней сложности вопросов в зависимости от вариантов ответов экзаменуемых и их общего образовательного уровня. Разработаны модели, с помощью которых осуществляется изменение сложности вопросов в режиме реального времени, что позволяет уменьшить время обучения системы, а также минимизировать ошибки оценивания знаний. Предложенный подход, равно как и другие существующие, требует реализации значительного объема верификационных процедур. Вместе с тем, он является достаточно простым для алгоритмизации и открытым для внесения изменений и дополнений.
Литература
[Згуровский, 2005] М.З. Згуровский, Н.Д. Панкратова. Системный анализ. Проблемы, методология, приложения. ? К.:Наук. думка, 2005. ? 743 с.
[Глибовец, 2002] Н.Н. Глибовец, А.В. Олецкий. Искусственный интеллект. – К.: Академия, 2002. – 366 с.
[Коджа, 2003] Т.И. Коджа. Автоматизированная система управления и контроля знаний в процессе обучения: автореф. дисс. канд. техн. наук: спец. 05.13.06 „АСУ и прогрессивные информационные технологии” , Одесса, 2003.
[Снитюк, 2000] В.Е. Снитюк. Модели и методы определения компетентности экспертов на базе аксиомы несмещенности // Вестник Черкасского инженерно-технологического института, 2000, № 4, с. 121-126.
[Снитюк, 2003] В.Е. Снитюк. Концептуальные принципы и методы проектирования систем автоматизированного контроля знаний // АСУ и приборы автоматики, 2003, вып. 123, с. 40-43.
[Снитюк, 2008] В.Е. Снитюк. Оптимизация процесса оценивания в условиях неопределенности на основе структуризации предметной области и аксиомы несмещенности // Искусственный интеллект, 2008, № 3, с. 217-222.
[Снитюк, 2010] В.Е. Снитюк. Элементы знаниеориентированных систем профессиональной подготовки адаптивного типа // Вестник Херсонского национального технического университета, 2010, № 2(38), с. 180-186.
