Александр Корченко
Контактная информация
Важнейшие факты
Рассказ о себе

Материалы выпускной работы магистра

Обзор результатов поиска по теме магистерской работы
Главная Библиотека [Статьи]
«Тестирование знаний по VHDL на базе пакета ATP-VHDL»
Масюк А. Л., Корченко А.А., Масюк Л.Н., Зинченко Ю.Е.
«Образование и виртуальность  – 2002». Сборник научных трудов 6-й Международной конференции Украинской ассоциации дистанционного образования – Харьков-Ялта, 2002.
 

Актуальность разработки обучающих и тестирующих программ в настоящее время ни у кого не вызывает сомнений. Известно множество подобного рода программ, в том числе и по обучению языкам описания (программирования) аппаратуры (HDL - Hardware Description Language), среди которых наибольшую популярность получили VHDL и VERILOG. Так, например, получила широкое распространение обучающая система EVITA, поставляемая в составе САПР Active-HDL [1]. Имеются также онлайновые тестирующие программы, размещенные на сервере компании ALDEC [2] и на сервере НТУУ-КПИ[3]. Анализ этих систем показал их общие недостатки: ограниченность типов и отсутствие возможности редактирования задаваемых вопросов, а также сложность адаптации к учебному процессу.

В данной работе предлагается система ATP4, предназначенная для тестирования знаний по языку VHDL, в которой авторами предпринята попытка преодолеть указанные недостатки. Структура пакета ATP4 приведена на рис.1.


Рисунок 1 – Структура пакета ATP 4

Работа пакета АТР4 организуется следующим образом. На предварительном этапе Администратором (преподавателем или уполномоченным лицом) создается база вопросов к конкретному опросу (опрос к лабораторной работе, промежуточный контрольный опрос по лекционному материалу, рейтинговый, модульный, экзаменационный опрос и т.д.). На этом этапе используется ATP 4 Editor. На основе подготовленной базы вопросов далее с помощью ATP 4 Analyzer (рис.2) осуществляется тестирование знаний студентов. По результатам тестирования анализатор генерирует файл отчета, который предполагается использовать для автоматизации учета успеваемости в «электронном журнале».

Основные возможности пакета:
  • создание базы вопросов по любой теме практически без ограничения на ее объем;
  • использование четырех базовых типов вопросов;
  • сопряжение системы с компилятором Active-HDL 3.5, 5.1;
  • гибкие настройки по ограничению времени, количества подсказок, допущенных ошибок, а также по оценке ответов студента;
  • защита базы вопросов от несанкционированного доступа и изменения;
  • предоставление полного отчета по проведенному опросу и размещение его в требуемом месте;
  • возможно параллельное проведение опроса нескольких студентов (по количеству компьютеров), что экономит время;
  • исключается возможность необъективной оценки знаний студента; объективность оценки повышается также за счет того, что каждый студент получает однотипные вопросы и имеет равные условия по ограничению во времени, попыткам и т.д.;
  • анализатор выдает полный отчет по каждому проведенному опросу, который преподаватель может просмотреть как сразу после окончания теста, так и в любое другое время.


Рисунок 2 – Анализатор ответов в работе

Каждый вопрос, подготовленный с помощью редактора, как было отмечено выше, может иметь один из четырех следующих типов, а также тип “VHDL-программа”.

1. «Однозначный ответ»
Вопрос подготавливается таким образом, чтобы пользователь мог ввести ответ с клавиатуры компьютера одним определенным словом (словосочетанием либо предложением). Синтаксические ошибки не допускаются - ответ должен на 100% совпадать с заложенным в базу. В данной версии есть возможность запоминать несколько вариантов ответа на вопрос такого типа. В этом случае пользователь должен ввести один из этих вариантов.

2. «Одиночный выбор»
Вопрос подготавливается таким образом, чтобы пользователь из нескольких представленных ему вариантов мог выбрать один верный (это самый распространенный тип тестирования).

3. «Множественный выбор»
Вопрос подготавливается таким образом, чтобы пользователь из нескольких представленных ему вариантов мог отметить несколько верных (либо не отметить ни один из вариантов). Правильный ответ должен полностью совпадать с заложенным в базу. В данной версии пакета поддерживаются "неполные ответы". Ответ считается неполным, если пользователь отметил не все верные варианты, и неверным, если отметил хоть один неправильный.

4. «Однозначная последовательность»
Пользователь при ответе на вопрос этого типа должен расположить предложенные ему варианты ответа в строго определенной последовательности, заданной в базе. Аналогично предыдущему типу, возможен неполный ответ на вопрос данного типа, когда первые варианты расположены в верном порядке.

5. VHDL-программа
Это специальный тип вопроса, введенный в системе ATP4 VHDL Special Edition. Данный вид вопроса представляет собой задание, ответом на которое является программа на языке VHDL. Принцип обработки такого ответа заключается в использовании функциональных возможностей пакета САПР Active-HDL фирмы Aldec. Для этого организована подсистема интерфейса с компилятором и системой моделирования данного пакета. Обработка ответа включает такие шаги:
  • вызов компилятора для анализа наличия синтаксических ошибок;
  • анализ стиля программы;
  • вызов системы моделирования, с помощью которой выявляются логические ошибки в работе программы.
На каждом из этих этапов могут возникнуть ошибки, сведения о которых выводятся на экран. База вопросов, помимо списка вопросов, задаваемых пользователю, включает тему, свойства и комментарии. Тема — это текст, характеризующий тематику всех вопросов, содержащихся в базе. База может вообще не иметь темы, но это нежелательно.

Свойства базы вопросов представляют собой параметры, используемые анализатором при проведении опроса и для вновь созданной базы устанавливаются редактором автоматически по умолчанию. Cвойства сгруппированы в 6 категорий.

1. Ограничение времени. Данная категория позволяет ограничить время, отводимое пользователю (по умолчанию время не ограничено). Можно ограничить время как на весь опрос, так и отдельно на каждый задаваемый вопрос (данный параметр может быть перекрыт индивидуальными свойствами). Если пользователю будут заданы не все вопросы из базы, а только ограниченное их количество, время на весь опрос может быть вычислено автоматически, если указан параметр «Пропорционально числу вопросов». Если пользователь превысит время, отводимое на опрос, опрос будет автоматически завершен. Если пользователь превысит время, отводимое на вопрос, ему будет засчитан неверный ответ на данный вопрос.

2. Ограничение подсказок. Данная категория позволяет ограничить количество подсказок (по умолчанию не ограничено). Аналогично ограничению времени, можно указать количество как на весь опрос, так и на вопросы в отдельности. По превышению указанного количества, пользователь соответственно будет лишен возможности получать подсказки до конца опроса либо на текущий вопрос.

3. Контроль ошибок. Здесь можно установить максимально допустимое количество ошибок для пользователя, по превышению которого опрос будет автоматически прекращен. Также можно указать, как расценивать неполные ответы на вопросы определенных типов. За неполный ответ по умолчанию дается меньшее количество баллов, чем за верный.

4. Система оценок. В данной категории указывается количество баллов, получаемое пользователем за верный ответ на вопрос. Кроме этого, можно настроить реакцию анализатора на подсказку: за каждую используемую пользователем подсказку будет уменьшаться количество баллов, даваемое за верный ответ. Количество снимаемых баллов может быть задано как жестко, так и в процентах от текущего значения.

Также может быть задан способ начисления баллов за неполные ответы пользователя (если они разрешены в категории «Контроль ошибок»). По умолчанию пользователь получит число баллов, пропорциональное числу правильных ответов, однако можно заставить анализатор оценивать неполные ответы как процент от счета за текущий вопрос.

5. Порядок вопросов. Начиная с данной версии, Администратор имеет возможность указывать, сколько вопросов и в каком порядке будет получать Пользователь. Причем, если количество задаваемых вопросов указано меньше, чем имеется в базе (например, 5 из 20), в соответствии с концепцией равнозначности вопросов анализатором будут проигнорированы все индивидуальные свойства вопросов, несмотря на их значение.

6. Ограничение доступа. Формат базы вопросов (*.at4) позволяет хранить базу в зашифрованном виде, не допуская ее просмотр и изменение вне редактора. Дополнительно Администратор может указать пароль для базы вопросов и где его использовать при загрузке базы из файла (в редакторе и/или в анализаторе). Пароль используется для генерации ключевых символов при шифровании файла базы, поэтому, не зная алгоритма кодирования/декодирования, практически нет возможности корректно взломать базу вопросов.

Комментарии — это дополнительная текстовая информация, характеризующая базу вопросов, такая, как автор базы, дата создания, версия и т.д. Комментарии не являются обязательными.

Также редактор включает в себя следующие вспомогательные компоненты:

1. Мастер Проекта, разработанный, чтобы помочь Администратору быстро создать пустую (шаблонную) базу вопросов с установкой необходимых параметров. Администратору будут последовательно выдаваться вопросы, на которые он должен отвечать, указывая нужные значения либо отмечая желаемые варианты. Причем при указании параметров ограничения (по времени и пр.) Мастер Проекта автоматически анализирует и рассчитывает их оптимальное значение, помогая избежать ошибок и выбрать верные параметры.

2. Мастер Импорта. Предназначен для импортирования в редактор баз вопросов, сохраненных в форматах более ранних версий, а также для импортирования вопросов из специально форматированного текстового файла.

3. Служба проверки базы вопросов. Проверка базы вопросов выполняется автоматически перед каждым сохранением базы на диск (хотя может быть вызвана Администратором в любое время). При этом в окне проверки могут выдаваться сообщения 3 категорий (ошибки/предупреждения/информация). Одновременно редактор анализирует текущие параметры базы и выдает советы, как можно поступить для разрешения ситуации.

Анализатор ответов, как уже говорилось ранее, запускается на машине пользователя и организует процесс тестирования. Администратору при работе с Анализатором необходимо только указать файл базы вопросов, а также (если нужно) перед запуском первого опроса установить параметры защиты и указать формат и размещение файла отчета (rpt-файл). Данный файл может иметь следующие форматы:
  • краткий – сохраняется только общая информация о проведенном опросе (количество верных/неверных ответов, количество полученных баллов, затраченное время, подсказки и пр.);
  • стандартный – кроме общей, выдается информация о том, на какие вопросы сколько было затрачено времени и подсказок, и какой был дан ответ (верный/неверный);
  • детальный – протоколируются все действия пользователя, с приведением его полного ответа на каждый из вопросов.
Анализатор может досрочно прекратить опрос, если Пользователь не уложился в отведенное время либо допустил больше ошибок, чем позволено. В этом случае баллы ему начисляются только за вопросы, на которые он успел ответить (остальные по умолчанию считаются неверными).

В пакет ATP 4 VHDL SE входит также утилита Report Viewer, предназначенная для просмотра Администратором отчетов, сгенерированных анализатором. В целях повышения безопасности отчеты создаются в зашифрованном виде (применяется 3-битовый динамический сдвиг алфавита), которые невозможно просмотреть другими средствами.

ATP 4 реализован на языке Object Pascal. Предыдущие версии пакета были внедрены в учебный процесс в 4 донецких и луганских ПТУЗах. Также пакет используется на кафедре УК ДонНТУ. С 2001 года пакет используется для проведения опросов по языку VHDL для студентов специальностей «Вычислительные системы и сети» и «Системное программирование» в рамках читаемых на 3-5 курсах дисциплин, а также для проведения внутривузовских олимпиад по VHDL. Пакет АТР4 предполагается также использовать для проведения Всеукраинской Олимпиады по VHDL[4,5].


ЛИТЕРАТУРА
  1. ACTIVE-HDL Серия. Книги 1-4. США, Невада: ALDEC, 1999
  2. Сайт ALDEC, Inc. www.aldec.com
  3. Сайт НТУУ-КПИ www.aldec.com.ua
  4. Зинченко Ю., Дяченко О., Маркитантов В., Масюк А. и др.. Новые hardware-технологии в ДонГТУ / Материалы междунар. научн.-техн. конф. «Новые информационные технологии в САПР и АСУ». – Киев. –2001. Киев: Украинский дом экономических и научн.-техн. знаний. – 2001. С 12-19.
  5. Масюк А.Л., Масюк Л.Н., Зинченко Ю.Е. Тестирование знаний по VHDL на базе пакета ATP4 / Материалы научн.-метод. конф. «Информационные технологии и проблемы дистанционного обучения в высшем техническом образовании». – Донецк: ДонНТУ 2002. С 18-20.

 
© Александр Корченко, 2004