Система анализа качества обучения ИОС Южно-Российского региона основана на методиках оценки знаний и умений студента как в процессе его обучения, так и при его аттестации. Данные методики различаются по своему целевому назначению и включают:

1) промежуточное тестирование - связано с обучением студента и ориентировано на выявление областей его незнания. Такой модуль выполняет роль обратной связи. При этом могут оцениваться как знания, так и умения студента в пределах одной выделенной темы;

2) аттестационное тестирование - связано с рейтинговой или итоговой оценкой знаний студента и ориентировано на выявление уровня его знаний в пределах данной учебной дисциплины. В первом случае результаты тестирования могут использоваться и для корректировки процесса обучения;

3) оценка качества образования - связана с аттестацией студента как специалиста и ориентирована на выявление уровня знаний и умений в пределах учебного плана по данной специальности.

Первые две методики базируются на модели оценки знаний, разработанной на основе нечеткой логики. При оценке знаний в качестве классификационных признаков были выделены: тип тестового задания, степень соответствия ответа эталону и число правильно выполненных тестовых заданий по каждому типу. В основу разделения тестовых заданий была положена логическая структура тестового задания. К тестовым заданиям первого типа будем относить простые высказывания. Здесь задание направлено на мыслительную деятельность, связанную с дихотомическим выбором истинности одного или нескольких утверждений. К тестовым заданиям второго типа относятся сложные высказывания конъюнктивного или дизъюнктивного вида. К таким заданиям относятся задания по выбору нескольких правильных ответов из некоторого заранее заданного множества. И наконец, к третьему типу заданий отнесем задания, сформулированные в виде утверждений импликативного типа. Такие задания требуют применения рассуждений обучаемого в форме дедуктивного, индуктивного вывода и аналогии, причем для получения окончательного ответа, как правило, необходима некоторая последовательность умозаключений.

Приведенный набор признаков, используемых в классификации, может иметь достаточно большое число значений, что в первую очередь определяется используемой градацией степени правильности ответов в зависимости от типа тестового задания. В этой связи возникает неопределенность при формировании интегральной оценки знаний. Основываясь на схеме разветвленного программирования мы использовали три варианта ответов на каждый тип тестовых заданий: правильный ответ, неточный ответ и неправильный ответ. Методика оценки уровня знаний включает два основных этапа:

1. Оценка результатов выполнения каждой выделенной группы тестовых заданий;

2. Интегральная оценка уровня знаний.

Первый этап реализуется посредством экспертной системы, база знаний которой содержит утверждения, отражающие мнения преподавателей, относительно оценки результатов выполнения каждой группы заданий, а также схем рассуждений, позволяющих автоматически оценивать уровни знаний, в зависимости от конкретных измерений.

Интегральная оценка знаний основана на использовании операторов свертки оценок, полученных на предыдущем этапе. Особенность данных операторов состоит в том, что они позволяют учитывать различную важность каждого типа тестовых заданий и, в зависимости от этого, относить полученные оценки к одному из четырех классов: "отлично", "хорошо", "удовлетворительно" и "неудовлетворительно". Разработанная методика оценки уровня знаний позволяет перейти к оценке знаний как гуманитарных, так и естественнонаучных дисциплин с единых позиций. Для нее в наименьшей степени характерен субъективизм преподавателя. В силу несложности используемого математического аппарата методика легко программируема, что позволяет использовать ее в системах обучения и адаптивного тестирования. В основу методики оценки качества образования положен метод структурной аналогии. Метод основан на сопоставлении моделей двух типов: модели системы знаний по учебной дисциплине (специальности) и модели системы знаний студента. Формальным представлением обоих типов моделей служит ориентированный граф, вершины которого определяют знания необходимые по некоторой теме (учебной дисциплине), а дуги - взаимосвязи между отдельными темами (дисциплинами). Вершина в которую входит дуга, должна определять знания по теме, зависимые от знаний по теме, заданной вершиной, из которой данная дуга исходит. Первый тип модели формируется на основе системы знаний преподавателя (учебного плана), второй - на основе результатов тестирования знаний и умений студента. Вершины и дуги моделей взвешены: вершины - по отношению к требованиям, предъявляемым к знаниям по данной теме (дисциплине); дуги - по отношению к силе связи между отдельными темами или дисциплинами. Во-втором типе моделей веса вершин и дуг определяются оценками знаний и умений, полученными студентом при аттестации по отдельной учебной дисциплине (специальности).

Для оценки качества образования сравниваются модель системы знаний обучаемого и эталонная модель структуры учебной дисциплины (специальности) с целью установления аналогии (сходства) между ними. Если аналогия существует, то вычисляется степень аналогии для определения оценки качества знаний обучаемого в рамках учебной дисциплины или специальности. При установлении аналогии может быть задано пороговое значение, которое показывает степень соответствия системы приобретенных обучаемым знаний эталонной системе знаний, определенной в модели структуры изучаемого предмета. Такой подход к оценке качества полученных знаний соответствует и традиционной системе обучения, когда преподаватель в процессе общения со студентом определяет степень аналогии между знаниями обучаемого и умениями их применять, и эталонной системой знаний по изучаемому предмету, и выставляет студенту соответствующую этой степени аналогии оценку. Разработанная методика позволяет автоматизировать задачи такого рода с учетом практического опыта преподавания при традиционной системе обучения для организации дистанционной формы обучения.

В настоящее время в ТРТУ создаются программные реализации рассмотренных методик с целью их апробации и оценки валидности.