Реферат по теме выпускной работы
Содержание
ВведениеВ современном мире большую роль играет контроль знаний учащихся, студентов, работников. Под контролем понимается система научно обоснованной проверки результатов обучения. Существует множество форм контроля — экзамен, зачет, аттестация, контрольная. Но наиболее корректным средством измерения знаний на сегодняшний день является тестирование. Тестирование — это совокупность специальным образом подготовленных и подобранных заданий, позволяющая провести выявление требуемых характеристик процесса обучения. Одно из главных преимуществ тестов состоит в том, что они позволяют опросить всех участников по всем вопросам нужного материала в одинаковых условиях, применяя при этом ко всем без исключения одну и ту же, заранее разработанную шкалу оценок. Это значительно повышает объективность и обоснованность оценки по сравнению с другими формами контроля. Тесты и тестовые задания получили свое распространение в сферах, где нужно точно определить знания по всему курсу обучения, где много сдающих, где нужен тщательный отбор участников: экзамены в ГАИ, аттестация работников предприятий, прием на работу, аттестация и контроль знаний студентов, дистанционное образование и экзаменационный тест. Сегодня компьютерное тестирование обладает рядом преимуществ перед традиционным тестированием. Оно отличается высокой оперативностью, производительностью процесса тестирования и объективностью результатов контроля знаний. В отличие от бланковых систем тестирования, компьютерные тесты позволяют использовать сложные методы контроля оценки знаний учащихся, снизить финансовые и временные затраты при проведении тестирования, применить в тестах мультимедийные задания, а так же повысить открытость процесса тестирования. Большинство систем тестирования, не имеют возможности отвечать на наши вопросы. Когда мы хотим что–то узнать, мы спрашиваем — задаем вопрос, что, в общем, и естественно в процессе познания. В связи с этим взаимодействие системы с пользователем через вопросно–ответный интерфейс приобретает особую актуальность и становится центральной задачей данного исследования. Вопросно–ответная система — это информационная система, способная принимать вопросы и отвечать на них на естественном языке, другими словами, это система с естественно–языковым интерфейсом. На вход такой системе подаётся запрос, сформулированный на естественном языке, после чего он обрабатывается с использованием методов NLP (Natural Language Processing), и генерируется естественно–языковой ответ. В качестве источника информации вопросно–ответная система использует локальное хранилище, глобальную сеть, либо и то и другое одновременно. Создание системы тестирования на базе веб–технологий является крайне перспективной и актуальной научной задачей, результатом которой будет создание современной модели веб–сервиса тестирования знаний с использованием вопросно–ответного интерфейса и с помощью средств веб–разработки для эффективной работы. С момента появления первых прототипов вопросно–ответных систем их область применения значительно расширилась. Например, их используют в ответах на вопросы, связанные со временем, геолокационные вопросы, изучаются так же смежные области, такие как: построение интерактивных вопросно–ответных систем, повторное использование ответов и представление знаний. Но область использования вопросно–ответных интерфейсов в системах тестирования остается не исследованной, так как аналогов на данный момент нет, и это является хорошей перспективой для разработки исследовательской базы для будущих работ. 1. Актуальность темыПредполагается, что данная магистерская работа позволит расширить существующие модели вопросно–ответной системы, увеличив их гибкость и восприимчивость в пределах некоторой предметной области. На данный момент разработаны многие аспекты проблемы развития творческого мышления учащихся в учебном процессе. Доказано влияние самостоятельной постановки вопросов и составления задач на более глубокое усвоение учебного материала, на развитие самостоятельности. Все эти аспекты напрямую связаны с использованием вопросов для организации учебно–познавательной деятельности учащихся, однако, в центре обсуждения — использование вопросов или вопросно–ответного метода. Проблема исследования — это как с помощью вопросно–ответного интерфейса системы тестирования организовать учебно–познавательную деятельность учащихся в процессе обучения так, чтобы стимулировать интеллектуальное и творческое развитие таких учащихся? Важным требованием к образовательной системе на современном этапе является необходимость помогать ученикам самим добывать знания, ориентироваться в насыщенном информационном пространстве, то есть учить их работать творчески, а не репродуктивно. Организовать процесс обучения необходимо таким образом, чтобы ученик сам задавал вопросы системе для пополнения необходимых знаний. Организация учебного процесса, при котором ученик является инициатором учебного диалогического общения с системой, позволяет по–новому выявить роль и функции системы, которая уже будет выступать как помощник ученика, и ее роль заключается, прежде всего, в координировании диалога. 2. Цель и задачи исследования, планируемые результатыЦель исследования: разрешить выявленную проблему путем научного обоснования и разработки методики использования вопросно–ответного интерфейса как инструмента ведения «обратного диалога» с системой, для интеллектуального и творческого развития учащихся. Объектом исследования является процесс обучения и проверки знаний учащихся с помощью системы тестирования с вопросно-ответным интерфейсом. Предметом исследования является метод использования вопросно–ответного интерфейса в системах тестирование, стимулирующих интеллектуальное и творческое развитие учащихся. При решении поставленной проблемы за основу брались гипотезы о том, что организация учебно–познавательной деятельности учащихся в процессе обучения с помощью вопросно–ответного интерфейса будет стимулировать их интеллектуальное и творческое развитие, если:
Для реализации поставленной цели необходимо решить следующие задачи исследования:
Назначением системы является обучение учащихся с помощью вопросно–ответного интерфейса и процедуры «обратного диалога», а так же точное оценивание знаний пользователя проходящего тестирования на основе адаптивного комплексного тестирования по выбранной предметной области. 3. Обзор исследований и разработокАвторы большинства создаваемых в настоящее время вопросно–ответных систем естественным образом ориентируются на английский язык. Однако любая серьезная система должна каким–либо образом анализировать структуру запроса, опираясь на знания о языке, на котором он сформулирован. Поэтому произвести объективное сравнение систем, рассчитанных на разные языки, практически невозможно. Тем не менее, можно изучить принципы работы любой данной системы и сделать вывод о глубине производимого ей анализа предложений запроса и входного текста. Прежде всего, следует отметить, что для английского языка уже существуют свободно распространяемые в исходных текстах синтаксические анализаторы (например CMU Link Parser) и справочные системы по словам языка, самая популярная из которых — WordNet. Система CMU Link Parser, разработана в университете Карнеги-Меллона, строит для любого заданного предложения его «синтаксическую структуру», состоящую из помеченных связей, соединяющих пары слов. Встроенный словарь анализатора состоит из примерно 60000 словоформ, кроме того, система способна работать с неизвестными словами, делая «догадки» о их принадлежности к тем или иным частям речи. Проект WordNet — это мощный толковый словарь и тезаурус, выдающий результаты своей работы в удобном для компьютерного анализа структурированном виде. Сами словарные статьи при этом, однако, являются именно словарными статьями в классическом смысле, то есть они представляют собой тексты на английском языке, вообще говоря предназначенные для чтения человеком. Безусловно, WordNet является очень полезным инструментом и в настоящее время ведется адаптация для русского языка. Системы WordNet и CMU Link Parser используются в вопросно–ответной системе, совместно с поисковой машиной общего назначения Managing Gigabytes. Сначала пользовательский запрос обрабатывается синтаксическим анализатором CMU Link Parser, затем с помощью несложного алгоритма в нем выбирается «запрашиваемая сущность», то есть собственно элемент, подлежащий поиску в коллекции входных документов. Следующий этап — определение «типа ответа» при помощи анализа запрашиваемой сущности системой WordNet. Затем каждому существительному из набора входных документов приписывается его атрибут. На конечном этапе полученная информация поступает на вход поисковой машины, которая и осуществляет выбор релевантных фраз. Одной из наиболее развитых в настоящее время вопросно–ответных систем является разработанная в Далласе система Lasso. Для индексации элементов используется обобщенная поисковая система. Введенный запрос анализируется, определяется его тип, запрашиваемую сущность и тип ответа. Алгоритм определения приведенных элементов основывается на последовательном применении восьми различных «эвристик». Для нахождения ответа система просматривает документы в поисках вхождения интересующих типов сущностей. Типы сущностей для слов из входных документов определяются при помощи «лексико–семантического анализатора», основанного на словарях Gazetteer и WordNet. Найденные ответы ранжируются по релевантности при помощи специальной оценочной функции, включающей в себя количество найденных слов, пунктуационные характеристики, «целостность» предложения и некоторые другие элементы. Проанализировав аналоги, можно сделать вывод, что системы высокого уровня для русского языка в настоящее время находятся только в стадии разработки. С другой стороны, есть объективные предпосылки для создания вопросно–ответных систем, по качеству не уступающих западным аналогам [1]. 3.1 Обзор международных источниковВопросно–ответная система представляет собой программный модуль, позволяющий человеку вести с машиной диалог на естественном языке. пользователь задает вопросы программной системе, а программная система печатает ответы, формируемые в виде осмысленных предложений. Первые вопросно–ответные системы появились в 60–х годах прошлого века. среди наиболее известных реализаций следует выделить системы BASEBALL LUNAR. Система BASEBALL позволяла вести диалог с пользователем, интересующимся результатами соревнований бейсбольной лиги США за прошедший год. Система LUNAR отвечала на вопросы, связанные с геологическим анализом образцов пород, доставленных с лунной поверхности экспедициями программы «Аполлон». Обе системы были достаточно эффективно реализованы и представляли собой примеры вопросно–ответных систем, ориентированных на конкретную предметную область. Например, система LUNAR, демонстрировавшаяся на конференции 1971 г., на которой обсуждались вопросы лунных исследований, позволяла получить ответы примерно на 90% всех вопросов, заданных данной системе. Некоторые известные программные системы, разработанные в 60–х годах прошлого века, содержали в себе вопросно-ответные модули в виде подсистем. Так, программа ELIZA 1 содержала в качестве программного модуля вопросно–ответную систему, которая, собственно, и позволяла общаться с пользователем. В 70–х и 80–х годах прошлого века было реализовано достаточно много вопросно–ответных систем, позволяющих вести диалог с пользователем в конкретной предметной области. Например, программный комплекс Unix Consultant отвечал на вопросы, связанные с операционной системой UNIX. Unix Consultant был основан на достаточно сложной и развитой базе знаний, содержащей информацию об операционной системе UNIX. Интерфейс к базе знаний был реализован в виде вопросно–ответной системы [2]. К современным обучающим системам относятся системы TrainingWare, eLearning Server 3000 v2.0, eLearningOffice 3000, IBM Workplace Collaborative Learning и HyperMethod 3.5 компании ГиперМетод, которая является крупнейшим российским разработчиком готовых решений и программного обеспечения в области мультимедиа, экспертного обучения и электронной коммерции [3]. 3.2 Обзор локальных источниковСоздание систем тестирования знаний не является инновационной идеей, так как раннее успешно разрабатывались и создавались системы такого типа, как в Украине так и за ее пределами. В Донецком национальном техническом университете проводятся исследования по темам, смежным с моей. Статьи Звенигородского А.С. (кафедра систем искусственного интеллекта) посвящены исследованиям и решению многих проблем в этой сфере. Например, в статье Звенигородский А.С., Иванова, С.Б., Чернышова, В.Н. «Модель одного ответа на вопрос в естественно–языковых системах тестирования» рассматривается проблема моделирования вопросов на перечисление в системах компьютерного тестирования знаний. Предложена модель ответа на перечисление, учитывающая составляющие предметной области ответа и естественно языковые средства их выражения. Представлен алгоритм анализа и оценки ответа на перечисление. А в статье Звенигородский А.С., Чернышова В.Н. «Модель вопроса в естественно-языковых системах тестирования» рассматривается проблема генерирования вопросов в системах компьютерного тестирования знаний. Предложена модель вопроса, учитывающая составляющие предметной области вопроса и текущие параметры тестирования. Представлена структурная схема процесса формирования вопроса [4]. В Харьковском национальном университете радиоэлектроники создан тестовый центр с целью разработки и внедрения технологий компьютерного тестирования знаний. Под руководством к.т.н., доцента кафедры автоматизации проектирования вычислительной техники Александра Сергеевича Шкиля разработана и успешно внедрена система OpenTEST2 — это компьютерная программа тестирования знаний созданная для очного итогового контроля качества знаний обучаемых в крупных учебных организациях со сложной распределённой структурой. На сегодняшний день существует достаточное количество стандартных систем тестирования знаний. Исследования показывают, что большая часть из них ориентирована на прохождение тестирования в Internet через Web–интерфейс. Программы украинского производства, к сожалению, пока не могут составить достойную конкуренцию зарубежным аналогам. Однако интерес к компьютеризации образования в нашей стране стримительно растет. И возможно, в ближайшем будущем, появится достойный программный продук, который займет свое место на рынке IT–разработок. В частности, работы наших магистров, у которых были успешно созданы готовые программные продукты, и которые успешно прошли тестирование:
4. Методы реализации системы тестирования с вопросно–ответным интерфейсом4.1 Общая модель представления системыПри создании модели системы тестирования с вопросно–ответным интерфейсом, было изучено большое количество работ по данной теме, среди которых можно выделить ряд общих недостатков:
На рисунке 1 показана общая схема работы пользователя с системой вопросно–ответного интерфейса тестирования. 
Рисунок 1 — Общая схема работы пользователя с системой вопросно–ответного интерфейса тестирования (анимация: 20 кадров, 10 циклов повторения, 56 килобайт) Современные вопросно–ответные системы работают с неограниченными или ограниченными предметными областями. В первом случае они больше напоминают традиционные поисковые системы, однако отличаются от них тем, что используют большее количество онтологий. Основным приложением системы тестирования с вопросно–ответным интерфейсом является реализация интерфейса человек–база знаний для различных областей применения. Кроме того, вопросно–ответные системы, очевидно, решают задачу информационного поиска вообще. Перечислим основные требования для вывода ответа пользователю:
4.2 Вопросно–ответные системы, базирующиеся на веб–поискеВопросно–ответные системы, базирующиеся на веб–поиске, в качестве источника используют веб–страницы или их фрагменты. При построении данных систем используется результаты систем информационного поиска сети Интернет, то есть в данном случае в архитектуру включена одна из существующих поисковых систем. Вопросно–ответная система, получая вопросительное предложение на естественном языке от пользователя, обрабатывает его, генерирует запрос из ключевых слов для поисковой системы. Ключевые слова выбираются исходя из самого вопросительного предложения. После поискового запроса система получает результаты информационного поиска в виде веб–ссылок и фрагментов текста–сниппетов. Сниппет — небольшой отрывок текста из веб–документа результатов работы поисковой системы, который используется в качестве описания ссылки результатах поиска. Обычно сниппет содержит контекст, в котором встретилось ключевое слово в тексте веб–документа. Далее вопросно–ответная система работает с данными фрагментами веб–документов, используя методы обработки естественных языков, генерирует ответ пользователю. Обычно это методы выделения различных именованных сущностей, дат, чисел и различные алгоритмы выбора фрагмента текста в качестве ответа. Также могут использоваться и синтаксические, морфологические методы анализа текста. На рисунке 2 показана обобщенная архитектура вопросно–ответной системы, базирующейся на сети Интернет. 
Рисунок 2 — Обобщенная архитектура вопросно–ответной системы, базирующейся на сети Интернет (анимация: 26 кадров, 10 циклов повторения, 48 килобайт) Отметим основные преимущества данных систем:
Но есть и недостатки данного подхода к разработке вопросно–ответных систем:
4.3 Основные методы поиска ответаПосле того, как определены ключевые слова, то есть, сформулирован вопрос пользователя, работа системы переходит на следующий этап — этап информационного поиска.
Информационный поиск На данном этапе происходит получение релевантных поисковому запросу текстовых фрагментов, которые возможно содержат ответ. В современных вопросно–ответных системах данный модуль представляет собой классическую поисковую машину, на вход которой поступает запрос из ключевых слов. После того как получен набор текстовых документов, релевантных запросу, извлекаются фрагменты, в которых велика вероятность получения ответа на вопрос. Для того чтобы получить фрагменты из документов, которые могут одержать ответ с наибольшей вероятностью, текст документа делится на части — одним из способов является деление на абзацы. Затем выбирается тот фрагмент (абзац), который одержит все ключевые слова или наибольшее их количество. Пусть имеется поисковый запрос, состоящий из следующего набора ключевых слов: {k1,k2,k3,k4}. Текст документа разделен на фрагменты (параграфы) и один из параграфов содержит включения k1,k2,k3, причем k1 и k2 встречаются два раза, k3 — один. Вводится понятие окна параграфа оно включает в себя весь текст между двумя ключевыми словами — одним, расположенным выше остальных по тексту, вторым — ниже. Рассматриваются всевозможные включения ключевых слов во фрагмент документа (окно параграфа). Таким образом, для данного случая можно получить 4 случая окна параграфа: [k1-1, k2-1, k3], [k1-2, k2-1, k3], [k1-1, k2-2, k3], [k1-2, k2-2, к3]. Каждое из окон параграфов оценивается для каждого из них рассчитываются следующие величины:
Далее происходит сортировка и выбор фрагмента документа, причем сравниваются величины всех окон всех параграфов [9]. Извлечение ответа На данном шаге распознается и извлекается из полученных текстовых фрагментов ответ на вопрос. Важную роль в выделении ответа играет тип ответа. Общая идея решения задачи извлечения ответов состоит в следующем: выявляются так называемые кандидаты для ответа — слова или словосочетания, которые могут рассматриваться как ответ на вопрос. Затем производится анализ списка кандидатов, все кандидаты оцениваются, выбирается самый подходящий, то есть тот, который имеет наивысшую оценку. Выбор кандидатов ответов Выделение именованных сущностей. Стратегия извлечения ответа из текстового фрагмента зависит от типа ожидаемого ответа. Зачастую для фактографических вопросов при первичном анализе фрагментов текста используются методы выделения именованных сущностей. Например, для таких типов ответа, как географические местоположения, имена людей (PERSON, LOCATION, COUNTRY) в извлечении ответа будут использованы алгоритмы распознавания имён собственных. Для извлечения сущностей может использоваться готовая сторонняя система извлечения информации, которая обучается размеченным текстовым корпусом, также может использоваться словари, содержащие списки различных сущностей. Использование шаблонов. Рассмотрим один из популярных способов извлечения ответа — с помощью соответствия шаблонам. Для каждого типа ответа составляются шаблоны, с помощью них в текстовых фрагментах производится поиск и выделение кандидата ответа. Для выбора ответа используются информация о типе ожидаемого ответа, полученная на первом этапе работы системы, и символьные шаблоны. Шаблоны можно создавать как вручную, так и автоматическими обучаемыми алгоритмами. Также можно использовать автоматические методы для выявления шаблонов для последующего их применения. Целью обучения является выявления и построение связей между конкретным типом ответа (например, DATE_OF_DEATH) и конкретным фокусом вопроса (для этого случая — персона). Таким образом, нужно выявить шаблоны, связывающие два вида этих фраз (PERSON/DATE_OF_DEATH). Приведем примерный алгоритм обучения для выявления шаблонов:
Использование N–грамм. Другим способом извлечения ответов из фрагментов является выявление кандидатов применением n–грамм. N–грамма — это под последовательность из n элементов, следующих друг за другом в данной последовательности. Данный алгоритм эффективно применять к сниппетам при поисковом запросе, полученном при перефразировании вопросительного предложения. На первом этапе из сниппета извлекаются униграммы, биграммы и триграммы. Далее им присваиваются веса, равные количеству сниппетов, в которых встретилась данная n–грамма. Следующий этап — оценивание и сбор кандидатов из n–грамм. При оценивании преследуется цель определения того, насколько данная n–грамма соответствует типу ожидаемого ответа. Далее n–граммы ранжируются, выбирается определенное их количество с высокими оценками и строится кандидат ответа, путем конкатенации n–грамм. Кандидат для ответа с высокой оценкой выбирается в качестве ответа. Оценка кандидатов ответа После выбора кандидатов производится оценка и выбор потенциального ответа. Оценка производится с помощью проверки различными способами. Для каждого типа ответа составляются шаблоны, с помощью них в текстовых фрагментах производится поиск и выделение кандидата ответа. Есть много различных подходов, применяемых для решения задачи выбора ответа из кандидатов, в целом они все отличаются тем, как формализуются, сравниваются и обрабатываются в них предложения на естественном языке для оценки и выделения потенциальных ответов среди кандидатов ответа. Метод мешка слов. Один из простых способов вычисления оценки для кандидата ответа является метрика метода мешка слов: 
Рисунок 3 — Метод мешка слов где Qk — множество слов вопроса, Ak — множество слов сниппета, содержащего кандидата ответа, а оценка Sk для k–го кандидата вычисляется, как отношение мощности пересечения множеств Qk и Sk и мощности множества Qk [10–14]. Метод с использованием семантических структур Для оценки кандидата ответа можно использовать обработку текстовой информации, связанной с разметкой семантических ролей. Общая формулировка задачи разметки семантических ролей состоит в следующем: для предложения на естественном языке необходимо определить множество участников ситуации, описываемой в этом предложении, и их семантические роли — соответствующие отношения между участниками. В результате создается семантическая структура — структурированное представление текстовой информации, представляемое в виде ориентированного графа, которое используется для оценки кандидата ответа. Для этого сравниваются граф вопросительного предложения и граф предложения, в котором содержится кандидат ответа. И по вычисленной мере схожести графов можно проставить оценку кандидату ответа. На рисунке 4.4 представлен пример разбора предложения «Кеннеди убил его личный водитель из специального оружия взрывными пулями в упор», в виде семантического графа. 
Рисунок 4 — Семантический граф предложения Для русского языка из доступных решений, которые можно использовать для оценки кандидата ответа на вопрос, есть технология семантического анализа системы АОТ. Семантический анализ предложения подразумевает процесс выявления его семантической структуры. Введем терминологию, определенную авторами системы АОТ и аналогичную используемой в задаче разметки семантической ролей. Семантическая структура состоит из семантических узлов (участников ситуации) и семантических отношений (семантических ролей). После анализа предложения получается множество из узлов и отношений между ними. Узлами являются слова или словосочетания из предложения, а отношения представляют собой связи с метками, обозначающими различные типы семантических ролей. В результате полученное множество можно визуализировать в виде ориентированного дерева–графа, который авторы системы называют семантическим графом предложения [15–16]. ВыводыПовышение ценности образования в обществе и развитие вычислительной техники информационных технологий определили широкое распространение обучающих систем и систем проверки знаний. Данные исследования должны повысить качество оценивания знаний, формализовать и автоматизировать методику формирования адаптивных тестов, оценить качество формируемых системой тестов, предоставить возможность оценивания знаний как, в общем, по дисциплине, так и по отдельным темам в частности. Большинство исследовательских вопросно–ответных систем построено по типовому конвейеру. Различают этап анализа вопроса, на котором важно определение типа ожидаемого ответа, этап информационного поиска, на котором получают текстовые фрагменты, и этап извлечения ответа, на котором производится поиск и выбор кандидатов ответа, их оценка и выбор потенциального ответа. Большая часть современных вопросно–ответных систем используются различные методы анализа и обработки естественных языков. На основе исследования существующих решений можно сделать вывод о возможности реализации прототипа вопросно–ответного интерфейса для системы тестирования, основанного на веб-поиске с использованием методов обработки естественного языка, так как при этом нет необходимости в поддержке большой базы текстовых документов, отсутствует необходимость в привлечении экспертов, не нужна разработка методов поиска текстовых фрагментов, содержащих потенциальный ответ и можно абстрагироваться от задач информационного поиска. Был произведен анализ существующих средств семантического разбора естественно–языковых текстов, их особенности и технологии. Описаны алгоритмы системы анализа текста и разработана структура системы построения семантического разбора для естественно–языковых текстов. Важное замечаниеПри написании данного автореферата магистерская работа еще не завершена. Предположительная дата завершения – 10 декабря 2015 г. Полный текст работы, а также материалы по теме могут быть получены у автора или его руководителя после указанной даты. Список источников
|
