Українська   English
ДонНТУ   Портал магистров

Реферат по теме выпускной работы

Содержание

Введение

На сегодняшний день информационные технологии во всем мире стремительно внедряются в нашу жизнь, в том числе и в сферу обучения и контроля знаний. На фоне ускорения общего темпа жизни всё чаще мы встречаем понятие дистанционного обучения, которое позволяет получать знания в любое удобное время. Исходя из этого, задача быстрого и объективного автоматизированного контроля знаний обучающихся становится всё более актуальной. Не смотря на это, практически все существующие автоматизированные методы оценки знаний значительно уступают экспертному оцениванию знаний.

1. Актуальность темы

Большинство нынешних систем оценки языковых знаний не позволяют проводить гибкую оценку в зависимости от критичности допущенных ошибок. В этих системах необходимо, чтобы ответы полностью совпадали с правильными, а баллы выставляются по принципу «всё или ничего». Исходя из этого, разработка системы гибкой оценки знаний является актуальной, особенно в последнее время, когда всё большую популярность набирают различные курсы дистанционного обучения, в том числе и языковые.

2. Цель и задачи исследования

Цель работы – разработка системы тестирования знаний иностранного языка с подсистемой анализа ошибок.

Для достижения поставленной цели необходимо выполнить ряд задач:

  1. Анализ методов оценки языковых знаний.
  2. Создание тестового набора, который включает в себя правильные ответы, а также варианты ответов, включающих опечатки и грамматические ошибки.
  3. Разработка системы тестирования языковых знаний.
  4. Разработка подсистемы интеллектуального определения критичности допущенных ошибок.
  5. Проверка правильности работы системы

Предмет исследования – система оценки языковых знаний,  приближённая к экспертной оценке.

Объектом исследования является интеллектуальное оценивание знаний.

Методы исследования: аналитический обзор и обобщение информации, нечёткие методы, методы теории информации и компьютерной лингвистики.

Областью использования разрабатываемой системы являются языковые школы, а так же системы дистанционного обучения, в которых оценка знаний иностранных слов и грамматики осуществляется посредством набора различных тестов. 

3. Анализ существующих систем тестирования знаний английского языка

Был выполнен анализ различных online-систем, позволяющих провести тестирование языка. Немаловажным критерием выбора систем является общедоступность.

1.     http://www.englisch-hilfen.de/en/

Среди анализируемых порталов английского языка данный портал предлагает наиболее широкий выбор различных языковых тестов. Есть тесты на порядок слов, на словарный запас, грамматические тесты, и тесты на произношение, так же есть выбор различный комплексных тестов на разные направления. Есть тесты, в которых необходимо самому вводить слова, что является наиболее интересным, поскольку в данном случае варианты ответов не представлены, что исключает ответ на задание «наугад». Не смотря на богатую гамму тестов, ответы на задания в основном предлагается списком, это означает, что есть возможность угадать, а там, где надо вводить слова вручную, проверка ответов проходит по принципу «всё или ничего», что, безусловно, является недостатком этих вариантов заданий.

2.     http://englex.ru/

Online-школа английского языка Инглекс предоставляет возможность определить уровень знания языка с помощью комплексной проверки знаний в четырех областях: грамматике, словарном запасе, чтении и восприятии речи на слух. Несмотря на разнообразные задания, данная система тестирования всегда предлагает различные варианты ответов, что является её недостатком.

3.     http://englishteststore.net/

Данный портал, несомненно, может похвастаться богатым набором тестов и упражнений для английского языка, ориентированных на различные уровни знаний. Тут можно проверить навыки чтения, устной речи, восприятия устной речи, проверить словарный запас, уровень грамматики. Однако все эти задания объединяет недостаток предоставляемых ответов.

4.     http://www.study.ru/test/

Тесты, предоставляемые данным порталом, отличаются от остальных тем, что позволяют проверить знания различных частей речи, будь то местоимения, предлоги, артикли и прочие, а также умения строить вопросительные предложения. Задания предоставляют выбор ответов, о недостатках которого уже рассказано ранее. 

В Сети можно найти огромное количество тестов английского языка, которые не выделяются ни разнообразием, ни выбором тематики тестов, ни, тем более, дифференцированными тестами, позволяющие оценивать знания языка на совершенно другом уровне. Вот несколько таких систем:


Несмотря на большое изобилие тестов, найти такие, которые  давали бы дифференцированное количество баллов за ответы, не удалось.

3.1 Технические средства тестирования

Также, помимо online-систем тестирования языковых знаний, существует и программное обеспечение для ПК, которое предназначено для тестирования. Подобное ПО можно характеризовать по следующим критериям:


Выделяют следующие виды заданий, которые могут быть программно реализованы:

Был выполнен анализ следующих систем тестирования:

В ходе анализа были отмечены следующие системы: OpenTest2, MyTestXPro, Indigo, Айрен. Среди них наиболее выделяются две системы, каждая из которых имеет свои преимущества и недостатки:

4. Методы оценивания языковых знаний

Карпова выделяет наиболее распространённые методы оценки знаний [1]:

Поскольку данные типы далеки от методики оценки знаний преподавателем, необходимо разработать систему, которая будет оценивать знания испытуемых как преподаватель. Одной из возможных систем может быть следующая: есть некоторое предложение с пропущенным ключевым словом, например, глагол, который необходимо вручную вписать в нужной форме. Если вписанное слово совпадает с эталонным, ответ верный, и испытуемый получает максимальное количество баллов за тест. Если нет – система должна определить, какого рода была совершена ошибка, и после этого определять, какое количество баллов выставлять за работу. При этом важным является тот факт, что эксперты не должны перебирать все возможные варианты ошибок, всё, что от них требуется – один раз указать типы ошибок и количество баллов, которые «стоит» каждый из них. Также данная система будет являться универсальной, поскольку рассчитана для нахождения ошибок в любой части речи и в любой тематике.

Идентификация ошибок в общем случае можно осуществить с помощью нескольких этапов:

Этапы идентификации ошибок

Рисунок 5 – Этапы идентификации ошибок (анимация: количество кадров – 7 шт., Частота кадров – 1/сек, кол-во повторений не ограничено размер – 42,5 килобайт)

Рассмотрим каждый этап более детально.

1.     Сравнение ответа на задание с эталоном. Если ответ совпадает, за задание выдаётся максимальное количество баллов.

2.     Если ответ не совпадет с правильным, выполняется нечёткий поиск в словаре для получения информации об ответе. Эта информация содержит данные о формах слова, лице и пр.

3.     Если ответ не был найден, либо ответ слишком отличался от сравниваемых слов, баллы за задание не выставляются, ответ считается полностью неверным.

4.     Сравниваются морфологические признаки наиболее вероятного слова, которое испытуемый имел в виду. Например, количество снимаемых за ответ баллов для пары глаголов времени Past Simple и Past Continuous будет меньше, чем для Past Simple и Future Simple.

5.     С помощью морфемного анализа определяется часть слова, в которой была допущена ошибка. В зависимости от места ошибки необходимо снимать различное количество баллов, поскольку правильно написать корень важнее, чем, к примеру, суффикс.

6.     В случае некритичной ошибки, на основе пунктов 4 и 5 определяется количество баллов, которое необходимо снять за ответ.

7.     На основе пунктов 1, 3, 6 выставляются баллы за задание.

Ключевыми этапами разрабатываемой системы являются нечёткий поиск в словаре, морфологический и морфемный анализ. На них необходимо остановиться.

4.1 Нечёткий поиск в словаре

Поскольку разрабатываемая система предназначена для проверки языковых знаний, подразумевается, что введённые слова будут содержать ошибки, поэтому необходимо предусмотреть способ поиска слов с ошибками. Для этого и нужен нечёткий поиск, который позволяется найти похожие слова. Степень похожести определяется с помощью метрик. Метрикой нечеткого поиска называют функцию расстояния между двумя словами, позволяющую оценить степень их сходства в данном контексте. В качестве метрик используют расстояния Хемминга, Левенштейна, Дамерау – Левенштейна [2]. В разрабатываемой системе используется модификация расстояния Левенштейна – расстояние Дамерау – Левенштейна. Суть данной модификации заключается в том,  к операциям вставки, удаления и замены символов, определенных в расстоянии Левенштейна добавлена операция транспозиции (перестановки) символов.

Приведём примеры таких расстояний.

Right – Rigth : 1

Rabbit – Rabit: 1

Fly – Flai : 2

Таким образом, в случае несовпадения слова с эталоном, с помощью нечёткого поиска мы получаем слово, которое имел в виду испытуемый несмотря на возможные ошибки, и дальше работаем с ним.

4.2 Морфологический анализ

Целью и результатом морфологического анализа является определение морфологических характеристик слова и его основная словоформа [3].

Существует три основных подхода к проведению морфологического анализа. Первый подход часто называется «четкой» морфологией. Второй подход основывается на некоторой системе правил, которые по заданному слову определяют его морфологические характеристики. В противоположность первому подходу, его называют «нечеткой» морфологией. Третий, вероятностный подход, основан на сочетаемости слов с конкретными морфологическими характеристиками [3].

Для наших целей наиболее подходит первый подход, поскольку он, как и второй, на вход принимает отдельные слова, в то время как третий – вероятностный – на вход принимает часть предложения, что не приемлемо  для системы тестирования языковых знаний. Первый вариант проще в реализации, однако, обладает существенным недостатком – слова, поступающие на вход, могут не входить в словарь всех словоформ. Такая ситуация может возникнуть из-за ошибок ввода  исходного текста, наличия в тексте имен собственных и так далее.

Решение данной проблемы предлагает Гашков в своей работе «Повышение точности определения морфологических признаков неизвестных слов методом аналогий с помощью нечетких множеств» [4]. Автор предполагает, что использование метода аналогий в сочетании с нечеткими множествами может  улучшить качество анализа. Проведённые эксперименты показали, что точность определения признаков неизвестных словарю слов возросла до 50 %, что автор полагает  удовлетворительным результатом [4].

4.3 Морфемный анализ

Целью морфемного анализа слова является разделение слова на отдельные лексемы: приставки, корни, суффиксы и окончания [3]. Методы морфемного анализа в глобальном смысле можно разбить на две группы.

В первую группу относятся те методы, которые выполняют анализ только на основе словаря. Данный метод было бы логично объединить с предыдущим этапом анализа ответа – с морфологическим анализом. Это позволит значительно сократить время проведения анализа ответов, поскольку проводится морфологический разбор слова, и сразу же получаем его морфемные составляющие. У этой группы есть явный недостаток – если слова нет в словаре, морфемный разбор не будет выполнен. Этой проблемы лишена вторая группа.

Во вторую группу входят те методы, которые для своей работы не ссылаются на словарь при разбиении слова на морфемы. В данную группу входят различные статистические, а также вероятностные методы. Данная группа методов нуждается в предварительном обучении правил. Явным достоинством этой группы является то, что морфемный разбор слова выполняется всегда, хоть и может ошибаться в некоторых случаях. Хорошие результат показывают исследования, которые проводил Xuri TANG [5]. Автор занимается вероятностными методами. Его метод анализа основан на вероятности перехода и n-1-буквы в n-букву. Если эта вероятность меньше определённого порога – величины, задаваемой заранее, то эти буквы считаются границами разным морфем, и, следовательно, должны быть разделены.

В общем случае, для проведения качественного морфемного анализа, необходима комбинация этих двух методов, тем более, если стоит задача проведения и других видов анализа, как в нашем случае, что, безусловно, значительно сократит общие временные затраты на проведение анализа. 

Выводы

Разрабатываемая система тестирования будет востребована, поскольку широко используемые методы оценки считают неверным ответ, даже если возникла простая опечатка, которая не является критической. Например, в слове «ccrying» видим лишнюю букву, которая может быть поставлена вследствие дрожи рук, либо просто из-за более долгого нажатия на клавишу. Данная ошибка является не ключевой, поэтому будет некорректно «снимать» за неё все баллы.

Данная магистерская работа может служить основой для последующих разработок, которые не возможны без отлаженной работы морфологического и отчасти морфемного анализа – система оценки знаний с помощью синтаксического и семантического анализа. Добавление этих анализов позволит разрабатываемой  системе полностью охватить оценку знаний иностранного языка.

При написании данного реферата магистерская работа еще не завершена.
Окончательное завершение: май 2017 года. Полный текст работы и материалы по теме могут быть получены у автора или его руководителя после указанной даты.

Список источников

  1. Карпова И.П. Некоторые аспекты качественной оценки ответов тестируемых в системах контроля знаний [Электронный ресурс]. – Режим доступа: http://cat.convdocs.org/docs/index-194365.html
  2. П.М. Мосалев. «Обзор методов нечеткого поиска текстовой информации» – Журнал "Вестник Московского государственного университета печати" Выпуск № 2 / 2013.
  3. Константин Селезнёв. «Обработка текстов на естественном языке» – «Открытые системы», № 12, 2003 г.
  4. А.В.Гашков «Повышение точности определения морфологических признаков неизвестных слов методом аналогий с помощью нечетких множеств» – Вестник Челябинского государственного университета. 2014. № 7 (336). Филология. Искусствоведение. Вып. 89. С. 20–23.
  5. Xuri TANG. Dept. Foreign Languages Wuhan University of Science and Engineering, 430073, Wuhan, P. R. China
  6. Карпова И.П. Анализ ответов обучаемого в автоматизированных обучающих системах. – Информационные технологии, 2001, № 11. – с.49-55.
  7. Белоногов, Г. Г. Компьютерная лингвистика и перспективные информационные технологии. М., 2004. 248 с.
  8. Система тестирования знаний Opentest2 [Электронный ресурс]. – Режим доступа: Opentest.com.ua
  9. Система тестирования знаний MyTestXPro [Электронный ресурс]. – Режим доступа: http://mytest.klyaksa.net
  10. Система тестирования знаний xTLS [Электронный ресурс]. – Режим доступа: http://xtls.org.ua
  11. Система тестирования знаний Indigo [Электронный ресурс]. – Режим доступа: http://indigotech.ru
  12. Система тестирования знаний StartExam  [Электронный ресурс]. – Режим доступа: http://www.opentest.ru/pricing
  13. Система тестирования знаний Let's test  [Электронный ресурс]. – Режим доступа: http://letstest.ru
  14. Система тестирования знаний Heydarov [Электронный ресурс]. – Режим доступа: http://heydarov.com/load/1-1- 0-39
  15. Система тестирования знаний Айрен [Электронный ресурс]. – Режим доступа: http://irenproject.ru