ЭКСПЕРИМЕНТАЛЬНАЯ ОЦЕНКА КАЧЕСТВА ГЕНЕРАЦИИ ОТВЕТОВ ИНТЕЛЛЕКТУАЛЬНОГО ПОЧТОВОГО АССИСТЕНТА НА ОСНОВЕ КРИТЕРИЯ АДЕКВАТНОСТИ

Зозуля Н.М., Федяев О.И.
ФГБОУ ВО «Донецкий национальный технический университет», г. Донецк
Кафедра «Программная инженерия» им. Л.П. Фельдмана
e-mail: nikitadonputilov@gmail.com, olegfedyayev@mail.ru

Аннотация. Проведено экспериментальное исследование работы интеллектуального почтового ассистента для студентов, основанного на нейросетевой модели и графе знаний. На основе ранее предложенного критерия адекватности выполнена количественная оценка релевантности и связности ответов на вопросы по дисциплине «Нейросетевые и нечёткие системы». Приведены результаты расчёта интегрального показателя для различных типов вопросов и дана интерпретация полученных данных.

Ключевые слова: интеллектуальный ассистент, обработка естественного языка, критерий адекватности, нейросетевые модели, образовательные технологии.

Введение

Современные интеллектуальные системы активно внедряются в образовательную среду, повышая уровень автоматизации коммуникации и индивидуализации обучения. Одним из перспективных направлений их применения является создание интеллектуальных почтовых ассистентов, способных в автоматическом режиме обрабатывать текстовые запросы студентов и формировать информативные ответы.

Актуальность определяется необходимостью повышения доступности консультаций и снижения нагрузки на преподавателей при сохранении качества взаимодействия. Ключевой задачей остаётся оценка адекватности и релевантности ответов, так как традиционные метрики (BLEU, ROUGE) не отражают соответствие ответов структуре знаний дисциплины.

В предыдущей работе была предложена архитектура почтового ассистента, включающая модули NLP, нейросетевую генерацию и граф знаний [1]. Для количественной оценки качества введён интегральный критерий адекватности K, учитывающий семантическую близость, когерентность текста и релевантность ключевым понятиям предметной области.

Цель работы — экспериментальная проверка адекватности ответов интеллектуального почтового ассистента и анализ применимости критерия K для количественной оценки качества генерации ответов.

1. Постановка задачи

Введём множество учебных запросов студентов:

Q = {q₁, q₂, …, q_n}, (1)

и соответствующее множество ответов системы:

A = {a₁, a₂, …, a_n}, (2)

Критерий адекватности K определяется как:

K = α₁S + α₂C + α₃R, (3)

где:

S — семантическая близость запроса и ответа;
C — когерентность (связность текста);
R — релевантность понятий графу знаний;
α₁, α₂, α₃ — весовые коэффициенты [2].

Для генерации ответов используется рекуррентная нейросеть (см. рис. 1).

Рисунок 1 – Структура рекуррентной нейросети

Граф знаний используется для проверки релевантности терминов в ответе (см. рис. 2).

Для анализа когерентности текста строится дерево зависимостей предложения (см. рис. 3).

2. Методика эксперимента

Эксперимент проводился с использованием реализованного ранее прототипа интеллектуального почтового ассистента, включающего модули предобработки текста, NLP-анализа, сопоставления с графом знаний и нейросетевой генерации ответов [3]. В качестве предметной области выбрана дисциплина «Нейросетевые и нечёткие системы», для которой в графе знаний были зафиксированы основные понятия курса — персептрон, функция активации, нейрон, обучение, классификация, нечёткие множества и др.

Для проверки применимости критерия адекватности K была сформирована выборка из 10 учебных вопросов студентов различных типов: теоретические («что такое персептрон?»), уточняющие («чем отличается функция активации ReLU от сигмоиды?») и прикладные («как обучить нейронную сеть на своих данных?»). Каждый вопрос обрабатывался системой, и сгенерированный ответ сохранялся для анализа.

Для каждой пары вопрос–ответ вычислялись три компонента критерия K:

Семантическая близость S рассчитывалась как косинусное сходство между эмбеддингами вопроса q_i и ответа a_i:
S = (v_{q_i} · v_{a_i}) / (||v_{q_i}|| · ||v_{a_i}||), (4)
Когерентность C определялась связностью текста ответа, оцениваемой по грамматической и синтаксической корректности:
C = n_{корректных предложений} / n_{всех предложений}, (5)
Релевантность R определялась как доля терминов ответа, совпадающих с узлами графа знаний дисциплины:
R = n_{совпавших терминов} / n_{всех терминов ответа}, (6)

Вычисления проводились в Python 3.11 с использованием scikit-learn (косинусное сходство), NLTK и spaCy (токенизация, POS-теги, синтаксис), Neo4j (сравнение с графом знаний). Данные сохранялись в CSV и визуализировались средствами Matplotlib.

3. Результаты и обсуждение

В результате проведённого эксперимента были получены значения критерия адекватности K для десяти запросов студентов по дисциплине «Нейросетевые и нечёткие системы». Каждый запрос классифицировался по типу: теоретический (Т), уточняющий (У) или прикладной (П). Таблица 1 содержит усреднённые значения компонентов S, C, R и итоговый показатель K.

Таблица 1. Результаты оценки адекватности ответов интеллектуального ассистента

№	Тип вопроса	Вопрос	Краткий ответ ассистента	S	C	R	K
1	Т	Что такое персептрон?	Персептрон — простая модель нейрона для классификации.	0.91	0.87	0.93	0.90
2	Т	Что делает функция активации?	Преобразует входное значение нейрона в выходное.	0.88	0.83	0.91	0.87
3	У	Чем ReLU отличается от сигмоиды?	ReLU = max(0,x), сигмоида ограничена [0,1].	0.82	0.79	0.85	0.81
4	У	В чём смысл функции потерь?	Функция потерь измеряет ошибку предсказания сети.	0.79	0.76	0.81	0.78
5	П	Как обучить нейронную сеть на своих данных?	Подготовить данные, выбрать модель, запустить обучение.	0.74	0.73	0.77	0.74
6	П	Как изменить количество нейронов в скрытом слое?	Изменить параметр «hidden_units» в модели.	0.76	0.75	0.79	0.76
7	Т	Что такое нечёткое множество?	Множество с элементами, имеющими степень принадлежности.	0.89	0.85	0.92	0.88
8	У	Чем нечёткая логика отличается от классической?	Использует степени истинности, а не только 0 или 1.	0.81	0.77	0.86	0.80
9	П	Как реализовать нечёткое правило на практике?	Определить правила, задать функции принадлежности, использовать движок вывода.	0.72	0.74	0.78	0.74
10	Т	Что делает нейронная сеть при классификации?	Определяет класс объекта на основе входных данных.	0.87	0.84	0.90	0.86

Среднее значение показателя адекватности составило K̄ = 0.81, что превышает установленный порог релевантности τ = 0.75, определённый ранее. Это подтверждает способность модели формировать достаточно корректные и информативные ответы для типовых запросов студентов.

Анализ распределения значений показывает, что наиболее высокие показатели K наблюдаются для теоретических вопросов (в среднем 0.88), уточняющие вопросы показали средние значения (около 0.80), прикладные вопросы имеют наименьшие значения (в среднем 0.75–0.76), что связано с отсутствием в графе знаний конкретных сценариев реализации и более свободной формой ответов [4].

Выводы

В ходе проведённого исследования была выполнена экспериментальная проверка применимости интегрального критерия адекватности K для оценки качества ответов интеллектуального почтового ассистента.

Результаты показали, что значение показателя K для большинства запросов превышает установленный порог релевантности τ = 0.75, что подтверждает способность системы формировать осмысленные, связные и тематически корректные ответы. Наибольшие значения адекватности наблюдаются при обработке теоретических запросов, где модель опирается на чётко определённые понятия графа знаний. Для прикладных вопросов значения ниже, что указывает на необходимость расширения базы знаний практическими примерами и сценариями использования [5].

Высокая корреляция (τ = 0.87) между автоматической метрикой K и экспертными оценками демонстрирует, что предложенный критерий может служить объективным инструментом для количественной оценки качества генерации ответов. Таким образом, исследование подтверждает эффективность гибридного подхода, объединяющего методы NLP, граф знаний и рекуррентные нейросети для формирования информативных ответов студентам через электронную почту.

Список литературы

Зозуля Н.М., Федяев О.И. Рекуррентные нейронные сети как средство моделирования естественного языка // Программная инженерия: методы и технологии разработки информационно-вычислительных систем (ПИИВС–2024): сб. материалов V Междунар. науч.-практ. конф.; Т.2, 27–28 ноября 2024. – Донецк: ДонНТУ, 2024. – С. 229–235.
Галаган К.В. Применение нейросетевых моделей NLP для оценки эффективности мероприятий по формированию комфортной городской среды // Вестник ВГУ. – Воронеж: ВГУ, 2023. – № 3 – С. 167–178.
Прошина М.В. Современные методы обработки естественного языка: нейронные сети // Экономика строительства. – Москва, 2022. – № 5. – С. 27–42.
Грибков Е.И., Ехлаков Ю.П. Нейросетевая модель для обработки запросов пользователей на этапе эксплуатации и сопровождения программного продукта // Бизнес-информатика. – Москва, 2020. – № 1, Т. 14. – С. 7–18.
Волкова И.А., Шамаева Е.Д. Экскурс в графы знаний // International Journal of Open Information Technologies. – Москва, 2023. – № 3, Т. 11. – С. 75–83.