УДК 004.89
Интеллектуальная система навигации на основе обработки естественного языка
Л. В. Рудак, аспирант кафедры программной инженерии им. Л. П. Фельдмана, ФГБОУ ВО «Донецкий национальный технический университет», leo2598@yandex.com
С. А. Зори, д.т.н., доцент, заведующий кафедрой программной инженерии им. Л. П. Фельдмана, ФГБОУ ВО «Донецкий национальный технический университет», ik.ivt.rec@mail.ru
Аннотация
Рассматривается архитектура интеллектуальной системы навигации, использующей методы обработки естественного языка для работы со сложными информационными системами. Описаны основные модули: анализ естественного языка, поиск и извлечение информации, управление знаниями, обучение и адаптация. Показано, что применение NLP и машинного обучения позволяет заметно повысить точность и удобство поиска, что делает систему перспективной для научных, корпоративных и образовательных информационных ресурсов.
Ключевые слова: интеллектуальная система навигации, обработка естественного языка, NLP, поиск информации, управление знаниями, машинное обучение, семантический анализ.
Введение
Современные информационные системы содержат огромные объёмы данных, поэтому навигация и поиск нужной информации становятся сложной задачей для пользователя. Классические поисковые механизмы, основанные только на ключевых словах и жёстких структурах, часто не учитывают контекст запроса, намерения пользователя и специфические информационные потребности, что приводит к снижению релевантности выдачи [1].
Технологии обработки естественного языка (NLP) позволяют строить интерфейсы, ориентированные на работу с запросами на человеческом языке. Это делает взаимодействие с системой более интуитивным и открывает возможность использовать контекст, предысторию и профиль пользователя для персонализации результатов поиска.
Цель исследования — описать интеллектуальную систему навигации, использующую методы NLP, оценить её эффективность по сравнению с традиционными подходами и проанализировать влияние персонализации на пользовательский опыт.
Проблемы традиционных систем навигации
Традиционные системы навигации основаны на иерархических меню, линейной последовательности или сеточной структуре страниц. Каждый подход имеет свои достоинства (простота, наглядность, предсказуемость), но в условиях больших объёмов информации проявляются и недостатки: глубокая вложенность, перегрузка интерфейса, необходимость совершать множество шагов до нужного раздела, слабая персонализация.
Например, при иерархической навигации пользователю приходится пошагово спускаться по дереву разделов. Линейная навигация удобна лишь в строго заданных сценариях. Сеточная форма представления данных может быть информативной, но при большом количестве элементов становится трудной для восприятия.
Использование NLP позволяет дополнить такие схемы универсальным диалоговым интерфейсом. Пользователь формулирует запрос на естественном языке, а система интерпретирует его, определяет намерение и сразу предлагает наиболее релевантные материалы, минуя лишние переходы.
Возможности обработки естественного языка
Обработка естественного языка (Natural Language Processing, NLP) объединяет методы искусственного интеллекта и вычислительной лингвистики, позволяющие компьютеру анализировать и генерировать текст и речь. В контексте навигации ключевую роль играют синтаксический и семантический анализ, выделение именованных сущностей и определение намерения пользователя [2].
Синтаксический анализ включает токенизацию, лемматизацию, определение частей речи и построение синтаксических структур (дерево зависимостей или конституентное дерево). Это создаёт основу для последующего семантического анализа.
Семантический анализ направлен на получение смысла текста: распознаются именованные сущности, отношения между ними, разрешаются анафоры, текст переводится в структурированное представление. Для моделирования значений слов используются векторные представления (word embeddings) и онтологии [5,6].
Такой многоуровневый анализ позволяет системе воспринимать запрос не только как набор ключевых слов, но и как осмысленное высказывание с конкретной целью.
Информационные системы и навигация
Информационная система понимается как совокупность технических средств, программ, процедур и персонала, предназначенная для хранения, обработки и выдачи данных в интересах решения задач в некоторой предметной области [3,4]. В отличие от просто набора документов, информационная система всегда содержит формальные процедуры ввода, поиска и выдачи информации.
К качеству навигации в таких системах предъявляются высокие требования: пользователь должен быстро находить нужные материалы, даже не зная точных терминов и структуры базы данных. Это делает актуальным переход от статичных схем навигации к интеллектуальным, адаптирующимся к поведению пользователя.
Архитектура интеллектуальной системы навигации
Интеллектуальная система навигации на основе NLP представляет собой многоуровневый комплекс модулей, обеспечивающих приём запросов на естественном языке, их лингвистический анализ, поиск по хранилищу знаний и адаптацию моделей по мере накопления данных.
Ключевые компоненты архитектуры:
- Пользовательский интерфейс — поле ввода запросов, подсказки по ключевым словам, история и список избранных запросов.
- Модуль обработки естественного языка — предобработка текста, синтаксический и семантический анализ, выделение сущностей и определение намерений.
- Модуль поиска и извлечения информации — индексирование данных, выполнение полнотекстового и семантического поиска, ранжирование и фильтрация результатов.
- Модуль обучения и адаптации — сбор логов, обратной связи и внешних данных, обучение моделей машинного и глубокого обучения, мониторинг и обновление моделей.
Модуль обработки естественного языка
В модуле NLP запрос пользователя проходит несколько стадий обработки. На этапе предобработки выполняются токенизация, лемматизация, удаление стоп-слов и нормализация числовых и временных выражений [5]. Далее синтаксический анализ формирует структуру предложения, а семантический модуль преобразует её в внутреннее представление, удобное для поиска.
Отдельный блок отвечает за выделение сущностей (имена, организации, даты, термины предметной области) и определение намерения пользователя: найти документ, получить справку, перейти в раздел, запросить статистику и т.п. Анализ контекста учитывает предшествующие запросы и состояние сессии, что позволяет корректно интерпретировать неполные или уточняющие фразы.
Модуль поиска и извлечения информации
Для ускорения доступа к данным используется инвертированный индекс и весовые схемы, например TF-IDF. Документы могут быть сгруппированы по темам или рубрикам, что упрощает предварительную фильтрацию.
Структурированный запрос, сформированный модулем NLP, преобразуется в формат, совместимый с используемым хранилищем: SQL-запрос для реляционной БД, запрос к полнотекстовому поисковому движку и т.п. Поддерживаются различные режимы поиска: точный, семантический, фасетный.
Результаты ранжируются с учётом релевантности и, при необходимости, персональных предпочтений пользователя. Дополнительно предоставляются средства фильтрации и сортировки по дате, тематике, автору и другим атрибутам.
Модуль обучения и адаптации
Модуль обучения отвечает за первичное формирование моделей и их последующую адаптацию. Источниками данных служат вручную подготовленные примеры запрос–ответ, журналы работы системы, обратная связь пользователей, а также внешние коллекции текстов [7].
После очистки и нормализации данные используются для обучения моделей машинного и глубокого обучения: классических алгоритмов (решающие деревья, случайные леса, градиентный бустинг) и нейронных сетей (CNN, RNN, LSTM, трансформеры) [8]. Применяются приёмы онлайн-обучения, переноса обучения и, при необходимости, обучение с подкреплением.
Качество моделей оценивается с помощью стандартных метрик (точность, полнота, F1-мера) и A/B-тестирования. Внедрение в продуктивную среду сопровождается мониторингом производительности и регулярным обновлением моделей в рамках конвейера CI/CD.
Выводы
Описанная интеллектуальная система навигации показывает, что интеграция методов NLP, семантического поиска и машинного обучения позволяет существенно повысить точность и удобство поиска информации в сложных информационных системах. Диалоговый интерфейс на естественном языке снижает порог входа для пользователей и сокращает число шагов до требуемых данных.
Перспективы дальнейших исследований связаны с расширением набора поддерживаемых языков, углублением персонализации, интеграцией с доменными онтологиями и применением предложенных подходов в различных областях — от научных цифровых библиотек до корпоративных и государственных информационных систем.
Список источников
- Компанеетс М.А. Навигационные средства веб-сайта // Молодой ученый. 2016. № 9(36). С. 141–145.
- Обработка естественного языка [Электронный ресурс] // Викиконспекты. URL: https://neerc.ifmo.ru/wiki/index.php?title=Обработка_естественного_языка (дата обращения: 24.05.2024).
- Избачков Ю.С., Петров В.Н. Информационные системы. 2-е изд. СПб.: Питер, 2008. 655 с.
- Барахнин В.Б., Федотов А.М. Информационная система: взгляд на понятие // Вестник Новосибирского государственного университета. Сер. Информационные технологии. 2007. Т. 5, № 2. С. 12–19.
- Jurafsky D., Martin J. Speech and Language Processing. 3rd ed. Pearson, 2021. 988 p.
- Морозов А.А. Введение в обработку естественного языка. М.: Наука, 2018. 384 с.
- Волков С.И. Методы и алгоритмы машинного обучения. М.: Наука, 2016. 368 с.
- Редько В.Г. Основы машинного обучения. М.: Лаборатория знаний, 2016. 320 с.
Annotation
Rudak L.V., Zori S.A. Intelligent navigation system based on natural language processing. The paper describes the architecture and application of an intelligent navigation system that uses NLP methods to simplify access to information in complex information systems. The architecture includes modules for natural language processing, information search and retrieval, knowledge management, as well as learning and adaptation. The study shows that the proposed system can significantly increase the accuracy and efficiency of information retrieval, which makes it suitable for scientific information systems, corporate databases and educational resources.
Key words: intelligent navigation system, natural language processing, NLP, information retrieval, knowledge management, machine learning, semantic analysis.