Анализ словарей ассоциаций в мета-поисковой системе поиска цитат

Аннотация

Серёженко О.А., Коломойцева И.А. Анализ словарей ассоциаций в мета-поисковой системе поиска цитат.В данной статье описаны проблема поиска текста в сети Интернет, в частности цитат, инструментарий онлайн-словарей ассоциаций на основе примеров проектов Сеть словесных ассоциаций и Карта слов.

Введение

На сегодняшний день актуальной проблемой для многих людей каждый день является проблема поиска информации в Интернете. На сегодняшний день существует крайне мало решений, обеспечивающих поиск в Интернете цитат из произведений.

Поиск цитат — это поиск текста по заданному фрагменту. Пользователь, задавший такой запрос, вероятнее всего, хочет найти происхождение цитаты — то есть либо увидеть произведение, из которого она взята, либо хотя бы узнать автора и название этого произведения [1].

Задача поиска цитат относится к поиску извлечения знаний.

Постановка проблемы

В настоящий момент не существуют ярко выраженных центров сосредоточения знаний. Традиционные источники получения информации: библиотеки, базы данных, архивы, становятся огромными, что воспринимаются не как отдельные информационные узлы, а как совокупность множества распределенных источников информации.

Однако объединение распределенных источников информации несет в себе серьезные проблемы, связанные с быстрым и релевантным поиском и классификацией необходимых информационных ресурсов. Кроме того, пользователи не всегда знают электронные адреса серверов с необходимой для них информацией.

Таким образом в образовательной и научной деятельности, при поиске библиографической информации, невозможно эффективное использование новых информационных сред без применения специализированных поисковых механизмов.

Каждая поисковая система имеет свое множество документов, которые доступны для поиска. Ни одна из подобных систем не сможет охватить всех ресурсов сети Интернет, поэтому в любой момент может возникнуть ситуация, когда информационные потребности пользователя не смогут быть удовлетворены. Как правило, в этом случае пользователь переходит на другую поисковую систему и пытается искать то, что ему нужно, там.

Каждая поисковая машина использует собственный алгоритм поиска и индексирования Интернет-ресурсов. Поисковых систем много, базы данных (или индексы) поисковых систем далеко не являются одинаковыми. Поэтому возникла идея для удобства поиска объединить результаты выдачи по тому или иному запросу сразу из нескольких систем в одном интерфейсе.

Решение проблемы

Для решения данной проблемы и расширения возможности поиска, были созданы системы, названные мета-поисковыми. Они не имеют собственных поисковых баз данных, не содержат никаких индексов и при поиске используют ресурсы множества поисковых систем. За счет этого полнота поиска в таких системах максимальна и вероятность нахождения нужной информации очень высока.

Архитектура мета-поисковой системы

Мета-поисковая система строится на принципах клиент-агент-серверной архитектуры с ультратонким необслуживаемым клиентом, где клиентом является стандартный Web-браузер, агентом — мета-поисковая система, а сервером - Web-сервера так называемой Виртуальной библиотеки, к чьим поисковым механизмам обращается агент [2]. Виртуальная библиотека объединяет в себе электронные каталоги, систему интеллектуального поиска и клиентские места.

Принцип мета-поисковой системы

Особенностью мета-поисковой системы является то, что обращение идет не непосредственно к электронным каталогам, а механизмам их обслуживающим, это позволяет не изменять структуру и принципы работы Web-серверов Виртуальной библиотеки.

Большинство мета-поисковых систем отображают результаты поиска нескольких поисковиков в одном объединенном списке, из которого удалены повторяющиеся записи. Каждая подобная система имеет свой собственный метод определения релевантности, поэтому трудно скомбинировать их всех в общую категорию того, как они работают, хотя они придерживаются одних и тех же базовых принципов.

У мета-поисковых систем нет собственной базы данных веб-страниц, они просто действуют как посредник между пользователем и другими поисковыми системами. Как только пользователь вводит свой поисковый запрос в мета-поисковый механизм, они затем передают его основным поисковым системам и предоставляют вам результаты из всех баз данных, опрошенных быстро. Поскольку основные поисковые системы часто приводят к очень разным результатам, системы мета-поиска особенно полезны, когда у пользователя мало времени, и он хочет получить как можно больше доступной информации [3].

Словарь ассоциаций

Важной частью мета-поисковой системы поиска цитат являются словари ассоциаций, синонимов, реже, антонимов. Особенно стоит обратить внимание на словарь ассоциаций, так как человек вспоминает какую-либо фразу или цитату по ассоциациям. Ассоциация — возникающая в опыте человека закономерная связь между двумя содержаниями сознания (ощущениями, представлениями, мыслями, чувствами и т. п.), которая выражается в том, что появление в сознании одного из содержаний влечет за собой и появление другого [4].

Примеры ассоциаций приведены на рисунке 1.

Можно использовать существующие готовые словари ассоциаций, которые описаны ниже. Отправляя запросы программными средствами, пользователь получает набор слов-ассоциаций по введённому слову.

Проект Сеть словесных ассоциаций

Проект Сеть словесных ассоциаций позволяет просматривать ассоциации, возникающие у человека, с заданным словом. В основе процесса формирования списка ассоциаций лежит программный модуль, анализирующий классические и современные произведения русской и зарубежной литературы с использованием принципов системного подхода. По утверждению авторов проекта, сформированный список ассоциаций может рассматриваться как усредненный результат при проведении лингвистического ассоциативного эксперимента.

Проект Сеть словесных ассоциаций может оказаться полезным для литературоведов, начинающих писателей, журналистов, лингвистов, социологов, маркетологов, менеджеров по рекламе, а также любознательных людей, желающих узнать новое о русском языке и об окружающем мире [5].

Достоинствами вышеуказанного проекта являются:

• яркий, приятный дизайн;
• сопровождение заданного слова статьями из толковых словарей Д.Н. Ушакова, В.И. Даля и т. д.;
• формирование списков ассоциаций по частям речи;
• возможное сопровождение заданного слова картинками;
• сопровождение поиска афоризмами, цитатами известных людей.

Ознакомиться с проектом Сеть словесных ассоциаций можно по адресу https://wordassociations.net/ru/. На рисунках 2–3 показаны соответственно главная страница проекта и пример работы с ним.

Проект Карта слов

Проект Карта слов — большая онлайн-карта русского языка, целью которой является сделать современный, открытый и доступный всем пользователям Рунета онлайн-словарь, где можно будет найти справочную информацию (ударения, склонение имён и спряжение глаголов), а также ассоциации и синонимы, примеры употребления слов в контексте и т.д.

Достоинствами данного проекта являются:

• формирование списка ассоциаций по мере использования слов;
• приведение примеров использования заданного слова в словосочетаниях и предложениях;
• наличие списка синонимов;
• наличие дополнительных возможностей (например, правильное написание, склонение, разбор по составу заданного слова).

Недостатками проекта является:

• отсутствие разбиения на списки по частям речи;
• отсутствие списка антонимов.

Ознакомиться с проектом Карта слов можно по адресу https://kartaslov.ru/. На рисунках 4-5 показаны соответственно главная страница проекта и пример работы с ним.

Выводы

В ходе написании статьи были проанализированы:

• проблемы поиска цитат в сети Интернет;
• инструментарии существующих онлайн-словарей ассоциаций, приведены их характеристики.

Словари ассоциаций являются важной частью мета-поисковой системы поиска цитат так как человек вспоминает какую-либо фразу или цитату по возникающим ассоциациям.

Рассмотренные существующие онлайн-словари ассоциаций, которые можно использовать в разрабатываемой мета-поисковой системе поиска цитат с помощью сгенерированных программных запросов.

Список использованной литературы

1. Серёженко О.А., Коломойцева И.А. Применение мета-поиска к решению задач поиска цитат // Программная инженерия: методы и технологии разработки информационно-вычислительных систем (ПИИВС-2016): сборник научных трудов I научно-практической конференции (студенческая секция). 16–17 ноября 2016 г. — Донецк, ГОУ ВПО Донецкий национальный технический университет, 2016. — с. 194–200.
2. Буханов А.Н., Саркисова И.О. Увеличение эффективности механизмов поиска информации с помощью постобработки данных. / Международная конференция Информационные средства и технологии в 3-х т.т. Т.2 — М.: Станкин, 1998. — с.121–126.
3. Автоматизация поиска неиндексируемых ресурсов в распределенных компьютерных сетях — [Электронный ресурс]. — Режим доступа: http://magazine.stankin.ru/arch/n_10/14/index.html
4. Ассоциация — [Электронный ресурс]. — Режим доступа: https://ru.wiktionary.org/wiki/ассоциация
5. Сеть Словесных Ассоциаций. О проекте — [Электронный ресурс]. — Режим доступа: https://wordassociations.net/ru/about