УДК 681.518
ГОУ ВПО «Южно-Российский государственный университет экономики и сервиса», Шахты,
Во введении рассмотрена актуальность использования нейронных сетей в интел- лектуальном анализе данных. В первом разделе описан метод нейронных сетей в ин- теллектуальном анализе данных. Второй раздел представляет процесс анализа данных, основанный на искусственных нейронных сетях. В третьем разделе рассматриваются конкретные типы нейронных сетей, используемых в интеллектуальном анализе дан- ных, а именно нейронные сети Кохонена и нечеткие нейронные сети. Выявлены до- стоинства и недостатки данных сетей. В заключении даны рекомендации по исполь- зованию рассмотренных нейронных сетей в технологиях интеллектуального анализа данных.
Задачей интеллектуального анализа данных является выявление латентных пра- вил и закономерностей в наборах данных. Продолжительное время основным инстру- ментом интеллектуального анализа данных была традиционная математическая стати- стика, но и она зачастую не в состоянии ре- шить задачи из реальной жизни. Математи- ческая статистика в основном полезна при проверке заранее сформулированных гипо- тез (verification-driven data mining) [3].
Первоначально применение нейронных сетей в интеллектуальном анализе данных вызывало скептическое отношение, ввиду не- достатков, присущих нейронным сетям: слож- ная структура, плохая интерпретируемость и
долгое время обучения [8]. Однако их преи- мущества, такие как, высокая допустимость к зашумленным данным и низкий коэффициент ошибок, непрерывное усовершенствование и оптимизация различных алгоритмов обуче- ния сетей, алгоритма извлечения правил, ал- горитма упрощения сетей, делают нейронные сети все более и более перспективным на- правлением в data mining [8].
Области применения нейронных се- тей обширны – автоматизация процессов распознавания образов, прогнозирование, адаптивное управление, создание эксперт- ных систем, организация ассоциативной памяти, обработка аналоговых и цифровых сигналов, синтез и идентификация элек- тронных цепей и систем [2].
Таким образом, можно сказать, что ис- пользование нейронных сетей в технологии интеллектуального анализа данных являет- ся актуальным направлением, которое не- прерывно развивается, по пути устранения недостатков.
Как правило, выделяют следующие су- ществующие методы интеллектуального
анализа данных [6]: нейронные сети, де- ревья решений, генетические алгоритмы, нечеткая логика, алгоритмы ограниченного перебора, эволюционное программирова- ние, системы рассуждения на основе анало- гичных случаев, индукция правил, анализ с избирательным действием, логическая регрессия, алгоритмы определения ассоци- аций и последовательностей, визуализация данных, комбинированные методы.
Большинство аналитических методов в технологии data mining – это известные математические алгоритмы и методы. Но- вым в их применении является адаптация их для решения тех или иных конкретных проблем, возможная благодаря появившим- ся техническим возможностям и програм- мным средствам.
Основная часть методов data mining была разработана в рамках теории искус- ственного интеллекта.
Метод нейронных сетей [8] использует- ся для классификации, кластеризации, про- гнозирования и распознавания образов. Мо- дель нейронной сети может быть разделена на три типа:
сети прямого распространения (backpropagation): одна из наиболее рас- пространенных архитектур, в основном ис- пользуется в таких областях, как прогнози- рование и распознавание образов;
сети с обратной связью: такие, как дискретная модель Хопфилда, в основном используется для оптимизации вычислений и ассоциативной памяти;
самоорганизующиеся сети: включа- ют модели адаптивной резонансной теории (ART) и модели Кохонена, в основном ис- пользуется для кластерного анализа.
В настоящее время при анализе в data mining используются нейронные сети пря- мого распространения. Искусственные нейронные сети ‒ активно развивающееся направление науки, но до сих пор некото- рые теории окончательно не сформиро- вались, такие как проблемы сходимости, устойчивости, локальный минимум и кор- ректировка параметров. Для сети прямого
распространениячастовстречающиесяпробле- мы – обучение происходит медленно, она может попасть в локальный минимум и трудно определить параметры обучения.
Ввиду этих проблем многие перешли к методу объединения искусственных ней- ронных сетей с генетическими алгоритма- ми и достигли лучших результатов.
Одно из главных преимуществ нейрон- ных сетей [3] состоит в том, что они, по крайней мере, теоретически могут аппрок- симировать любую непрерывную функцию, что позволяет исследователю не принимать заранее какие-либо гипотезы относитель- но модели. К существенным недостаткам нейронных сетей можно отнести тот факт, что окончательное решение зависит от на- чальных установок сети и его практически невозможно интерпретировать в традици- онных аналитических терминах.
Процесс анализа данных (data mining) может быть представлен тремя основными фазами [8]: подготовка данных, анализ дан- ных, выражение и интерпретация результа- тов. Подробнее показано на рис. 1.
Интеллектуальный анализ данных (data mining), основанный на нейронной сети, состоит из [8]: подготовки данных, извлече- ния правил и оценки правил, то есть трех этапов, как показано на рис. 2.
Подготовка данных
Процесс подготовки данных должен определить и обработать добываемые дан- ные, чтобы сделать их пригодными для кон- кретных методов интеллектуального ана- лиза. Подготовка данных является первым важным шагом на пути интеллектуального анализа (data mining) и играет в нем решаю- щую роль. Как правило, подготовка данных включает в себя четыре процесса:
Очистка данных
Очистка данных должна заполнить ва- кантные значения данных, устранить за- шумленные данные и исправить несогласо- ванность в данных.
Рис. 1. Общий процесс анализа данных
Рис. 2. Процесс анализа данных, основанный на нейронной сети
Выбор данных
Выбор данных должен определить рас- положение используемых в данном анализе данных.
Предварительная обработка данных Предварительная обработка данных яв-
ляется расширением процесса очистки дан- ных, которые были выбраны.
Выражение данных
Выражение данных должно преобразо- вать данные после предварительной обра-
ботки в форму, которая может быть принята по условию алгоритма анализа данных, ос- нованного на нейронной сети.
Анализ данных, основанный на ней- ронной сети, может работать только с чис- ловыми данными, из чего следует, что не- обходимо преобразовывать символьные данные в числовые. Простейший способ заключается в создании таблицы соответ- ствий между символьными данными и чис- ловыми. Другой, более сложный подход
заключается в принятии хэш-функций для создания уникальных числовых данных, со- ответствующих данной строке. Несмотря на то, что в реляционной базе данных есть множество типов данных, все они в основ- ном могут быть приведены к символьным, дискретным числовым и непрерывным числовым данным, то есть три логических
типа данных. Например, слово «Яблоко» на рис. 3 может быть преобразовано в соот- ветствующие дискретные числовые данные при использовании таблицы символов или хеш-функции. Затем дискретные числовые данные могут быть определены количе- ственно в непрерывные числовые данные, а также могут быть зашифрованы.
Рис. 3. Выражение данных и преобразования в анализе данных на основе нейронной сети
Извлечение правил
Существует множество методов из- влечения правил, среди которых наиболее часто используются LRE (Limited Relative Error) метод, метод черного ящика, метод извлечения нечетких правил, метод извле- чения правил из рекурсивной сети, алго- ритм извлечения правил двоичного входа и выхода (BIO-RE), алгоритм частичного извлечения правил (Partial-RE) и алгоритм полного извлечения правил (Full-RE).
Правила оценки
Несмотря на то что цель правил оцен- ки зависит от конкретного применения, в общем они могут быть оценены в соответ- ствии со следующими задачами:
найти оптимальную последователь- ность извлечения правил. Сделав это, полу- чим лучшие результаты в ряде определен- ных данных;
проверить точность извлеченных пра- вил;
определить количество знаний в ней- ронной сети, которые не были извлечены;
определить противоречия между из- влеченными правилами и обученной ней- ронной сетью.
Существует множество типов анализа данных, основанных на нейронных сетях, но можно выделить два из них, наиболее популярных. Они основаны на самооргани- зующихся нейронных сетях и на нечетких сетях.
Анализ данных (data mining), осно-
ванный на самоорганизующейся нейронной сети
Самоорганизационный процесс – про- цесс обучения без учителя. При таком обу- чении [6] обучающее множество состоит из значений входных переменных, а в про- цессе обучения нет сравнивания выходов нейронов с желаемыми значениями. Мож- но сказать, что такая сеть учится понимать структуру данных.
Идея сети Кохонена принадлежит фин- скому ученому Тойво Кохонену. Принцип работы этих сетей заключается во введении
в правило обучения нейрона информации о его расположении, то есть составляются карты размещения нейронов.
Самоорганизующиеся карты Кохонена используются для моделирования, прогнози- рования, поиска закономерностей в больших массивах данных, выявления наборов незави- симых признаков и сжатия информации.
Анализ данных (data mining), основан-
ный на нечеткой нейронной сети
В основе нечетких нейронных сетей лежит идея использования существующей выборки данных для определения параме- тров функций принадлежности, выводы де- лаются на основе аппарата нечеткой логи- ки, а для нахождения параметров функций принадлежности используются алгоритмы обучения нейронных сетей. Такие системы могут использовать заранее известную ин- формацию, обучаться, приобретать новые знания, прогнозировать временные ряды, выполнять классификацию образов. Но одним из главных достоинств является на- глядность работы такой сети для пользова- теля [2].
Каждый из рассмотренных типов ней- росетей обладает своими преимуществами и недостатками применительно к интеллек- туальному анализу данных (таблица).
Преимущества и недостатки популярных нейронных сетей в data mining
Тип нейронной сети | Область применения | Преимущества | Недостатки |
Сеть Кохонена | Классифика- ция, кластер- ный анализ, прогнозиро- вание, сжатие данных | Устойчивость к зашумленным данным, неуправляемое обучение, быстрое обучение, возможность визуализации, возможность упро- щения многомерной структуры | Эвристичность алгоритма обу- чения, предо- пределенность числа класте- ров |
Нечеткая ней- ронная сеть | Классифика- ция, прогнози- рование | Хорошая сходимость, быстрое обучение, интерпретируемость накопленных знаний, наглядность работы, легко определить размер сети, допустимость к зашумленным и неточным данным, способны аппроксимировать функции любой степени нелинейности, параллель- ные вычисления | Априорное определение компонентов |
Из таблицы видно, что и сети Кохоне- на, и нечеткие нейронные сети обладают преимуществами и недостатками.
Основное отличие сетей Кохонена от других типов нейронных сетей состоит в наглядности и удобстве использования. Эти сети позволяют упростить многомер- ную структуру, их можно считать одним из методов проецирования многомерно- го пространства в пространство с более низкой размерностью. Другое принципи- альное отличие сетей Кохонена от других моделей нейронных сетей – неуправляемое или неконтролируемое обучение, что по- зволяет задавать лишь значения входных переменных.
Важнейшим преимуществом нейро- нечеткой сети является возможность по- строения одной сети для вычисления нескольких выходных значений по не- скольким входным [5], а также способ- ность к логическому описанию процессов и ручной корректировке функций принад- лежности [7].
Однако нечеткие нейронные сети вы- годно отличаются от других типов тем, что вобрали в себя все плюсы нечетких мно- жеств. Таким образом, объединив нечеткие множества и нейронные сети, получили универсальные системы, компенсирующие недостатки нейронных сетей.
В ходе применения нейронных сетей отмечен существенный недостаток: слож- ность понимания процесса получения се- тью результата. Первым шагом к устране- нию данной проблемы является разработка новой технологии, которая позволяет гене-
щих предметную область, можно будет по- лучить явный алгоритм решения постав- ленной задачи.
Из рассмотренных типов анализа дан- ных, основанных на нейронных сетях, мож- но сказать, что нейронные сети, системы нечеткой логики являются обязательным инструментом интеллектуального поиска и извлечения знаний, т. к. обладают способ- ностью выявления значимых признаков и скрытых закономерностей в анализируе- мых экономических показателях.
Барсегян А.А. Методы и модели анализа данных: OLAP И Data Mining / А.А. Барсегян, М.С. Куприянов, В.В. Степаненко, И.И. Холод. – СПб.:BHV, 2004. – 331 с.
Бирюков Е.В., Корнев М.С. Практиче- ская реализация нечеткой нейронной сети при краткосрочном прогнозировании электрической нагрузки [Электронный ресурс] // Портал маги- стров ДонНТУ : сайт. – URL: http://www.masters. donntu.edu.ua/2006/kita/chuykov/library/library/ article_5.htm (дата обращения 02.11.2010).
Дюк В.А. Data Mining – интеллектуаль- ный анализ данных // Информационные техно- логии: сайт. – URL: http://www.inftech.webservis. ru/it/database/datamining/ar2.html (дата обраще- ния 01.11.2010)
Манжула, В.Г. Методы «мягких» вычисле- ний для аналитической обработки информации в условиях неопределенности / В.Г. Манжула, С.А. Морозов, С.В. Федосеев // Фундаменталь- ные исследования. – 2009. – № 4. – С. 75–76.
Назаров А.В., Лоскутов А.И. Нейросете- вые алгоритмы прогнозирования и оптимизации систем/ А.В.Назаров, А.И. Лоскутов – СПб.: На- ука и Техника, 2003. – 384 c.
Чубукова И.А. Data Mining. – М.: Изд-во
«Интернет-университет информационных тех- нологий – ИНТУИТ.ру», 2006. – 384 с.
Ярушкина Н.Г. Основы теории нечетких и гибридных систем: учеб. пособие. – М.: Финан- сы и статистика, 2004. – 320 c.
Xianjun Ni Research of Data Mining Based on Neural Networks // World Academy of Science, Engineering and Technology. – 2008. – № 39. –
P. 381–384.
рировать описание процесса решения за-
дачи нейронной сетью. Используя таблицу экспериментальных данных, описываю-
Савельев М.В., д.т.н., профессор, профес- сор кафедры «Электронных вычислительных
машин» ГОУ ВПО «Южно-Российский госу- дарственный технический университет (НПИ)», Новочеркасск;
Галушкин Н.Е., д.т.н., профессор, зав. кафе- дрой «Прикладная информатика и математика» филиал федерального государственного авто- номного образовательного учреждения ВПО
«Южный федеральный университет», Новошах- тинск;
Кирьянов Б.Ф., д.т.н., профессор, профессор кафедры прикладной математики и информати- ки ГОУ ВПО «Новгородский государственный университет имени Ярослава Мудрого», Вели- кий Новгород;
Пен Р.З., д.т.н., профессор, профессор кафе- дры целлюлозно-бумажного производства ГОУ
«Сибирский технологический университет», Красноярск.
The South Russian state university of economy and service, Shahty, e-mail: mail@sssu.ru
In the introduction, we consider the relevance of using neural networks in data mining. The first section describes a method of neural networks in data mining. The second section presents the data analysis process, based on artificial neural networks. The third section looks at specific types of neural networks used in data mining, namely neural networks and fuzzy Kohonen neural network. Identified strengths and weaknesses of these networks. In conclusion, recommendations on the use of neural networks considered in the technologies of data mining.