На сегодняшний день количество существующих чатботов достаточно велико и продолжает активно увеличиваться. Они используются в самых различных сферах в качестве помощников, развлекательных программ, средств поиска и обработки информации, а также управления различными процессами. Одними из перспектив их применения являются модули обработки естесственного языка в системах искусственного интеллекта и речевые подсистемы роботов. Однако на данный момент большинство имеющихся чатботов основаны на шаблонах, т.е. ограничены в наборе обрабатываемых реплик. Довольно маленькое количество подобных программ на сегодняшний день способны обрабатывать разнообразные фразы и генерировать различные уникальные реплики в ответ. Поэтому данный сектор разработки всё ещё остаётся перспективным и открытым для новых идей. Исходя из вышесказанного актуальность магистерской работы заключается в создании чатбота, который будет способен вплотную приблизиться к уровню человека-собеседника по широте охвата обрабатываемых и генерируемых реплик для дальнейшего использования данной системы в сферах искусственного интеллекта и робототехники.

Целью данного исследования является выбор наиболее подходящей архитектуры для последующей реализации онтологического чат-бота, который сможет естественным образом имитировать человека-собеседника.

Для реализации поставленной цели необходимо выполнить следующие задачи:

• Проанализировать функциональные особенности работы чатботов.
• Исследовать основные структурные элементы и архитектуры нейронных сетей.
• Исследовать существующие методики обучения нейронных сетей.
• Проанализировать полученные сведения и определить наиболее подходящие архитектуру и метод обучения нейронной сети для реализации поставленной цели.

Таким образом, в результате выполнения работы будет выбрана архитектура нейронной сети, на основе которой будет реализован онтологический чатбот. Она позволит наиболее полно реализовать желаемый результат и достичь наиболее полной широты охвата обрабатываемых системой реплик и слов. Также будет определен наиболее подходящий метод обучения нейронной сети, который обеспечит высокое качество восприятия реплик и корректность генерируемых ответов.

Чатбот представляет собой программу, которая может общаться с пользователями, имитируя поведение человека, для достижения какой либо цели или развлечения. Обычно это делается через любую платформу обмена сообщениями, например Facebook Messenger, Slack, Telegram или Viber. Чатботы могут быть относительно простыми программами, основанными на правилах, или могут использовать искусственный интеллект, который делает их гораздо более изощренными, но пригодными для широкого круга задач. Такие системы отлично понимают пользователя, запоминают информацию и позволяют осуществлять ряд действий: оплачивать счета, узнавать об интересных событиях, заказывать такси, бронировать номер, пересылать средства и т.д.

Существуют различные подходы к классификации чатботов. Наиболее популярными из них являются классификация по принципу функционирования и по области применения. По принципу функционирования различают чатботы двух видов.

• Чатботы на базе шаблонов.

Подобные системы при общении с пользователем выделяют ключевые слова и реагируют на них. Разработчиком при этом заранее прописаны команды для каждого слова или фразы. Если же пользователь не использует при переписке ключевые слова, то бот просто его не понимает. Естественно, функциональные возможности таких ботов сильно ограничены. Однако в некоторых случаях они довольно эффективны.

• Обучаемые чатботы на основе нейронных сетей.

Такие системы разрабатываются на основе современных решений в сфере искусственного интеллекта. Они не используют шаблоны для ответов, и умеют обрабатывать естественную речь, корректно отвечая на поставленные вопросы. Кроме того, чатбот анализирует диалог для последующего усовершенствования своих коммуникативных навыков. Другими словами, он в состоянии предвидеть, чего ожидает пользователь, прежде чем тот задаст вопрос.

В настоящее время чатботы используются в большом количестве сфер человеческой жизни. Рассмотрим основные их виды согласно области применения.

• Чатботы — помощники.

Эти системы позволяют автоматизировать некоторые простые действия человека в его повседневной жизни. Так, например, большинство подобных чатботов позволяют задать график, согласно которому пользователю будет предоставляться определенная информация путём её отправки в какие-либо мессенджеры или вывода на экран смартфона. Такой информацией может быть прогноз погоды, курс валют, новости и т.д.

• Развлекательные чатботы.

Подобные системы направлены, соответственно на развлечение пользователя. Это могут быть как чатботы, основанные на шаблонах, например текстовые игры, так и сложные системы, созданные на основе нейронных сетей и технологий искусственного интеллекта, которые предоставляют возможность общения пользователю.

• Чатботы для бизнеса

Они могут интегрироваться в различное программное обеспечение для организаций, предназначенное для автоматизации стратегий взаимодействия с заказчиками (клиентами). Также бизнес–чатботы могут быть частью систем, которые способны выполнять операции, например денежные переводы.

Помимо вышеуказанных классификаций среди чатботов, которые основаны на нейронных сетях и направлены на ведение диалога с пользователями, также можно выделить несколько дополнительных видов. Рассмотрим их подробнее.

• Узкоспециализированные чатботы.

Такие системы имеют маленькую базу знаний и направлены на работу в рамках одной, заданной базой знаний, отрасли.

• Широкоспециализированные чат-боты.

Эти системы имеют среднюю базу знаний и могут использоваться в рамках нескольких отраслей и сфер деятельности.

• Онтологические чат-боты.

Данные системы имеют обширную базу знаний и широкие возможности к обучению и дополнению базы новыми знаниями, получаемыми в ходе диалогов с пользователями. Онтологические системы способны поддерживать беседу с пользователем на различные темы, наилучшим образом имитируя человека–собеседника.

Не смотря на то, что существуют боты давно, популярность они получили сравнительно недавно. Не малую роль в этом сыграло успешное использование ботов в маркетинге. Транснациональные компании уже длительное время использует чатботы для упрощения процесса покупки. С их помощью каждый клиент получает своевременный ответ от компании и, что очень радует, навсегда забывает о существовании очередей.

Положительным качеством чатботов есть их доступность. Нет необходимости быть огромной компанией, чтобы иметь своего чатбота. Даже небольшой бизнес может позволить себе приобрести такого помощника.

Один из основных способов использования чатбота, основанного на правилах, является работа с клиентами и поддержка. Другими словами, они используются, чтобы задавать клиентам ряд вопросов, тем самым приводя к разрешению их проблемы.

Чатботы, созданные с использованием искусственного интеллекта, предлагают больше возможностей, в том числе еще один дополнительный способ взаимодействия с клиентами. Фактически, они могут использоваться для создания прямых конверсий и действовать как цифровая версия продавца. Примером может служить потребитель, который хочет купить новую пару обуви. Этот потребитель может перейти на сайт розничного продавца, просмотреть ассортимент предлагаемых товаров и затем принять решение. Если у продавца есть подходящий чатбот, клиент может отправить ему сообщение и сказать что-то вроде: «Я хотел бы купить пару ботинок». Затем чатбот начинает беседу с клиентом, чтобы выяснить, какой тип обуви он бы хотел, перед представлением ему подходящих вариантов.

В основном популярность чатботов происходит из-за роста использования мессенджеров. Люди используют их во всем мире, часто в качестве основного средства общения. В то же время люди менее склонны загружать приложения на свои устройства, особенно если они не являются необходимыми. Например в США пользователь устанавливает приложение раз в два месяца. Вспомните сами, когда последний раз вы устанавливали что-то на смартфон или планшет? Разработка мобильного приложения — процесс длительный и дорогостоящий. Например частному косметологу или массажисту нет смысла его разрабатывать, что бы автоматизировать процесс общения с клиентами. А вот чатботы дают частным лицам, компаниям и брендам эффективный способ связи с пользователями на платформах, которые им нравятся и которые они хотят использовать, в том числе и мессенджерах.

Непрекращающийся процесс развития технологий дает право говорить о том, что в скором будущем во всех отраслях жизнедеятельности человека появятся бот–помощники, наделенные искусственным интеллектом и возможностями, которые станут реальными, благодаря нейронным сетям.

Нейронная сеть — математическая модель, а также её программное или аппаратное воплощение, построенное по принципу организации и функционирования биологических нейронных сетей — сетей нервных клеток живого организма. Это понятие возникло при изучении процессов, протекающих в мозге, и при попытке смоделировать эти процессы. Нейронная сеть представляет собой систему соединённых и взаимодействующих между собой простых процессоров (искусственных нейронов). Такие процессоры обычно довольно просты (особенно в сравнении с процессорами, используемыми в персональных компьютерах). Каждый процессор подобной сети имеет дело только с сигналами, которые он периодически получает, и сигналами, которые он периодически посылает другим процессорам. И, тем не менее, будучи соединёнными в достаточно большую сеть с управляемым взаимодействием, такие по отдельности простые процессоры вместе способны выполнять довольно сложные задачи [2].

Нейронные сети не программируются в привычном смысле этого слова, они обучаются. Возможность обучения — одно из главных преимуществ нейронных сетей перед традиционными алгоритмами. Технически обучение заключается в нахождении коэффициентов связей между нейронами. В процессе обучения нейронная сеть способна выявлять сложные зависимости между входными данными и выходными, а также выполнять обобщение. Это значит, что в случае успешного обучения сеть сможет вернуть верный результат на основании данных, которые отсутствовали в обучающей выборке, а также неполных и/или "зашумленных", частично искажённых данных.

Нейронные сети используются для решения сложных задач, которые требуют аналитических вычислений подобных тем, что делает человеческий мозг.

Существуют различные подходы к классификации нейронных сетей. Рассмотрим подробнее основные из них. Одна из существующих классификаций нейронных сетей — по направленности связей.

• Сети без обратных связей.

Преимуществами сетей без обратных связей является простота их реализации и гарантированное получение ответа после прохождения данных по слоям. Недостатком этого вида сетей считается минимизация размеров сети — нейроны многократно участвуют в обработке данных. Меньший объем сети облегчает процесс обучения [2].

• Сети с обратными связями.

Преимуществами сетей с обратными связями является сложность обучения, вызванная большим числом нейронов для алгоритмов одного и того же уровня сложности. Недостатки этого вида сетей — требуются специальные условия, гарантирующие сходимость вычислений [2].

Другая классификация нейронных сетей была определена исходя из механизмов их функционирования и характера связей. Она включает в себя четыре основных вида.

• Сети прямого распространения.

Все связи направлены строго от входных нейронов к выходным. Примерами таких сетей являются перцептрон Розенблатта, многослойный перцептрон, сети Ворда [5].

• Рекуррентные сети.

Сигнал с выходных нейронов или нейронов скрытого слоя частично передается обратно на входы нейронов входного слоя (обратная связь). Рекуррентная сеть Хопфилда "фильтрует" входные данные, возвращаясь к устойчивому состоянию и, таким образом, позволяет решать задачи компрессии данных и построения ассоциативной памяти. Частным случаем рекуррентных сетей являются двунаправленные сети. В таких сетях между слоями существуют связи как в направлении от входного слоя к выходному, так и в обратном. Классическим примером является нейронная сеть Коско [12].

• Радиально-базисные функции.

Разработаны искусственные нейронные сети, использующие в качестве активационных функций радиально-базисные (также называются RBF–сетями). Общий вид радиально–базисной функции представлен на рисунке 4.1.



Рисунок 4.1 — Общий вид радиально–базисной функции

В представленной функции x — вектор входных сигналов нейрона, σ — ширина окна функции, φ — убывающая функция (чаще всего, равная нулю вне некоторого отрезка). Радиально–базисная сеть характеризуется некоторыми особенностями. Она имеет единственный скрытый слой и только его нейроны имеют нелинейную активационную функцию. Также синаптические веса связей входного и скрытого слоев равны единице [3].

• Самоорганизующиеся карты.

Такие сети представляют собой соревновательную нейронную сеть с обучением без учителя, выполняющую задачу визуализации и кластеризации. Является методом проецирования многомерного пространства в пространство с более низкой размерностью (чаще всего, двумерное), применяется также для решения задач моделирования, прогнозирования и др. Является одной из версий нейронных сетей Кохонена. Самоорганизующиеся карты Кохонена служат, в первую очередь, для визуализации и первоначального ("разведывательного") анализа данных.

Сигнал в сеть Кохонена поступает сразу на все нейроны, веса соответствующих синапсов интерпретируются как координаты положения узла, и выходной сигнал формируется по принципу "победитель забирает всё" — то есть ненулевой выходной сигнал имеет нейрон, ближайший (в смысле весов синапсов) к подаваемому на вход объекту. В процессе обучения веса синапсов настраиваются таким образом, чтобы узлы решетки "располагались" в местах локальных сгущений данных, то есть описывали кластерную структуру облака данных, с другой стороны, связи между нейронами соответствуют отношениям соседства между соответствующими кластерами в пространстве признаков [3].

Также нейронные сети можно классифицировать по характеру обучения на два основных вида.

• Сети, обучаемые с учителем.

При обучении с учителем для каждого обучающего входного примера требуется знание правильного ответа или функции оценки качества ответа. Такое обучение называют управляемым. Нейронной сети предъявляются значения входных и выходных сигналов, а она по определенному алгоритму подстраивает веса синаптических связей. В процессе обучения производится корректировка весов сети по результатам сравнения фактических выходных значений с входными, известными заранее [11].

• Сети, обучаемые без учителя.

При обучении без учителя раскрывается внутренняя структура данных или корреляции между образцами в наборе данных. Выходы нейронной сети формируются самостоятельно, а веса изменяются по алгоритму, учитывающему только входные и производные от них сигналы. Это обучение называют также неуправляемым. В результате такого обучения объекты или примеры распределяются по категориям, сами категории и их количество могут быть заранее не известны [11].

Рассмотрим основные структурные элементы, типовые для всех видов нейронных сетей. На рисунке 4.2 представлено общее схематическое представление нейронной сети.

Нейрон — это вычислительная единица, которая получает информацию, производит над ней простые вычисления и передает ее дальше. Они делятся на три основных типа: входной (синий), скрытый (красный) и выходной (зеленый) (см. рис. 4.2). В том случае, когда нейросеть состоит из большого количества нейронов, вводят термин слоя. Соответственно, есть входной слой, который получает информацию, n скрытых слоев (обычно их не больше 3), которые ее обрабатывают и выходной слой, который выводит результат. У каждого из нейронов есть 2 основных параметра: входные данные (input data) и выходные данные (output data). В случае входного нейрона: input=output. В остальных, в поле input попадает суммарная информация всех нейронов с предыдущего слоя, после чего она нормализуется с помощью функции активации и попадает в поле output. Важно помнить, что нейроны оперируют числами в диапазоне [0,1] или [-1,1]. Поэтому, например, для обработки чисел, выходящих за пределы этих диапазонов, простейшим решением является деление 1 на это число. Этот процесс называется нормализацией, и он очень часто используется в нейронных сетях [3].

Синапс это связь между двумя нейронами. У синапсов есть параметр — вес. Благодаря ему, входная информация изменяется, когда передается от одного нейрона к другому. Допустим, есть 3 нейрона, которые передают информацию следующему. Тогда у нас есть 3 веса, соответствующие каждому из этих нейронов. У того нейрона, у которого вес будет больше, та информация и будет доминирующей в следующем нейроне (пример — смешение цветов, представленное на рисунке 4.3). На самом деле, совокупность весов нейронной сети или матрица весов — это своеобразный мозг всей системы. Именно благодаря этим весам, входная информация обрабатывается и превращается в результат. Важно помнить, что во время инициализации нейронной сети, веса расставляются в случайном порядке [3].

Рассмотрим также ряд основных понятий, связанных с функционированием и подготовкой нейронных сетей к выполнению поставленных задач.

Функция активации — это способ нормализации входных данных. То есть, если на входе мы имеем большое число, пропустив его через функцию активации, получим выход в нужном диапазоне. Функций активации достаточно много: линейная, сигмоид, гиперболический тангенс и пр. Главные их отличия — это диапазон значений. Линейная функция почти никогда не используется, за исключением случаев, когда необходимо протестировать нейронную сеть или передать значение без преобразований. Сигмоид — самая распространенная функция активации, ее диапазон значений варьируется от 0 до 1. Именно на ней реализовано большинство примеров, также ее иногда называют логистической функцией. Соответственно, если среди исходных данных присутствуют отрицательные значения (например, акции могут идти не только вверх, но и вниз), то будет необходима функция, которая захватывает и отрицательные значения. Использовать гиперболический тангенс следует тогда, когда исходные данные могут быть и отрицательными, и положительными, так как диапазон функции изменяется от -1 до 1 [3].

Тренировочный сет — это последовательность данных, которыми оперирует нейронная сеть в ходе выполнения процедуры её обучения.

Итерация — это своеобразный счетчик, который увеличивается каждый раз, когда нейронная сеть проходит один тренировочный сет. Другими словами, это общее количество тренировочных сетов пройденных нейронной сетью.

Эпоха — это величина, которая при инициализации нейронной сети устанавливается в 0 и имеет потолок, задаваемый вручную. Чем больше эпоха, тем лучше натренирована сеть и соответственно, ее результат. Эпоха увеличивается каждый раз, когда мы проходим весь набор тренировочных сетов. Важно не путать итерацию с эпохой и понимать последовательность их инкремента. Сначала n раз увеличивается итерация, а потом уже эпоха и никак не наоборот. Другими словами, нельзя сначала тренировать нейросеть только на одном сете, потом на другом и т.д. Нужно тренировать каждый сет один раз за эпоху. Так можно избежать ошибок в вычислениях.

Ошибка — это процентная величина, отражающая расхождение между ожидаемым и полученным ответами. Ошибка формируется каждую эпоху и должна идти на спад. Если этого не происходит, значит, обучение проходит неправильно. Ошибку можно вычислить разными путями, но существуют три основных способа: Mean Squared Error (далее MSE), Root MSE и Arctan. Принцип подсчета ошибки во всех случаях одинаков. За каждый сет считается ошибка вычитанием из идеального ответа полученного. Далее, либо возводится в квадрат, либо вычисляется квадратный тангенс из этой разности, после чего полученное число делится на количество сетов [3].

Нейронные сети требуют обучения, в противном случае правильный результат вряд ли будет получен. Существует много различных методов обучения нейронных сетей. Среди них выделяют три наиболее интересных способа, это методы обратного и упругого распространения, а также генетический анализ. Рассмотрим их подробно.

• Метод обратного распространения (МОР).

Данный метод использует алгоритм градиентного спуска. Данный алгоритм представляет собой способ нахождения локального минимума или максимума функции с помощью движения вдоль градиента. Построим график, где по оси х будут значения веса нейрона(w) а по оси у — ошибка соответствующая этому весу(e) (рис. 5.1).



Рисунок 5.1 — График градиентного спуска

Исходя из графика, изображенного на рисунке 5.1, график функции ƒ(w) является зависимостью ошибки от выбранного веса. Отметим на графике глобальный минимум — точку (w2,e2) или, иными словами, то место, где график подходит ближе всего к оси х. Эта точка будет означать, что выбрав вес w2 мы получим самую маленькую ошибку — e2 и как следствие, самый лучший результат из всех возможных. Найти эту точку позволяет метод градиентного спуска (рис. 5.1, функция ƒ’). Соответственно у каждого веса в нейросети будет свой график и градиент и у каждого надо найти глобальный минимум [4].

Таким образом, сам градиент представляет собой векторное значение, определяющее направление и крутизну склона. Градиент находится с помощью производной от функции в нужной точке. Оказавшись в определённой точке со значением веса, который распределяется в случайном порядке, вычисляется градиент и определяется направление движения спуска, и так в каждой следующей точке, пока не достигается локальный минимум, не позволяющий дальнейшего спуска. Чтобы справиться с этой неприятностью необходимо установить нужное значение момента, которое позволит преодолеть часть графика и достигнуть нужной точки. Если это значение будет недостаточным, то преодолеть выпуклость не получится, в случае с установкой более высокого значения, чем нужно есть шансы проскочить глобальный минимум. Кроме момента ускорения, есть ещё понятие, определяющее общую скорость обучения сети. Это значение, как и предыдущее представляет собой гиперпараметр и подбирается методом проб и ошибок. Оптимальный вариант заранее никогда не известен, узнать его можно только проведя несколько обучений и корректируя каждый раз значение в нужном направлении. Теперь можно перейти непосредственно к методу обучения и определить, что он из себя представляет. В процессе поступления информации нейронная сеть последовательно передаёт её от одного нейрона к другому посредством синапсов, до того момента, пока информация не окажется на выходном слое и не будет выдана как результат. Такой способ называется передачей вперёд. После того как результат получен вычисляется ошибка и на её сновании выполняем обратную передачу. Суть которой — последовательно изменить вес синапсов начиная с выходного и продвигаясь к входному слою. При этом значение веса меняется в сторону лучшего результата. Для использования такого метода обучения подойдут только те функции активации, которые можно дифференцировать [4]. Схема обучения с помощью метода обратного распространения представлена на рисунке 5.2.



Рисунок 5.2 — Схема метода обратного распространения (анимация: 19 кадров, 8 циклов повторения, 194 килобайт)

Для того чтобы успешно провести обучение, необходимо распространить полученную ошибку на весь вес сети. Высчитав ошибку на выходном уровне, а также там можно вычислить дельту, которая будет последовательно передаваться между нейронами. Затем необходимо произвести расчёт градиента для каждой исходящей связи. Затем имея все необходимые данные необходимо выполнить обновление весов и рассчитать благодаря функции МОР значение, которое станет величиной изменения. При этом не стоит забывать про момент и скорость обучения. Одна итерация МОР даёт небольшой процент уменьшения ошибки, поэтому повторять их необходимо снова и снова пока показатель ошибки не будет приближен к 0 [11].

• Метод упругого распространения.

Следующий метод обучения сети получил название Resilient propagation или Rprop. Описанный выше метод обратного распространения имеет недостаток в виде больших временных затрат на процесс обучения неуместных в случае необходимости получить быстрый результат. Для ускорения процесса было предложено немало дополнительных алгоритмов, ускоряющих процесс. Одним из которых и является текущий метод. Настоящий алгоритм использует в качестве основы обучение по эпохам и применяет только знаки производных частного случая для корректировки весовых коэффициентов. Используется определённое правило, по которому производится расчёт величины коррекции весового коэффициента. Если на этом этапе расчётов производная меняет свой знак, значит, изменение было слишком большим и локальный минимум был упущен и нужно произвести откат, то есть вес вернуть в обратную позицию, а величину изменения уменьшить. Если знак производной не изменился, то величина изменения веса, наоборот, увеличивается для большей сходимости. Если основные параметры коррекции веса зафиксировать, то настройки глобальных параметров можно избежать. И это станет ещё одним преимуществом текущего метода над предыдущим. Для этих параметров есть рекомендуемые значения, однако, никаких ограничений на их выбор не накладывается.

Чтобы вес не принимал слишком большие или малые значения используются установленные ограничения величины коррекции. Значение коррекции также вычисляется по определённому правилу. То есть если производная функции в конкретной точке меняет знак с плюса на минус, означает, что ошибка возрастает и вес требует коррекции и происходит его уменьшение, в противном случае — увеличение. Последовательность действий в этом случае следующая: инициализируется величина коррекции, вычисляются частные производные, подсчитывается новое значение коррекции значений весов, корректируются веса, если условие остановки алгоритма не выполняются процесс переходит к вычислению производных и заново повторяет цикл. Такой подход позволяет добиться сходимости нейросети быстрее в несколько раз в отличие от предыдущего варианта обучения [4].

• Генетический алгоритм.

Он представляет собой упрощённую интерпретацию природного алгоритма, основанного на скрещивании результатов. То есть, по сути, происходит скрещивание результатов, выбор наилучших и формирование на их основе нового поколения. В случае если результат не устраивает алгоритм повторяется пока поколение не становится идеальным. Алгоритм может завершиться без достижения нужного результата если количество попыток будет исчерпано или же будет исчерпан время на мутацию. Этот алгоритм применим к процессу оптимизации веса нейронной сети, при заданной по умолчанию топологии. При этом вес кодируется двоичным кодом и каждый результат определяется полным набором веса. Оценка качества происходит методом вычисления ошибки на выходе [10].

Глубинное обучение (ГО) — статистическая техника классификации закономерностей на основе пробных данных с использованием многослойных нейросетей. Нейросети, обучаемые глубинным методом, обычно состоят из набора модулей ввода, принимающих такие данные, как пиксели или слова, множества скрытых слоёв (чем больше слоёв, тем глубже сеть), содержащих скрытые модули (известные также, как узлы или нейроны), и набора модулей вывода, с учётом наличия связей между различными узлами [1]. Схема подобной нейронной сети изображена на рисунке 5.3.

В общем случае сеть, изображенную на рисунке 5.3, можно натренировать, например, на большом наборе написанных от руки цифр (это входные данные в виде изображений) и меток (выходные данные), определяющих категории, к которым принадлежат входные данные (это изображение — 2, это — 3, и так далее). Со временем алгоритм обратного распространения ошибки позволяет градиентному спуску подправлять связи между модулями так, чтобы любые входные данные приводили к выдаче соответствующих выходных данных.

В целом связь между вводом и выводом, которую изучает сеть, можно представлять себе как построение карты соответствия. Нейросети, особенно имеющие множество скрытых слоёв, очень хорошо справляются с построением соответствия между вводом и выводом. Эти системы обычно описывают как нейросети, поскольку модули для ввода, скрытые модули и модули для вывода можно представлять себе в виде приблизительных моделей биологических нейронов, пусть и чрезвычайно упрощённые, а связь между модулями некоторым образом представляет связи между нейронами. Давний вопрос, находящийся за пределами данной работы, касается степени биологической достоверности подобных искусственных нейросетей [1].

Большая часть ГО–сетей использует технологию под названием "свёртка", ставящую такие ограничения на связи сети, что у них естественным образом появляется такое свойство, как трансляционная инвариантность. По сути, эта идея состоит в том, что объект может перемещаться по изображению, не теряя своей идентичности; круг в верхнем левом углу можно признать тем же самым объектом, что и круг в правом нижнем углу (даже без наличия прямых тому доказательств).

Глубинное обучение также известно способностью самостоятельно выстраивать промежуточные репрезентации — к примеру, внутренние модули, реагирующие на такие вещи, как горизонтальные линии или более сложные элементы изображения. В принципе, с бесконечным количеством данных ГО–системы могут справиться с любым конечным детерминистским сопоставлением между любыми наборами ввода и соответствующего вывода, хотя на практике их способность обучиться определённому сопоставлению зависит от многих факторов. Одна из распространённых проблем — угодить в локальный минимум, в котором система застревает с не совсем оптимальным решением, когда лучшего решения нет в числе близлежащих решений. На практике результаты с большими наборами данных обычно получаются неплохими, причём на широком круге потенциальных сопоставлений. К примеру, в области распознавания речи нейросеть учится сопоставлять набор звуков речи и набор меток (слов или фонем). При распознавании образов нейросеть учится сопоставлять набор изображений набору меток (к примеру, изображения машин отмечаются, как машины). В системе игры в Atari, разучиваемой сетью DeepMind, нейросети разучивают соответствие между пикселями и позициями джойстика. Системы ГО чаще всего используются как классификационные, в том смысле, что миссия типичной сети — это решения по поводу того, к какому набору категорий (определяемому выходными модулями нейросети) принадлежит данный ввод [6].

В ходе выполнения данной исследовательской работы были собраны и изучены некоторые материалы по теме магистерской работы. Так, были рассмотрены различные виды чатботов и сферы их применения. Также были изучены основные существующие архитектуры построения нейронных сетей и методы их обучения.

После анализа изученных материалов в качестве архитектуры построения онтологического чатбота была выбрана Рекуррентная нейронная сеть, соединяющая в себе особенности нескольких подвидов для достижения наилучшего результата. Выбор основан на наличии у Рекуррентных нейронных сетей таких особенностей, как, например, наличие краткосрочной и долговременной памяти. Для сети структура языка – это долгосрочная информация, которую надо запомнить. К ней относятся грамматика, а также стилистические особенности того корпуса текстов, на которых производится обучение. Фактически нейронная сеть запоминает, в каком порядке обычно следуют слова, и может дописать предложение или же сконструировать собственное.

Также в ходе выполнения исследовательской работы для обучения чатбота была выбрана методика глубинного обучения, так как она позволит в наибольшей мере реализовать потенциал Рекуррентной нейронной сети, выступающей в качестве основы чатбота.

На момент написания данного реферата магистерская работа еще не завершена. Предполагаемая дата завершения: май 2019 г. Полный текст работы, а также материалы по теме могут быть получены у автора или его руководителя после указанной даты.

• Гудфеллоу, Я. Глубокое обучение / Я. Гудфеллоу, И. Бенджио, А. Курвилль. – М.: ДМК-Пресс, 2017. – 652 с.
• Савельев, А. В. На пути к общей теории нейросетей. К вопросу о сложности // Нейрокомпьютеры: разработка, применение / А.В. Савельев. – 2006. – № 4–5. – С. 4–14.
• Нейронные сети для начинающих. Часть 1 // Режим доступа: https://habr.com/post/312450.
• Нейронные сети для начинающих. Часть 2 // Режим доступа: https://habr.com/post/313216.
• Ясницкий, Л. Н. Введение в искусственный интеллект / Л. Н. Ясницкий. – М.: Издат. центр «Академия», 2005. – 176 с.
• Николенко, С. Глубокое обучение / С. Николенко, А. Кадурин, Е. Архангельская. – СПб.: Питер, 2018. – 480 с.
• Барцев, С. И. Адаптивные сети обработки информации / С.И. Барцев, В.А. Охонин. – Красноярск: Ин-т физики СО АН СССР, 1986. – 20 с.
• Миркес, Е. М. Логически прозрачные нейронные сети и производство явных знаний из данных // Нейроинформатика / Е. М. Миркес, А. Н. Горбань, В. Л. Дунин-Барковский, А. Н. Кирдин. – Новосибирск: Наука. Сибирское предприятие РАН, 1998. – С. 10–25.
• Терехов, В. А. Нейросетевые системы управления / В. А. Терехов, Д. В. Ефимов, И. Ю. Тюкин. – М.: Высшая школа, 2002. – 184 с.
• Вороновский, Г. К. Генетические алгоритмы, искусственные нейронные сети и проблемы виртуальной реальности / Г.К. Вороновский, К. В. Махотило, С. Н. Петрашев, С. А. Сергеев. – Харьков: Основа, 1997. – 112 с.
• Горбань, А.Н. Обучение нейронных сетей / А.Н. Горбань – М.: СССР-США СП «Параграф», 1990. – 160 с.
• Рекуррентные нейронные сети: типы, обучение, примеры и применение // Режим доступа: https://neurohive.io/ru/osnovy-data-science/rekurrentnye-nejronnye-seti.