На сьогоднішній день кількість існуючих чатбот досить велика і продовжує активно збільшуватися. Вони використовуються в самих різних сферах в якості помічників, розважальних програм, засобів пошуку та обробки інформації, а також управління різними процесами. Одними з перспектив їх застосування є модулі обробки естесственного мови в системах штучного інтелекту та мовні підсистеми роботів. Однак на даний момент більшість наявних чатбот засновані на шаблонах, тобто обмежені в наборі оброблюваних реплік. Досить невелика кількість подібних програм на сьогоднішній день здатні обробляти різноманітні фрази і генерувати різні унікальні репліки у відповідь. Тому даний сектор розробки все ще залишається перспективним і відкритим для нових ідей. Виходячи з вищесказаного актуальність магістерської роботи полягає в створенні чатбот, який буде здатний впритул наблизитися до рівня людини-співрозмовника за широтою охоплення оброблюваних і генеруються реплік для подальшого використання даної системи в сферах штучного інтелекту і робототехніки.

Метою даного дослідження є вибір найбільш підходящої архітектури для подальшої реалізації онтологічного чатбота, який зможе природним чином імітувати людини-співрозмовника.

Для реалізації поставленої мети необхідно виконати наступні завдання:

• Проаналізувати функціональні особливості роботи чатбота.
• Дослідити основні структурні елементи та архітектури нейронних мереж.
• Дослідити існуючі методики навчання нейронних мереж.
• Проаналізувати отримані відомості і визначити найбільш підходящі архітектуру і метод навчання нейронної мережі для реалізації поставленої мети.

Таким чином, в результаті виконання роботи буде обрана архітектура нейронної мережі, на основі якої буде реалізований онтологічний чатбот. Вона дозволить найбільш повно реалізувати бажаний результат і досягти найбільш повної широти охоплення оброблюваних системою реплік і слів. Також буде визначено найбільш підходящий метод навчання нейронної мережі, який забезпечить високу якість сприйняття реплік і коректність генеруються відповідей.

Чатбот є програмою, яка може спілкуватися з користувачами, імітуючи поведінку людини, для досягнення будь-якої мети або розваги. Зазвичай це робиться через будь-яку платформу обміну повідомленнями, наприклад Facebook Messenger, Slack, Telegram або Viber. Чатбот можуть бути відносно простими програмами, заснованими на правилах, або можуть використовувати штучний інтелект, який робить їх набагато більш витонченими, але придатними для широкого кола завдань. Такі системи відмінно розуміють користувача, запам'ятовують інформацію і дозволяють здійснювати ряд дій: оплачувати рахунки, дізнаватися про цікаві події, замовляти таксі, бронювати номер, пересилати засоби і т.д.

Існують різні підходи до класифікації чатбот. Найбільш популярними з них є класифікація за принципом функціонування і по області застосування. За принципом функціонування розрізняють чатботи двох видів.

• Чатботи на базі шаблонів.

Подібні системи при спілкуванні з користувачем виділяють ключові слова і реагують на них. Розробником при цьому заздалегідь прописані команди для кожного слова чи фрази. Якщо ж користувач не використовує при листуванні ключові слова, то бот просто його не розуміє. Природно, функціональні можливості таких ботів сильно обмежені. Однак в деяких випадках вони досить ефективні.

• Чатботи на основі нейронних мереж, що навчаються.

Такі системи розробляються на основі сучасних рішень в сфері штучного інтелекту. Вони не використовують шаблони для відповідей, і вміють обробляти природну мова, коректно відповідаючи на поставлені запитання. Крім того, чатбот аналізує діалог для подальшого удосконалення своїх комунікативних навичок. Іншими словами, він в змозі передбачити, чого очікує користувач, перш ніж той задасть питання.

В даний час чатботи використовуються у великій кількості сфер людського життя. Розглянемо основні їх види відповідно до сфери застосування.

• Чатботи — помічники.

Ці системи дозволяють автоматизувати деякі прості дії людини в його повсякденному житті. Так, наприклад, більшість подібних чатбот дозволяють задати графік, згідно з яким користувачеві буде надаватися певна інформація шляхом її відправки в будь-які месенджери або виведення на екран смартфона. Такою інформацією може бути прогноз погоди, курс валют, новини і т.д.

• Розважаючі чатботи.

Подібні системи спрямовані, відповідно на розвагу користувача. Це можуть бути як чатбот, засновані на шаблонах, наприклад текстові ігри, так і складні системи, створені на основі нейронних мереж і технологій штучного інтелекту, які надають можливість спілкування користувачеві.

• Чатботи для бізнесу.

Вони можуть інтегруватися в різне програмне забезпечення для організацій, призначене для автоматизації стратегій взаємодії з замовниками (клієнтами). Також бізнес–чатботи можуть бути частиною систем, які здатні виконувати операції, наприклад грошові перекази.

Крім вищевказаних класифікацій серед чатботів, які засновані на нейронних мережах і спрямовані на ведення діалогу з користувачами, також можна виділити кілька додаткових видів. Розглянемо їх докладніше.

• Вузькоспеціалізовані чатботи.

Такі системи мають маленьку базу знань і спрямовані на роботу в рамках однієї, заданої базою знань, галузі.

• Широкоспеціалізовані чатботи.

Ці системи мають середню базу знань і можуть використовуватися в рамках декількох галузей і сфер діяльності.

• Онтологічні чатботи.

Ці вимоги системи мають велику базу знань і широкі можливості до навчання і доповнення бази новими знаннями, одержуваними в ході діалогів з користувачами. Онтологічні системи здатні підтримувати бесіду з користувачем на різні теми, найкращим чином імітуючи людини–співрозмовника.

Не дивлячись на те, що існують боти давно, популярність вони отримали порівняно недавно. Не малу роль в цьому зіграло успішне використання ботів в маркетингу. Транснаціональні компанії вже тривалий час використовує чатботів для спрощення процесу покупки. З їх допомогою кожен клієнт отримує своєчасну відповідь від компанії і, що дуже радує, назавжди забуває про існування черг.

Позитивною якістю чатботів є їх доступність. Немає необхідності бути величезною компанією, щоб мати свого чатбот. Навіть невеликий бізнес може дозволити собі придбати такого помічника.

Один з основних способів використання чатбота, заснованого на правилах, є робота з клієнтами та підтримка. Іншими словами, вони використовуються, щоб задавати клієнтам ряд питань, тим самим приводячи до вирішення їх проблеми.

Чатботи, створені з використанням штучного інтелекту, пропонують більше можливостей, в тому числі ще один додатковий спосіб взаємодії з клієнтами. Фактично, вони можуть використовуватися для створення прямих конверсій і діяти як цифрова версія продавця. Прикладом може служити споживач, який хоче купити нову пару взуття. Цей споживач може перейти на сайт роздрібного продавця, переглянути асортимент пропонованих товарів і потім прийняти рішення. Якщо у продавця є відповідний чатбот, клієнт може відправити йому повідомлення і сказати щось на кшталт: «Я хотів би купити пару черевиків». Потім чатбот починає бесіду з клієнтом, щоб з'ясувати, який тип взуття він би хотів, перед поданням йому відповідних варіантів.

В основному популярність чатботів відбувається через зростання використання месенджерів. Люди використовують їх у всьому світі, часто в якості основного засобу спілкування. У той же час люди менше схильні завантажувати додатки на свої пристрої, особливо якщо вони не є необхідними. Наприклад в США користувач встановлює додаток раз в два місяці. Згадайте самі, коли востаннє ви встановлювали щось на смартфон або планшет? Розробка мобільного додатка — процес тривалий і дорогий. Наприклад приватному косметолога або масажиста немає сенсу його розробляти, що б автоматизувати процес спілкування з клієнтами. А ось чатбот дають приватним особам, компаніям і брендам ефективний спосіб зв'язку з користувачами на платформах, які їм подобаються і які вони хочуть використовувати, в тому числі і месенджерах.

Безперервний процес розвитку технологій дає право говорити про те, що в недалекому майбутньому у всіх галузях життєдіяльності людини з'являться бот–помічники, наділені штучним інтелектом і можливостями, які стануть реальними, завдяки нейронних мереж.

Нейронна мережа — математична модель, а також її програмне або апаратне втілення, побудоване за принципом організації та функціонування біологічних нейронних мереж & mdash; мереж нервових клітин живого організму. Це поняття виникло при вивченні процесів, що протікають в мозку, і при спробі змоделювати ці процеси. Нейронна мережа являє собою систему з'єднаних і взаємодіючих між собою простих процесорів (штучних нейронів). Такі процесори зазвичай досить прості (особливо в порівнянні з процесорами, використовуваними в персональних комп'ютерах). Кожен процесор подібної мережі має справу тільки з сигналами, які він періодично отримує, і сигналами, які він періодично посилає іншим процесорам. І, тим не менше, будучи з'єднаними в досить велику мережу з керованим взаємодією, такі окремо прості процесори разом здатні виконувати досить складні завдання [2].

Нейронні мережі не програмуються в звичному сенсі цього слова, вони навчаються. Можливість навчання — одне з головних переваг нейронних мереж перед традиційними алгоритмами. Технічно навчання полягає в знаходженні коефіцієнтів зв'язків між нейронами. В процесі навчання нейронна мережа здатна виявляти складні залежності між вхідними даними і вихідними, а також виконувати узагальнення. Це означає, що в разі успішного навчання мережа зможе повернути вірний результат на підставі даних, які були відсутні в навчальній вибірці, а також неповних і / або «зашумленних», частково спотворених даних.

Нейронні мережі використовуються для вирішення складних завдань, які вимагають аналітичних обчислень подібних тим, що робить людський мозок.

Існують різні підходи до класифікації нейронних мереж. Розглянемо докладніше основні з них. Одна з існуючих класифікацій нейронних мереж — за спрямованістю зв'язків.

• Мережі без зворотних зв'язків.

Перевагами мереж без зворотних зв'язків є простота їх реалізації і гарантоване отримання відповіді після проходження даних по шарах. Недоліком цього виду мереж вважається мінімізація розмірів мережі — нейрони багаторазово беруть участь в обробці даних. Менший обсяг мережі полегшує процес навчання [2].

• Мережі зі зворотними зв'язками.

Перевагами мереж із зворотними зв'язками є складність навчання, викликана великим числом нейронів для алгоритмів одного і того ж рівня складності. Недоліки цього виду мереж — потрібні спеціальні умови, що гарантують збіжність обчислень [2].

Інша класифікація нейронних мереж була визначена виходячи з механізмів їх функціонування та характеру зв'язків. Вона включає в себе чотири основних види.

• Мережі прямого поширення.

Все зв'язку спрямовані строго від вхідних нейронів до вихідних. Прикладами таких мереж є перцептрон Розенблатта, багатошаровий перцептрон, мережі Ворда [5].

• Рекурентні мережі.

Сигнал з вихідних нейронів або нейронів прихованого шару частково передається назад на входи нейронів вхідного шару (зворотний зв'язок). Рекурентна мережа Хопфілда «фільтрує» вхідні дані, повертаючись до стійкого стану і, таким чином, дозволяє вирішувати завдання компресії даних і побудови асоціативної пам'яті. Окремим випадком рекурентних мереж є двонаправлені мережі. У таких мережах між шарами існують зв'язку як в напрямку від вхідного шару до вихідного, так і в зворотному. Класичним прикладом є нейронна мережа Коско [12].

• Радіально-базисні функції.

Розроблено штучні нейронні мережі, що використовують в якості активаційних функцій радіально-базисні (також називаються RBF–мережами). Загальний вигляд радіально–базисної функції представлений на рисунку 4.1.



Рисунок 4.1 — Загальний вигляд радіально–базисної функції

У представленій функції x — вектор вхідних сигналів нейрона, σ — ширина вікна функції, φ — спадна функція (найчастіше, рівна нулю поза деякого відрізка). Радіально –базисна мережа характеризується деякими особливостями. Вона має єдиний прихований шар і тільки його нейрони мають нелінійну активаційну функцію. Також синаптичні ваги зв'язків вхідного і прихованого шарів дорівнюють одиниці [3].

• Карти, що організуються самостійно.

Такі мережі являють собою змагальну нейронну мережу з навчанням без учителя, що виконує завдання візуалізації і кластеризації. Є методом проектування багатовимірного простору в простір з більш низькою розмірністю (найчастіше, двовимірне), застосовується також для вирішення завдань моделювання, прогнозування та ін. Є однією з версій нейронних мереж Кохонена. Самоорганізуються карти Кохонена служать, в першу чергу, для візуалізації і первинного (»розвідувального») аналізу даних.

Сигнал в мережу Кохонена надходить відразу на всі нейрони, ваги відповідних синапсів інтерпретуються як координати положення вузла, і вихідний сигнал формується за принципом «переможець забирає все», тобто ненульовий вихідний сигнал має нейрон, найближчий (у сенсі ваг синапсів) до подається на вхід об'єкту. В процесі навчання ваги синапсів налаштовуються таким чином, щоб вузли решітки «розташовувалися» в місцях локальних згущень даних, тобто описували кластерну структуру хмари даних, з іншого боку, зв'язку між нейронами відповідають відносинам сусідства між відповідними кластерами в просторі ознак [3].

Також нейронні мережі можна класифікувати за характером навчання на два основних види.

• Мережі, яких навчають з учителем.

При навчанні з учителем для кожного навчального вхідного прикладу потрібне знання правильної відповіді або функції оцінки якості відповіді. Таке навчання називають керованим. Нейронної мережі пред'являються значення вхідних і вихідних сигналів, а вона за певним алгоритму підлаштовує ваги синаптичних зв'язків. У процесі навчання здійснюється коректування ваг мережі за результатами порівняння фактичних вихідних значень з вхідними, відомими заздалегідь [11].

• Мережі, яких навчають без учителя.

При навчанні без учителя розкривається внутрішня структура даних або кореляції між зразками в наборі даних. Виходи нейронної мережі формуються самостійно, а ваги змінюються по алгоритму, що враховує тільки вхідні і похідні від них сигнали. це навчання називають також некерованим. В результаті такого навчання об'єкти або приклади розподіляються за категоріями, самі категорії і їх кількість можуть бути заздалегідь невідомі [11].

Розглянемо основні структурні елементи, типові для всіх видів нейронних мереж. На рисунку 4.2 представлено загальне схематичне уявлення нейронної мережі.

Нейрон — це обчислювальна одиниця, яка отримує інформацію, виробляє над нею прості обчислення і передає її далі. Вони діляться на три основних типи: вхідний (синій), прихований (червоний) і вихідний (зелений) (див. рис. 4.2). У тому випадку, коли нейросеть складається з великої кількості нейронів, вводять термін шару. Відповідно, є вхідний шар, який отримує інформацію, n прихованих шарів (зазвичай їх не більше 3), які її обробляють і вихідний шар, який виводить результат. У кожного з нейронів є 2 основні параметри: вхідні дані (input data) і вихідні дані (output data). У разі вхідного нейрона: input = output. В інших, в поле input потрапляє сумарна інформація всіх нейронів з попереднього шару, після чого вона нормалізується за допомогою функції активації і потрапляє в поле output. Важливо пам'ятати, що нейрони оперують числами в діапазоні [0,1] або [-1,1]. Тому, наприклад, для обробки чисел, що виходять за межі цих діапазонів, найпростішим рішенням є поділ 1 на це число. Цей процес називається нормалізацією, і він дуже часто використовується в нейронних мережах [3].

Синапс це зв'язок між двома нейронами. У синапсів є параметр — вага. Завдяки йому, вхідна інформація змінюється, коли передається від одного нейрона до іншого. Припустимо, є 3 нейрона, які передають інформацію з наступних підстав. Тоді у нас є 3 ваги, відповідні кожному з цих нейронів. У того нейрона, у якого вага буде більше, та інформація і буде домінуючою в наступному нейроне (приклад — змішання кольорів, представлене на рисунку 4.3). Насправді, сукупність ваг нейронної мережі або матриця ваг — це своєрідний мозок всієї системи. Саме завдяки цим ваг, вхідна інформація обробляється і перетворюється в результат. Важливо пам'ятати, що під час ініціалізації нейронної мережі, ваги розставляються в випадковому порядку [3].

Розглянемо також ряд основних понять, пов'язаних з функціонуванням і підготовкою нейронних мереж до виконання поставлених завдань.

Функція активації — це спосіб нормалізації вхідних даних. Тобто, якщо на вході ми маємо велике число, пропустивши його через функцію активації, отримаємо вихід в потрібному діапазоні. Функцій активації досить багато: лінійна, сигмоид, гіперболічний тангенс та ін. Головні їх відмінності — це діапазон значень. Лінійна функція майже ніколи не використовується, за винятком випадків, коли необхідно протестувати нейронну мережу або передати значення без перетворень. Сигмоид — найпоширеніша функція активації, її діапазон значень варіюється від 0 до 1. Саме на ній реалізовано більшість прикладів, також її іноді називають логістичною функцією. Відповідно, якщо серед вихідних даних присутні негативні значення (наприклад, акції можуть йти не тільки вгору, але і вниз), то буде необхідна функція, яка захоплює і негативні значення. Використовувати гіперболічний тангенс слід тоді, коли вихідні дані можуть бути і негативними, і позитивними, так як діапазон функції змінюється від -1 до 1 [3].

Тренувальний сет — це послідовність даних, якими оперує нейронна мережа в ході виконання процедури її навчання.

Ітерація — це своєрідний лічильник, який збільшується кожного разу, коли нейронна мережа проходить один тренувальний сет. Іншими словами, це загальна кількість тренувальних сетів пройдених нейронною мережею.

Епоха — це величина, яка при ініціалізації нейронної мережі встановлюється в 0 і має стелю, що задається вручну. Чим більше епоха, тим краще натренована мережу і відповідно, її результат. Епоха збільшується кожного разу, коли ми проходимо весь набір тренувальних сетів. Важливо не плутати ітерацію з епохою і розуміти послідовність їх инкремента. Спочатку n раз збільшується ітерація, а потім вже епоха і ніяк не навпаки. Іншими словами, не можна спочатку тренувати нейросеть тільки на одному сеті, потім на іншому і т.д. Потрібно тренувати кожен сет один раз за добу. Так можна уникнути помилок в обчисленнях.

Помилка — це процентна величина, що відображає розбіжність між очікуваним і отриманим відповідями. Помилка формується кожну епоху і повинна йти на спад. Якщо цього не відбувається, значить, навчання проходить неправильно. Помилку можна обчислити різними шляхами, але існують три основних способи: Mean Squared Error (далі MSE), Root MSE і Arctan. Принцип підрахунку помилки у всіх випадках однаковий. За кожен сет вважається помилка вирахуванням з ідеального відповіді отриманого. Далі, або зводиться в квадрат, або обчислюється квадратний тангенс з цієї різниці, після чого отримане число ділиться на кількість сетів [3].

Нейронні мережі вимагають навчання, в іншому випадку правильний результат навряд чи буде отриманий. Існує багато різних методів навчання нейронних мереж. Серед них виділяють три найбільш цікавих способу, це методи зворотного і пружного поширення, а також генетичний аналіз. Розглянемо їх детальніше.

• Метод зворотного поширення (МЗП).

Даний метод використовує алгоритм градієнтного спуску. Даний алгоритм є спосіб знаходження локального мінімуму або максимуму функції за допомогою руху уздовж градієнта. Побудуємо графік, де по осі х будуть значення ваги нейрона (w) а по осі у — помилка відповідає цьому вазі (e) (рис. 5.1).



Рисунок 5.1 — Графік градієнтного спуску

Виходячи з графіка, зображеного на малюнку 5.1, графік функції ƒ(w) є залежністю помилки від вибраної ваги. Відзначимо на графіку глобальний мінімум — точку (w2, e2) або, іншими словами, то місце, де графік підходить ближче всього до осі х. Ця точка буде означати, що вибравши вагу w2 ми отримаємо найменшу помилку — e2 і як наслідок, найкращий результат з усіх можливих. Знайти цю точку дозволяє метод градієнтного спуску (мал. 5.1, функція ƒ’). Відповідно у кожного ваги в нейромережі буде свій графік і градієнт і у кожного треба знайти глобальний мінімум [4].

Таким чином, сам градієнт є векторне значення, що визначає напрямок і крутизну схилу. Градієнт знаходиться за допомогою похідної від функції в потрібній точці. Опинившись в певній точці багатозначно ваги, який розподіляється у випадковому порядку, обчислюється градієнт і визначається напрямок руху спуску, і так в кожній наступній точці, поки не досягається локальний мінімум, який дозволить подальшого спуску. Щоб впоратися з цією неприємністю необхідно встановити потрібне значення моменту, яке дозволить подолати частину графіка і досягти потрібної точки. Якщо це значення буде недостатнім, то подолати опуклість не вийде, у випадку з установкою більш високого значення, ніж потрібно їсти шанси проскочити глобальний мінімум. Крім моменту прискорення, є ще поняття, що визначає загальну швидкість навчання мережі. Це значення, як і попереднє являє собою гіперпараметр і підбирається методом проб і помилок. Оптимальний варіант заздалегідь ніколи не відомий, дізнатися його можна тільки провівши кілька навчань і коригуючи кожен раз значення в потрібному напрямку. Тепер можна перейти безпосередньо до методу навчання та визначити, що він із себе представляє. У процесі надходження інформації нейронна мережа послідовно передає її від одного нейрона до іншого за допомогою синапсів, до того моменту, поки інформація не опиниться на вихідному шарі і не буде видана як результат. Такий спосіб називається передачею вперед. Після того як результат отриманий обчислюється помилка і на її снованіі виконуємо зворотний передачу. Суть якої — послідовно змінити вагу синапсів починаючи з вихідного і просуваючись до вхідного шару. При цьому значення ваги змінюється в бік кращого результату. Для використання такого методу навчання підійдуть тільки ті функції активації, які можна диференціювати [4]. Схема навчання за допомогою методу зворотного поширення представлена ​​на рисунку 5.2.



Рисунок 5.2 — Схема навчання за допомогою методу зворотного поширення (анімація: 19 кадрів, 8 циклів повторення, 194 кілобайт)

Для того щоб успішно провести навчання, необхідно поширити отриману помилку на весь вага мережі. Вирахувавши помилку на вихідному рівні, а також там можна обчислити дельту, яка буде послідовно передаватися між нейронами. Потім необхідно провести розрахунок градієнта для кожної вихідного зв'язку. Потім маючи всі необхідні дані потрібно оновити програмне забезпечення ваг і розрахувати завдяки функції МОР значення, яке стане величиною зміни. При цьому не варто забувати про момент і швидкість навчання. Одна ітерація МОР дає невеликий відсоток зменшення помилки, тому повторювати їх необхідно знову і знову поки показник помилки не буде наближений до 0 [11].

• Метод пружного поширення.

Наступний метод навчання мережі отримав назву Resilient propagation або Rprop. Описаний вище метод зворотного поширення має недолік у вигляді великих тимчасових витрат на процес навчання недоречних в разі необхідності отримати швидкий результат. Для прискорення процесу було запропоновано чимало додаткових алгоритмів, що прискорюють процес. Одним з яких і є поточний метод. Справжній алгоритм використовує в якості основи навчання по епохах і застосовує тільки знаки похідних окремого випадку для коригування вагових коефіцієнтів. використовується певний правило, за яким здійснюється розрахунок величини корекції вагового коефіцієнта. Якщо на цьому етапі розрахунків похідна змінює свій знак, значить, зміна була надто великою і локальний мінімум був упущений і потрібно зробити відкат, тобто вага повернути в зворотну позицію, а величину зміни зменшити. Якщо знак похідної не змінився, то величина зміни ваги, навпаки, збільшується для більшої збіжності. Якщо основні параметри корекції ваги зафіксувати, то настройки глобальних параметрів можна уникнути. І це стане ще однією перевагою поточного методу над попереднім. Для цих параметрів є рекомендовані значення, однак, ніяких обмежень на їх вибір не накладається.

Щоб вага не приймала занадто великі або малі значення використовуються встановлені обмеження величини корекції. Величина компенсації також обчислюється за певним правилом. Тобто якщо похідна функції в конкретній точці змінює знак з плюса на мінус, означає, що помилка зростає і вага вимагає корекції і відбувається його зменшення, в іншому випадку — збільшення. Послідовність дій у цьому випадку наступна: инициализируется величина корекції, обчислюються приватні похідні, підраховується нове значення корекції значень ваг, коригуються ваги, якщо умова зупинки алгоритму не виконуються процес переходить до обчислення похідних і заново повторює цикл. Такий підхід дозволяє домогтися збіжності нейромережі швидше в кілька разів на відміну від попереднього варіанту навчання [4].

• Генетичний алгоритм.

Він являє собою спрощену інтерпретацію природного алгоритму, заснованого на схрещуванні результатів. Тобто, по суті, відбувається схрещування результатів, вибір найкращих і формування на їх основі нового покоління. У разі якщо результат не влаштовує алгоритм повторюється поки покоління не стає ідеальним. Алгоритм може завершитися без досягнення потрібного результату якщо кількість спроб буде вичерпано або ж буде вичерпано час на мутацію. Цей алгоритм застосуємо до процесу оптимізації ваги нейронної мережі, при заданої за замовчуванням топології. При цьому вага кодується двійковим кодом і кожен результат визначається повним набором ваги. Оцінка якості відбувається методом обчислення помилки на виході [10].

Глибинне навчання (ГН) — статистична техніка класифікації закономірностей на основі пробних даних з використанням багатошарових нейромереж. Нейросети, яких навчають глибинним методом, зазвичай складаються з набору модулів введення, які приймають такі дані, як пікселі або слова, безлічі прихованих шарів (чим більше шарів, тим глибше мережу), що містять приховані модулі (відомі також, як вузли або нейрони), і набору модулів виводу, з урахуванням наявності зв'язків між різними вузлами [1]. Схема подібної нейронної мережі зображена на рисунок 5.3.

У загальному випадку мережу, зображену на малюнку 5.3, можна натренувати, наприклад, на великому наборі написаних від руки цифр (це вхідні дані у вигляді зображень) і міток (вихідні дані), що визначають категорії, до яких належать вхідні дані (це зображення — 2, 3, і так далі). Згодом алгоритм зворотного поширення помилки дозволяє градиентному спуску підправляти зв'язку між модулями так, щоб будь-які вхідні дані приводили до видачі відповідних вихідних даних.

В цілому зв'язок між введенням і висновком, яку вивчає мережу, можна уявляти собі як побудова карти відповідності. Нейросети, особливо мають безліч прихованих шарів, дуже добре справляються з побудовою відповідності між введенням і висновком. Ці системи зазвичай описують як нейромережі, оскільки модулі для введення, приховані модулі і модулі для виведення можна уявляти собі у вигляді приблизних моделей біологічних нейронів, нехай і надзвичайно спрощені, а зв'язок між модулями деяким чином представляє зв'язку між нейронами. Давнє питання, що знаходиться за межами даної роботи, стосується ступеня біологічної достовірності подібних штучних нейромереж [1].

Велика частина ГН–мереж використовує технологію під назвою «згортка», яка ставить такі обмеження на зв'язку мережі, що у них природним чином з'являється така властивість, як трансляционная инвариантность. По суті, ця ідея полягає в тому, що об'єкт може переміщатися по зображенню, не втрачаючи своєї ідентичності; коло в верхньому лівому кутку можна визнати тим же самим об'єктом, що і коло в правому нижньому кутку (навіть без наявності прямих тому доказів).

Глибинне навчання також відомо здатністю самостійно вибудовувати проміжні репрезентації — наприклад, внутрішні модулі, що реагують на такі речі, як горизонтальні лінії або більш складні елементи зображення. В принципі, з безліччю даних ГН–системи можуть впоратися з будь-яким кінцевим детерминистским зіставленням між будь-якими наборами введення і відповідного висновку, хоча на практиці їх здатність навчитися певного порівнянні залежить від багатьох факторів. Одна з поширених проблем — догодити в локальний мінімум, в якому система застряє з не зовсім оптимальним рішенням, коли кращого рішення немає в числі прилеглих рішень. На практиці результати з великими наборами даних зазвичай виходять непоганими, причому на широке коло потенційних зіставлень. Наприклад, в області розпізнавання мови нейросеть вчиться зіставляти набір звуків мови і набір міток (слів або фонем). При розпізнаванні образів нейросеть вчиться зіставляти набір зображень набору міток (наприклад, зображення машин відзначаються, як машини). В системі гри в Atari, разучиваемой мережею DeepMind, нейромережі розучують відповідність між пікселями і позиціями джойстика. системи ГН найчастіше використовуються як класифікаційні, в тому сенсі, що місія типовій мережі — це рішення з приводу того, до якого набору категорій (визначається вихідними модулями нейромережі) належить даний введення [6].

В ході виконання даної дослідницької роботи були зібрані і вивчені деякі матеріали по темі магістерської роботи. Так, були розглянуті різні види чатботів і сфери їх застосування. Також були вивчені основні існуючі архітектури побудови нейронних мереж і методи їх навчання.

Після аналізу вивчених матеріалів в якості архітектури побудови онтологічного чатбот була обрана реккурентная нейронна мережа, що з'єднує в собі особливості декількох підвидів для досягнення найкращого результату. Вибір заснований на наявності у реккурентное нейронних мереж таких особливостей, як, наприклад, наявність короткострокової і довгострокової пам'яті. Для мережі структура мови — це довгострокова інформація, яку треба запам'ятати. До неї відносяться граматика, а також стилістичні особливості того корпусу текстів, на яких проводиться навчання. Фактично нейронна мережа запам'ятовує, в якому порядку зазвичай слідують слова, і може дописати пропозицію або ж сконструювати власне.

Також в ході виконання дослідницької роботи для навчання чатботу була обрана методика глибинного навчання, так як вона дозволить в найбільшій мірі реалізувати потенціал реккурентное нейронної мережі, яка виступає в якості основи чатботу.

На момент написання даного реферату магістерська робота ще не завершена. Передбачувана дата завершення: травень 2019 р. Повний текст роботи, а також матеріали по темі можуть бути отримані у автора або його керівника після зазначеної дати.

• Гудфеллоу, Я. Глубокое обучение / Я. Гудфеллоу, И. Бенджио, А. Курвилль. – М.: ДМК-Пресс, 2017. – 652 с.
• Савельев, А. В. На пути к общей теории нейросетей. К вопросу о сложности // Нейрокомпьютеры: разработка, применение / А.В. Савельев. – 2006. – № 4–5. – С. 4–14.
• Нейронные сети для начинающих. Часть 1 // Режим доступа: https://habr.com/post/312450.
• Нейронные сети для начинающих. Часть 2 // Режим доступа: https://habr.com/post/313216.
• Ясницкий, Л. Н. Введение в искусственный интеллект / Л. Н. Ясницкий. – М.: Издат. центр «Академия», 2005. – 176 с.
• Николенко, С. Глубокое обучение / С. Николенко, А. Кадурин, Е. Архангельская. – СПб.: Питер, 2018. – 480 с.
• Барцев, С. И. Адаптивные сети обработки информации / С.И. Барцев, В.А. Охонин. – Красноярск: Ин-т физики СО АН СССР, 1986. – 20 с.
• Миркес, Е. М. Логически прозрачные нейронные сети и производство явных знаний из данных // Нейроинформатика / Е. М. Миркес, А. Н. Горбань, В. Л. Дунин-Барковский, А. Н. Кирдин. – Новосибирск: Наука. Сибирское предприятие РАН, 1998. – С. 10–25.
• Терехов, В. А. Нейросетевые системы управления / В. А. Терехов, Д. В. Ефимов, И. Ю. Тюкин. – М.: Высшая школа, 2002. – 184 с.
• Вороновский, Г. К. Генетические алгоритмы, искусственные нейронные сети и проблемы виртуальной реальности / Г.К. Вороновский, К. В. Махотило, С. Н. Петрашев, С. А. Сергеев. – Харьков: Основа, 1997. – 112 с.
• Горбань, А.Н. Обучение нейронных сетей / А.Н. Горбань – М.: СССР-США СП «Параграф», 1990. – 160 с.
• Рекуррентные нейронные сети: типы, обучение, примеры и применение // Режим доступа: https://neurohive.io/ru/osnovy-data-science/rekurrentnye-nejronnye-seti.