Реферат по темі випускної роботи магістра

R-неокогнітрон втрачає свою ефективність при великому числі класів, до яких можуть належати образи, тому що час розпізнавання зростає експоненціально в залежності від числа нейронів.
TD-R-неокогнітрон виконує т.зв. ментальний поворот образа, визначаючи кут і порівнюючи з еталоном. Даний принцип має багато загального з поводженням людини: коли людина дивиться на картину, повернену на 90 градусів, він визначає кут і намагається нахилити свою голову, щоб зрозуміти, що намальовано на картині.

Огляд існуючих методів

На даний момент існує кілька версій реалізації неокогнітрону, що мають незначні розходження:

1. Моделі, засновані на методі навчання "без учителя"
2. Моделі, засновані на методі навчання "c учителем"

Останні мають більш високу швидкість навчання і стабільність. Однак їхній недолік полягає у тому, що передбачається використання додаткової інформації про належність усього вхідного образа цілком і його окремих частин до того чи іншого класу.[3]

Моделі, що навчаються без учителя, є більш адаптивними й оптимальними. Вони базуються на представленнях про зорову систему сприйняття людини.

Структура Неокогнітрону

Неокогнітрон являє собою багатошарову нейронну мережу, що самоорганізується та моделює систему сприйняття людини. Його шари створені з безлічі нейронів, згрупованих у площини - двовимірні масиви. Нейрон одного шару одержує сигнали від обмеженого числа нейронів попереднього шару, і надсилає вихідні сигнали невеликій кулькості нейронів наступного шару.[1]

У структурі неокогнітрону використовуються три типи нейронів - S-нейрони ("прості" нейрони), C-нейрони ("складні" нейрони) і гальмуючі нейрони. Докладніше про функціонування кожного з них - у розділі Опис нейронів. Шари згруповані парами, за кожним S-шаром, що містить одні тільки S-нейрони, йде C-шар. Площини будь-якого S-шару навчаються розпізнавати визначені особливості вхідного образу, а площини C-шарів комбінують результати розпізнавання.[2]

Кількість нейронів у площинах зменшується від шару до шару. Останній C-шар містить безліч площин, що містять по одному нейрону, що реагує на визначений вхідний образ. Вхідний шар містить одну площину нейронів, і передає розпізнаваний образ на вхід першому S-шару.[1]

Кожна площина S-шару одержує вхідні сигнали від усіх площин попереднього C-шару, тобто кожен нейрон у будь-якій S-площині зв'язаний із групами нейронів із усіх C-площин, позиційно розташованих у тих самих областях. Нейрони площини C-шару одержують вхідні сигнали тільки від нейронів відповідної їй площини попереднього S-шару.

Кожен нейрон реагує на вихідні сигнали нейронів попереднього шару, що лежать у його області зв'язку. Чим глибше рівень нейрона, тим більше стає його рецептивна область. Таким чином, кожен нейрон останнього шару сприймає увесь вхідний образ неокогнітрону. Розміри областей зв'язку вибираються таким чином, щоб для сусідніх нейронів вони перекривалися, а усі разом покривали вхідний образ цілком.

Опис нейронів

Усі нейрони, що використовуються в неокогнітроні, є аналоговими, тобто їхні входи і виходи мають не-негативне речовинне значення. Усього використовуються 3 типи нейронів - S-нейрони, C-нейрони і гальмуючі нейрони.

Розглянемо функціонування S-нейрона. Як показано на малюнку 2, він одержує безліч збудливих вхідних сигналів від нейронів C-шаруючи - U(k), що збільшують його вихідний сигнал. З іншого боку, вплив вихідного сигналу гальмуючого нейрона - v, - зменшує його реакцію. Кожне з'єднання з нейроном попереднього шару має свій позитивний коефіцієнт - a(k). Коефіцієнт з'єднання з гальмуючим нейроном позначений як b.

Позначимо вихідний сигнал S-нейрона як w. Він обчислюється по формулі, приведеної в мал. 3

Функція активації є лінійної при позитивних значеннях вхідного сигналу, і рівної нулю в інших випадках.

Гальмуючий нейрон має ту ж область зв'язку, що і S-нейрон.

Вихід гальмуючого нейрона визначається по наступній формулі

Коефіцієнти предсинаптичних зв'язків з C-шаром гальмуючого нейрона зафіксовані і не змінюються, а їхні значення зменшуються від середини області зв'язку до її країв, причому їхня сума дорівнює 1.

Розглянемо обчислювальні процеси, зв'язані з роботою C-нейрона. Коефіцієнти зв'язків від S-шару до C-шару визначаються один раз і не змінюються надалі, їхні значення визначаються аналогічно коефіцієнтам гальмуючих нейронів [1]. Вихідне значення C-нейрона визначається по формулі:

де функція ксі дає значення x/(a+x) при позитивному x, і 0 - у противному випадку.

Алгоритм навчання неокогнітрону

Навчання неокогнітрону відбувається по методу "навчання без учителя", тобто в процесі навчання неокогнітрону подаються на вхід образи без додаткової інформації про те, якому класу вони належать. Навчання виконується послідовно, від шару до шару.

Як згадувалося вище, змінюються тільки a(k) і b-коефіцієнти S-нейронів по наступним формулах:

де q - коефіцієнт навчання, u(k) - вихід k-го нейрона З-шаруючи, c(k) - вагарні коефіцієнт предсинаптичного зв'язку гальмуючого нейрона, v - вихід гальмуючого нейрона.

Споконвічно вагарні коефіцієнти a(k) і b приймають значення, близькі до нуля.

Процес навчання орієнтований на те, щоб кожна окрема площина нейронів S-шаруючи навчилася реагувати на окрему особливість вхідного образа. Але можуть виникнути такі ситуації, що нейрони в різних площинах при навчанні на тих самих образах дадуть досить високі вихідні сигнали і збільшать свої коефіцієнти. Щоб цього уникнути, були введені стовпці конкуренції. Для кожного нейрона вибирається область певного розміру, до якої входить визначене число сусідів. Ця область - область зрізу для одного зі стовпців. У цей же стовпець входять нейрони з тієї ж самої області всіх інших площин даного шару. Стовпці, також як і області зв'язку, можуть частково перекривати один одного.

Після того, як були полічені вихідні сигнали для всіх нейронів S-шаруючи, у кожнім стовпці конкуренції вибирається кандидат - нейрон, що має найбільший вихідний показник. Цей нейрон записується в список кандидатів для площини, у якій знаходиться. Потім, для кожної площини, з її списку вибирається кандидат з максимальним виходом, і змінюються вагові коефіцієнти його зв'язків. Ці коефіцієнти передаються на всі нейрони цієї ж площини. Таким чином, на кожну особливість вхідного образу будуть реагувати нейрони тільки однієї площини[1].

Поточні результати

На даний момент реалізована система, що успішно справляється з завданням розпізнавання арабських цифр. Реалізовано алгоритм читання вхідного образа. Реалізовано алгоритми розпізнавання і навчання. Були проведені іспити працюючої системи. На компьютері з процесором Intel Celeron 900Mhz процес навчання на образах з дозволом 19x19, у ході якого кожен образ подавався на вхід нейромережі 100 разів, триває 10.3 секунди, а процес розпізнавання - 0.1 секунди. Неокогнітрон успішно розпізнає перекручені образи.

У даний час ведеться розробка автоматизованого процесу навчання на наборах образів. Ведуться дослідження з оптимізації характеристик нейроалгоритму.

Висновки

Неокогнітрон показав дуже гарні результати при розпізнаванні образів. Розвиток даної моделі є дуже перспективним завданням, рішення якого дозволить створити універсальну систему по ідентифікації різних об'єктів. На даний момент система має певні недоліки, такі як низька швидкість навчання, зафіксовані параметри вхідних образів. Але ці проблеми є розв'язними.

Список літератури

1. Fukushima K. Neocognitron: a self-organising neural network for mechanism of pattern recognition unaffected by shift in position. Biological Cybernetics 36, 1980, pp. 193-202.
2. Fukumi, S. Omatu, and Y. Nishikawa, Rotation-Invariant Neural Pattern Recognition System Estimating a Rotation Angle, IEEE, Trans., Neural Network, 8, 1997, pp. 568-581.
3. D. R. Lovell, A. C. Tsoi and T. Downs, "A Note on a Closed-form Training Algorithm for the Neocognitron," To appear in IEEE Transactions on Neural Networks.
4. S. Satoh, J. Kuroiwa, H. Aso and S. Miyake, "Recognition of Hand-written Patterns by Rotation-invariant Neocognitron," Proc. of ICONIP'98, 1, pp. 295-299, 1998.
5. S. Satoh, J. Kuroiwa, H. Aso and S. Miyake, "Pattern Recognition System with Top-Down Process of Mental Rotation," Proc. of IWANN'99, 1, pp. 816-825, 1999.