Авторы: Филипп Госье, Жан-Пьер Кокерез
Автор перевода: Рябченко В.В.
Источник: Philippe Gaussier, Jean-Pierre Cocquerez – Utilisation des reseaux de neurones pour la reconnaissance de scenes complexes: simulation d'un systeme visuel comprenant plusieurs aires corticales. http://gaussier.free.fr/pdf/TS_syst_vision.pdf
|
Philippe GAUSSIER ENSEA ETIS GDR 134 «Traitement du signal et Image» Allee des chenes pourpres 95014 Cergy Pontoise Cedex |
|
Jean-Pierre COCQUEREZ ENSEA ETIS GDR 134 «Traitement du signal et Image» Allee des chenes pourpres 95014 Cergy Pontoise Cedex |
В этой статье мы представляем общую систему интерпретации изображений на основе нейробиологических и психологических понятий. Вся обработка проводится с использованием нейронных сетей. Эта система является своего рода моделируемым роботом, способным действовать в своей среде, чтобы распознавать уже знакомые объекты. Одним из её главных преимуществ является то, что она позволяет простым способом передавать информацию между процедурами обработки высокого и низкого уровней. Наконец и самое главное, она была задумана с целью показать, что для хорошей интерпретации нет необходимости в закрытых регионах и идеальных контурах. Наш робот является относительно простым примером из того, что позволяют реализовать интегрированные нейронные сети при кибернетическом подходе. Несмотря на это, он уже по существу способен распознавать несколько объектов в сложной сцене, даже если они являются зашумленными, искаженными или частично закрытыми. Наша работа является просто основой для будущих разработок в этой области, которая остается мало изученной сообществом обработки изображений и обработки сигналов.
Нейронные сети, распознавание образов, выделение краев, закрытие контуров, извлечение характерных точек, моделирование корковых зон.
В нашем исследовании мы пытаемся объединить разрозненные результаты в обработке изображений, искусственном интеллекте, психологии, нейробиологии для улучшения нашего понимания коры мозжечка и реализовать систему, которая преодолевает ограничения существующих систем. Наша система эмулирует маленького робота с одним глазом. Его «мозг» имеет несколько корковых зон. Он способен запоминать заданное число объектов. Мы различаем два множества нейронных сетей. Первые выполняют обработку на низком уровне и извлекают характерные точки. Вторые обрабатывают пространственные преобразования входного изображения, пытаются распознать учебные объекты и предлагают восстановление для подтверждения распознавания.
Во время обучения, робот извлекает характерные точки одного объекта и производит преобразование из каждой такой точки. При интерпретации, робот фокусирует свой глаз на характерных точках, обрабатывает комплексное логарифмическое преобразование и выполняет умственное вращение для приведения к текущим преобразованиям с изученными представлениями. Для того, чтобы завершить интерпретацию или избежать двусмысленности, робот фокусируется на других характерных точках, использованных в процессе обучения. Объекты могут быть распознаны в реальной сцене, даже если они частично закрыты или изображение зашумлено. Вся обработка выполняется нейронными сетями. Вся система сделана менее чем из десяти слоев, что является биологически возможным.
Нейронные сети, распознавание образов, выделение краев, закрытие контуров, извлечение характерных точек, моделирование корковых зон.
Наш подход связан с желанием объединить разрозненные результаты в обработке изображений, искусственном интеллекте (AI), психологии и нейробиологии для улучшения нашего понимания функционирования коры мозжечка и реализовать систему, которая преодолевает ограничения существующих систем.
Исследуемая система является небольшим роботом, оснащённым одним глазом, который способен перемещаться для имитации глазных саккад. Его целью является распознавание ранее изученных объектов в сложных сценах, даже если они зашумлены, частично закрыты и повернуты относительно их изученных образцов. Мы реализовали последовательность обработки изображения в форме нейронных сетей. Она включает в себя: извлечение контуров, поиск характерных точек, интерпретацию, управление движениями глаза и моделирование умственных вращений. Различные представления объекта изучаются искусственными нейронными сетями моделирующими функционирование различных корковых зон. Вся сеть может быть полностью реализована менее чем из десяти последовательных слоев нейронов, что позволяет считать нашу модель правдоподобной с точки зрения скорости, сопоставимой с реальными нейронами [Thorpe 88].
В первой части этой статьи, мы представляем различные модели нейронных сетей и их архитектуры. Эти модели являются основными инструментами для моделирования нашего робота.
Во второй части, мы исследуем, как психологические рассуждения, происходящие из работ об оптических иллюзиях, могут натолкнуть на правдоподобную модель первичной обработки человеком визуальной информации: выделение контуров, замыкание контуров и поиск точек интереса.
Наконец, в третьей части, мы покажем, как реализовать устройство, изначально имеющее разумное поведение. Для этого мы разработали систему, содержащую модули конфигурируемых нейронных сетей, то есть, способных к изменению размеров, выбору режима обучения и т.д. Эти модули могут быть объединены различными способами, что обеспечивает большую гибкость при проектировании сложных систем.
В настоящее время многие системы интерпретации изображений содержат хорошо отделенные друг от друга блоки обработки высокого и низкого уровней. Схематически, первые используют методы сегментации для извлечения примитивов в изображении и выработки описания изображения, и, как правило, они слепы, между тем как вторые используют системы на основе правил или распространения ограничений для выполнения интерпретации. В этих устройствах правильность интерпретации в значительной степени зависит от качества результатов низкоуровневой обработки. Например, неизвлеченный контур или сегментация, дающая локально плохую разбивку на регионы, могут вызвать плохую интерпретацию. Это означает, что процессы высокого уровня должны быть в состоянии реагировать на параметры, регулирующие процессы низкого уровня. В этой связи возникает нетривиальная проблема коммуникации между процессами разных типов. Она может быть решена различными способами, например, с помощью замкнутой системы, которая заново сегментирует неинтерпретированные области [Gaussier 91], [Cocquerez 92] либо с помощью многоагентной системы [Garbay & Pesty 89].
Эта коммуникационная проблема может быть устранена, если устройства нижнего уровня предоставляют результаты, полученные при различных значениях параметров и в различных масштабах. Трудность составляет различная природа данных, так как часто приходится сталкиваться с проблемами слияния данных.
Коннекционистский подход инспирированный нейробиологическими моделями обеспечивает решение этих проблем:
Принцип, обычно используемый в существующих системах, состоит в анализе кусочка изображения для извлечения локальных характеристик, которые затем интегрируются в более общие классы. Используемые сети, являются слоистыми и восходящими («feed forward») с возможными обратными связями («feed back»), уровень абстракции каждого слоя увеличивается от входа (пиксели) к выходу (символы).
Распознавания символов, несомненно, является наиболее развитым приложением нейронных сетей. Для решения этой проблемы были протестированы различные методы с относительным успехом. Лё Кун применил обратное распространение градиента (RPG – Retropropagation du gradient) [Le Cun 89], [De Saint Pierre 87]. Другие разрабатывали частные методы обучения, производя все виды инвариантных представлений относительно перемещения, вращения и других трансформаций исходного изображения; это случаи следующих исследований: [Omatu 90], [Lynch & Rayner 89], [Fukushima 88], [Li 90], [Khotanzad & Lu 89], [Widrow 88]. В [El-Sheiikh & El-Taweel 89] была разработана система для распознавания рукописных арабских символов. Учитывая сложность различных объектов для распознавания, эти авторы предпочли использовать несколько модульных сетей по принципу от общего к частному.
Другой хорошо изученной проблемой является распознавание некоторого объекта в конкретной сцене: танки, самолеты, глаза, лица, промышленные участки [Allen 90], [Gupta 90], [Hines 89], [Cottrel & Fleming 90], [Herold 88]. Для некоторых из этих работ, природа изображений (инфракрасные, радарные) позволяет выделить распознаваемые объекты из фона благодаря пороговому представлению изображения, использующему, например, гистограммы. Во всех случаях, как только объект был выделен, он нормализуется так, чтобы максимально заполнить окно распознавания. Специальные процедуры реализуют масштабирование и поворот объекта таким образом, чтобы облегчить распознавание. Обучение использует RPG. Изученными примерами являются различные возможные цели с их идентификациями. Чтобы сделать обучение устойчивым к шуму, который может быть важным, авторы обучали сети зашумлённым формам. Основным ограничением этого метода является то, что он требует, чтобы распознаваемые объекты были полностью отделены от фона, что не достигается в случае сложных изображений, таких как природные сцены и аэрофотоснимки.
Есть еще много других областей применения, начиная от распознавания текстур и заканчивая стереоскопическим зрением, проходя через сегментацию движущихся объектов и оценку этого движения. Все эти реализации являются, по существу, симуляциями нейронных сетей. В настоящее время существует лишь очень мало их применений, реализованных в микроэлектронике для сегментации изображений [Poggio 85], [Mead & Mahowald 88].
В этих подходах, нейронные сети часто используются в качестве классификаторов. При этом сталкиваются с проблемой присущей любой задачи классификации: нужно найти дифференцирующие параметры, причем немного. После обучения на нескольких примерах результаты, полученные с помощью нейронных сетей, являются, как правило, удовлетворительными. Однако, после этого их трудно улучшить. В самом деле, при увеличении числа примеров для классификации, дифференцирующий признак будет более острым, и хорошая размерность сети будет иметь решающее значение. В заключение можно отметить, в этих приложениях, нейронные сети освобождают пользователя от утомительного программирования, но они не ухудшают хороший анализ проблемы.
Сегодня под термином нейронная сеть объединяются большое количество моделей, которые пытаются имитировать функциональность мозга, воспроизводя некоторые из его основных структур. Первая модель была предложена МакКаллохом и Питтсом в 1943 году, в рамках которой они изучали логические операции, выполняемые нейронами. Существует большое количество обобщающей литературы по нейронным сетям [McClellan 86], [Kohonen 89] и статей [Lippmann 87], [proceeding IEEE 90].
Важной особенностью искусственных нейронных сетей является обучение, которое заключается в том, чтобы заставить их реагировать определенным образом данный набор стимулов. Алгоритмы обучения делятся на две большие категории, которые включают контролируемые алгоритмы (с учителем) и неконтролируемые алгоритмы (самоорганизация).
Алгоритмы, представленные в этом разделе, являются алгоритмами обучения без учителя [Rumelhart & Zipser 85], [Barlow 89], они должны иметь самостоятельной адаптивный механизм, как и живые существа с нервной системой. Они позволяют нам определить характеристики, которыми будут обладать нейроны в нашей системе.
Большинство алгоритмов обучения основываются на правиле Хебба [Hebb 49].Речь идёт об одном их первых механизмов эволюции, предложенных для синапсов (изменение веса) [Hopfield 82]. В этих моделях, усиление синаптических связей происходит, когда пре- и постсинаптические нейроны одновременно актируются. К сожалению, усиление возбуждающих синапсов не ограничено, что вызывает риск нестабильности. Различные способы позволяют стабилизировать обучение сети: рекуррентное торможение через модифицируемые синапсы [Easton & Gordon 84], пороги или нормализация синаптических коэффициентов [McClellan 86]. Были исследованы различные типы самоорганизующихся структур нейронных сетей [Grossberg 76], [Foldiak 89] (двухслойная сеть с обратными связями).
Для того чтобы у ИНС, использующей правило Хебба, было свойство самоорганизации, добавляют боковые тормозящие связи, которые позволяют иметь не более одного активного нейрона после момента сходимости [Lippman 87]. Если представить объект на вход нейросети достаточное число раз, то каждый нейрон должен приобрести различную возбудимость [Grossberg 76], [Grossberg 88], [Kohonen 89]. Этот тип сети называется «Победитель получает все» (только победитель активируется). Чтобы избежать плохого обучения, когда сеть функционирует в среде с противоречиями, Маршалл в [Marshall 90] и [Marshall 89] предлагает ослабить торможение между нейронами, если есть двусмысленность, чтобы позволить нескольким выходам быть активированными одновременно. Речь идет о том, чтобы сделать эти выходы независимыми. Таким образом, они не будут больше коррелироваться. Существует целый ряд моделей ИНС, основанных на конкурентной парадигме обучения (competitive learning mode), таких как система ART Гроссберга, сети Кохонена или неокогнитрон Фукусимы.
В сетях Кохонена [Kohonen 89] учитывается биологические наблюдения, согласно которым некоторые нейроны играют специфичную роль и соседние нейроны реагируют на похожие входы. Кохонен показал [Kohonen 72], что структура связей сети становится изоморфной структуре множества стимулов, в случае использования боковых тормозящих соединений. Он вводит понятие самоорганизующейся адаптивной топологической карты. В этих картах, каждый из нейронов реагирует специфичным образом на некоторый тип стимулов, но реализация, сделанная Кохоненом, не правдоподобна биологически, так как сходимость является долгой, и связи меняют свой тип (возбуждающие и тормозящие).
Однако, оригинальная идея модели ART Гроссберга (Адаптивная резонансная теория) [Carpenter & Grossberg 87] предназначена показать, как в конкретной ситуации индикаторы признаков могут согласовываться, чтобы отвечать на выпуклое множество пространственных объектов. Точнее говоря, мы хотим, чтобы индикаторы автоматически отвечали на средние признаки, выбранные в наборе, даже если средние признаки прежде не были изучены. Решение представляет собой систему, в которой обучение является нисходящим (абстракция уменьшается по мере понижения уровня с самого высокого до самого низкого, которому соответствует входной слой) на восходящей информации. Эта система помогает защитить то, что было ранее изучено от стирания новыми данными. Это также позволяет автоматическое включение новых знаний на основные знаний о системе, сохраняя на устойчивость множества уже выученных событий.
Для операций типа «автоматизм – обратная связь» Саттон и Барто [Barto 83], [Barto 81a], [Barto 81b] предлагают модель, в которой единственный сигнал ошибки улучшает поведение множества нейронов. Эта идея является правдоподобной, потому что в мозге существуют клетки, выпускающие химические «медиаторы», которые влияют на работу большого количества нейронов, не имеющих непосредственных связей (например, через кровоток); это до некоторой степени позволяет нейрону иметь информацию об общем состоянии системы: боль, радость, стресс... Сеть является однослойной, но замкнутой. Так предполагается имитировать ассоциативную память. Главная трудность состоит в том факте, что отдельный нейрон не может знать, ответственен ли он за плохой результат или нет. Основная идея состоит в том, что нейроны будут «усреднять» сигналы ошибки в зависимости от различных ситуаций и после некоторого времени все нейроны будут реагировать правильно.
[Klopf 82] предложил теорию на основе интеллектуального адаптивного поведения. В своей модели он представил, как правило Хебба, так и модель Саттона-Барто. Фактически в адаптивных нейронных сетях четко различают два типа обучения. Первый из них – ассоциативный (правило Хебба), а второй является прототипом условного рефлекса Павлова, то есть обучение с подкреплением (Саттон-Барто, Клопф). Клопф исходит из идеи, что нейроны так же, как и отдельные особи, стремятся лишь к максимизации своего удовольствия (гедонизм). Удовольствие для нейрона – это стадия деполяризации, а страдания – это стадия гиперполяризации. Таким образом, основной механизм, заложенный в такой нейрон, имеет следующую цель – получение максимума возбуждения и избегание минимума торможения.
Модель нейрона сигма-пи [Durbin 89] является модификацией, которая лучше соответствует биологической реальности, чем результаты работ МакКалоха и Питтса или Видроу и Хоффа. Как и предыдущие модели, она включает в себя модуль суммирования, но входами являются произведения элементарных входов: отсюда и его название нейрона «сигма-пи». Таким образом, нейрон реагирует не на конкретный стимул, а на комбинацию раздражителей [Koch 85]. Следовательно, этот нейрон может распознать любую форму вне зависимости от её положения (трансляционная инвариантность) [Giles 87]. Он может реализовывать и сложные логические функции, такие как мультиплексирование или изменение направления (так как входы являются бинарными, то результат эквивалентен логическому «И»).
Другие модели, такие как неокогнитрон или CMAC, представляют особый интерес из-за своей архитектуры. Модель неокогнитрона, предложенная в [Fukushima 82] использует обучениe без учителя. Он способен распознать представленную форму, даже если она подверглась трансляции или была деформирована. Поскольку несколько форм представлены одновременно на одном изображении, неокогнитрон благодаря механизму избирательного внимания [Fukushima 88] распознает различные присутствующие формы одну за другой.
CMAC является архитектурой ИНС происходящей от работ Альбуса о мозжечке. Она состоит из двух ассоциативных слоев (отображение), случайным образом объединяющих результаты входного бинарного слоя и выходного слоя, на котором происходит обучение [Miller 87], [Herold 88]. Сеть может принимать аналоговые значения, которые кодируются двоичным кодом на входном слое. Первый скрытый слой реализует функцию «ИЛИ» с входными значениями, взятыми наугад. Этот слой теоретически имеет бесконечный размер. На практике он принимается достаточно большим, чтобы там могли находиться множество накапливаемых конфигураций (выбор входов производится случайно: это концепция распределенной памяти). Второй скрытый слой выполняет функцию «И» с результатами первого слоя также взятых наугад. И, наконец, последний слой обучается находить те же результаты благодаря обучению с учителем типа Уидроу-Хоффа. Результаты получаются лучше, чем при ассоциативном «хэшировании». Но главная проблема этой сети состоит в том, что она не в состоянии обобщать неизвестные формы.
В своей модели корковой колонны Бурнод предлагает архитектуру и правила функционирования для каждого из четырех уровней организации коры головного мозга (клетки, колонны, карты и области коры). Эта модель пытается, как можно лучше представить биологическую сложность коры головного мозга: ее организацию по областям и наличие элементарных мини-структур (корковых колонн). Она предлагает механизмы, позволяющие упростить симуляцию, избегая учета каждого нейрона, что было бы слишком долго, а также трудно моделируемым или и трудно описываемым. Такой подход согласует аспект обучения и аспект обобщения планов, используемых в искусственном интеллекте (AI): «Корковое обучение является уже не простыми ассоциациями, а активным процессом... Каждое новое обучение производит дисбаланс, порождающий новое обучение». Дисбаланс в сети соответствует генерации цели. Распространение дисбаланса между различными колоннами имеет следствием поиск решения для предложенной цели, таким образом, что это приводит к генерации плана действия для достижения выбранной цели [Burnod 87], [Burnod 89], [Alexandre 87], [Dingeon 89], [Otto 90].