Закономерности развития нейронных сетей

Введение

Интеллектуальные системы на основе искусственных нейронных сетей (ИНС) позволяют с успехом решать проблемы распознавания образов, выполнения прогнозов, оптимизации, ассоциативной памяти и управления. Известны и иные, более традиционные подходы к решению этих проблем, однако они не обладают необходимой гибкостью за пределами ограниченных условий. ИНС дают многообещающие альтернативные решения, и многие приложения выигрывают от их использования.

Развитие аппаратуры

На сегодняшний день существуют специализированные процессоры для работы с нейронными сетями. К таким процессорам относятся Google TPU - тензорный процессор, относящийся к классу нейронных процессоров и NVIDIA Tesla V100: самый технически продвинутый GPU для искусственного интеллекта. В других случаях используются графические процессоры, которые хоть и хуже справляются с поставленной задачей, однако показывают высокий уровень работы. Сравнительная характеристика производительности различных устройств представлена на рисунке 1.

Рисунок 1 - Производительность различных устройств для реализации НС [3]

Диаграмма представленная на рисунке 1 показывает сравнительную производительность различных современных устройств. В основном представлены графические процессоры, так как в основном они используются для реализации нейронных сетей. Динамику развития данных устройств можно проследить на рисунке 2.

Рисунок 2 – График изменения производительности графических процессоров [1]

На рисунке 2 можно увидеть динамику изменения мощностей графических процессоров. Можно наблюдать экспоненциальный рост, который по больше по скорости чем предсказываемый рост в соответствии с законом Мура. Согласно закону Мура, количество транзисторов, которое можно разместить на интегральной схеме, каждые два года увеличивается в два раза. Это эмпирическое наблюдение достаточно точно описывает ситуацию с начала 70-х годов. За последние пять лет производительность создаваемых в его компании процессоров увеличилась в 25 раз, в то время как согласно закону Мура она должна была возрасти примерно в 10 раз [4].

Увеличение точности

Точность нейросетей растет, и очень сильно растет. Уже есть несколько примеров, когда нейросети приходят в какую-то область и вытесняют целиком классический алгоритм. Так уже было в обработке изображений и в распознавании речи, так произойдет еще в разных областях. То есть появляются нейросети, которые очень сильно уменьшают ошибку. График изменения точности представлен на рисунке 3.

Рисунок 3 – Изменение ошибки распознавания изображений [1]

На диаграмме фиолетовым цветом выделен Deep Learning, голубым – классический алгоритм компьютерного зрения. Видно, что появился Deep Learning, ошибка уменьшилась и продолжает уменьшаться дальше. Именно поэтому Deep Learning целиком вытесняет все, условно, классические алгоритмы.

На соревновании ImageNet это впервые произошло в 2015 году. Но на самом деле нейросетевые системы, которые по качеству превосходят человека, появились раньше. Первый задокументированный внятный случай — это 2011 год, когда была построена система, которая распознавала немецкие дорожные знаки и делала это в 2 раза лучше человека.

Рисунок 4 – Результаты классификации/локализации с конкурса ILSVRC

Усложнение сетей

Сложность нейросетей растет. В терминах глубины растет глубина. Если победитель 2012 года на ImageNet — сеть AlexNet — там было меньше 10 слоев, то в 2014 году их было уже больше 20, в 2015 —150. Кроме того, что растет глубина, растет и сама архитектурная сложность. Вместо того, чтобы слои просто стыковать один за другим, они начинают ветвиться, появляются блоки, структура. В общем, архитектурная сложность тоже растет. График изменения сложности представлен на рисунке 5.

Рисунок 5 – График изменения количества слоев в нейронных сетях со временем

Применяемость нейронных сетей

Улучшение качества работы при использовании нейросетей привело более частому их использованию. Нейросети стали вытеснять многие стандартные алгоритмы, так как показывали более высокие показатели качества работы. На рисунке 6 представлено изменения числа направлений в компании Google, в которых используются нейронные сети.

Рисунок 6 – График изменения количества уникальных направлений в Google, в которых используются нейронные сети

Выводы

На сегодняшний день можно наблюдать высокую популярность нейронных сетей, и как следствие их быстрое развитие. Однако на хорошее текущее состояние в будущем возможен сильный спад активности в этом направлении. Спад может быть вызван достижением ограничений со стороны аппаратных устройств, а также нецелесообразностью дальнейшего улучшения в связи с достижением оптимальной точности.

Список литературы

1. Введение в архитектуры нейронных сетей [Электронный ресурс]. – Режим доступа: https://habr.com/company/oleg-bunin/blog/340184/. – Заглавие с экрана.
2. Итоги развития компьютерного зрения за один год [Электронный ресурс]. – Режим доступа: https://habr.com/post/346140/. – Заглавие с экрана.
3. Which GPU(s) to Get for Deep Learning: My Experience and Advice for Using GPUs in Deep Learning [Электронный ресурс]. – Режим доступа: http://timdettmers.com/2018/11/05/which-gpu-for-deep-learning/. – Заглавие с экрана.
4. Производительность графических процессоров обгоняет закон Мура [Электронный ресурс]. – Режим доступа: https://news.rambler.ru/tech/39524366-proizvoditelnost-videokart-obgonyaet-zakon-mura/. – Заглавие с экрана.