Стёпушкина Полина Константиновна

Сверточная нейронная сеть (CNN), в англоязычной литературе именуемая Convolutional Neural Network, представляет собой специализированную архитектуру искусственных нейронных сетей. Впервые предложенная Яном Лекуном в 1988 году, она была разработана для решения задач распознавания образов и является ключевым элементом технологий глубокого обучения.

Архитектура CNN вдохновлена особенностями зрительной коры головного мозга. Основная идея сверточных сетей — последовательное чередование сверточных слоёв и слоёв субдискретизации (пулинга). Сеть имеет однонаправленную многослойную структуру и обучается методом обратного распространения ошибки.

Название архитектуры происходит от операции свёртки — поэлементного умножения фрагмента изображения на матрицу ядра и суммирования результатов. Эта операция позволяет выделять локальные признаки изображения — линии, углы, фрагменты форм. Работа CNN описывается как переход от простых признаков к абстрактным, что обеспечивает иерархическую обработку информации.

Рисунок 1.1 — Нейроны слоя свёртки, преобразуемые по нескольким выходным каналам

Для повышения устойчивости к изменениям масштаба и упрощения вычислений после свёртки используется операция субдискретизации (пулинг) — уменьшение размерности карт признаков путём выбора максимального значения (макс-пулинг) или среднего значения. Это сохраняет существенную информацию и снижает чувствительность сети к точному положению объекта [3].

Рисунок 1.2 — Субдискретизация с функцией максимума и фильтром 2×2 с шагом 2

Структура CNN включает чередующиеся слои свёртки и пулинга, формирующие иерархические признаки от простых до сложных. На завершающем этапе данные поступают в полносвязные слои, где выполняется классификация.

После каждой свёртки результаты проходят через функцию активации, добавляющую нелинейность в модель. Наибольшее распространение получила функция ReLU (f(x)=max(0,x)), обеспечивающая высокую скорость сходимости [4].

В современных архитектурах используются более мелкие фильтры и иногда отказ от пулинга для повышения детализации. Сверточные сети сочетают эффективность, гибкость и способность автоматически выявлять сложные признаки, что делает их основным инструментом компьютерного зрения.

Наиболее распространён метод обучения с учителем на размеченных данных с использованием алгоритма обратного распространения ошибки. Также применяются варианты обучения без учителя — автоассоциаторы, разрежённое кодирование и свёрточные машины Больцмана. Для повышения обобщающей способности модели используется dropout.

CNN показывают высокую эффективность в распознавании и классификации изображений, требуя меньше параметров, чем полносвязные сети, и легко параллелизуются на GPU. Основным недостатком остается сложность подбора гиперпараметров (число слоёв, размер ядер, тип пулинга и функции активации), которые часто определяются эмпирически [5].

Рекуррентные нейронные сети (Recurrent Neural Networks, RNN) представляют собой тип архитектур, в которых связи между нейронами образуют направленную последовательность, что позволяет моделировать временные или пространственные зависимости. Это делает их особенно эффективными при работе с последовательностями данных произвольной длины — например, речью, текстом или временными рядами.

В отличие от традиционных многослойных перцептронов, которые обрабатывают данные фиксированного размера, рекуррентные сети используют внутреннее состояние, функционирующее как кратковременная память, что позволяет учитывать предыдущие входы при обработке текущего элемента последовательности. Такая структура открывает широкие возможности применения в распознавании рукописного текста, анализе речевых сигналов и прогнозировании временных рядов.

С момента появления было разработано множество архитектур RNN — от базовых моделей до сложных структур с механизмами долговременного хранения информации. Наиболее популярными являются LSTM (Long Short-Term Memory) и GRU (Gated Recurrent Unit), разработанные для преодоления проблемы затухания градиентов и обеспечения запоминания данных на длительных временных интервалах. Эти модели стали стандартом в задачах анализа последовательностей [6].

Первые идеи рекуррентных сетей были предложены Джоном Хопфилдом в 1982 году. Его сеть продемонстрировала способность хранить и восстанавливать образы, став моделью ассоциативной памяти. Позже появились сети Элмана и Джордана, где скрытые состояния зависят не только от входных сигналов, но и от предыдущего выхода сети.

Эти архитектуры стали основой современных рекуррентных сетей, используемых для анализа временных зависимостей. Позднее появились эхо-сети (Echo State Networks, ESN), где внутренние связи фиксированы, а обучение производится только для выходных весов, что обеспечивает простоту и высокую скорость обучения.

Одним из направлений эволюции RNN стали импульсные («жидкие») нейронные сети, имитирующие реакцию системы на входные события во времени. Они обеспечивают динамическое обновление внутреннего состояния и хорошо подходят для моделирования биологических процессов.

Сеть с долговременной и кратковременной памятью (LSTM) решает проблему исчезающих градиентов с помощью специальных управляющих механизмов — ворот забывания, входных и выходных ворот. Эти элементы контролируют поток информации, позволяя хранить важные данные на протяжении тысяч временных шагов.

Обучение LSTM осуществляется методом обратного распространения ошибки во времени (BPTT). Совместное использование LSTM и метода Connectionist Temporal Classification (CTC) позволило значительно повысить точность распознавания речи и текста, что сделало такие модели базовыми для современных систем обработки естественного языка.

Упрощённая версия LSTM — GRU (Gated Recurrent Unit) — объединяет функции нескольких ворот, снижая количество параметров без потери качества. Эти сети широко применяются для анализа речевых сигналов, временных рядов и генерации текстов.

Таким образом, рекуррентные нейронные сети представляют собой важный класс моделей, способных эффективно учитывать временные зависимости. От базовых сетей Элмана до сложных архитектур LSTM и GRU — они формируют основу современного подхода к обработке последовательных данных [7], [8].

В развивающейся сфере глубокого обучения капсульные нейронные сети (CapsNets) возникают как многообещающая альтернатива сверточным нейронным сетям (CNN), предлагая более эффективный подход к распознаванию образов и пониманию пространственных взаимосвязей. В отличие от CNN, которые полагаются на обнаружение признаков с помощью фиксированных фильтров, CapsNets использует капсулы — группы нейронов, инкапсулирующие информацию о различных свойствах объектов, таких как положение, ориентация и деформация. Это позволяет не только определять наличие объекта, но и понимать его конфигурацию и отношения между его частями, что важно для задач, требующих контекстного анализа сцены.

Суть инноваций CapsNets заключается в векторном представлении информации. Каждая капсула выдает вектор, длина которого кодирует вероятность наличия объекта, а направление содержит параметры его состояния. Например, капсула может представлять положение, угол наклона и масштаб объекта. В отличие от CNN, использующих скалярные значения для описания признаков, CapsNets оперирует многомерными векторами, что делает их более информативными и устойчивыми к деформациям.

Одним из основных ограничений CNN является их чувствительность к изменениям ориентации и формы объектов. CNN не моделирует иерархические отношения между частями и целым, поэтому для распознавания того же объекта под разными углами требуется больше обучающих примеров. CapsNets решает эту проблему с помощью механизма динамической маршрутизации (Dynamic Routing), который позволяет капсулам нижнего уровня направлять сигналы к тем капсулам верхнего уровня, с которыми их предсказания наиболее согласованы. Степень согласования определяется скалярным произведением между выходными векторами нижнего и верхнего уровня [9], [10].

Если предсказания капсулы нижнего уровня соответствуют параметрам экземпляра капсулы верхнего уровня, связь между ними усиливается. Таким образом, сеть строит иерархию связей между объектами и их частями, обеспечивая более точное моделирование пространственных зависимостей и устойчивость к поворотам и деформациям объектов.

Джеффри Хинтон, один из основателей глубокого обучения, предложил CapsNets в 2017 году как решение ограничений CNN при моделировании иерархической структуры объектов. Алгоритм динамической маршрутизации, лежащий в основе CapsNet, обеспечивает эффективное объединение локальных признаков в контекстно зависимые представления более высокого уровня.

Преимущества CapsNets особенно проявляются в задачах, где важна инвариантность к преобразованиям и требуется точное учёт пространственных отношений между элементами. В экспериментах по распознаванию объектов под разными углами CapsNets демонстрировали на 40–45 % меньше ошибок, чем классические CNN, благодаря способности адаптивно моделировать структуру объектов.

В традиционных нейронных сетях нейрон является простым вычислительным элементом, принимающим скалярные входные данные и выдающим скалярный результат после применения функции активации. В капсулах же входы и выходы представляют собой векторы, обрабатываемые с помощью матричных преобразований. Такая организация позволяет капсулам описывать не только факт наличия признака, но и его пространственные параметры.

Внутри капсулы выполняется аффинное преобразование входных векторов, за которым следует их взвешивание и суммирование с использованием коэффициентов маршрутизации. Затем применяется векторная нелинейность — функция «сжатия» (squashing), нормализующая длину выходного вектора в диапазоне от 0 до 1. Эта длина определяет вероятность обнаружения объекта [11].

Исходная архитектура CapsNet, предложенная Хинтоном, включает два основных слоя капсул: PrimaryCaps и DigitCaps. Первый слой преобразует локальные признаки входного изображения в капсульное представление, а второй агрегирует эти признаки для распознавания классов объектов. Обмен данными между ними осуществляется через динамическую маршрутизацию.

Рисунок 1.3 — Архитектура капсульной нейросети

В то время как динамическая маршрутизация является наиболее известным методом взаимодействия между слоями капсул, исследуются и другие подходы, такие как EM Routing (ожидаемая максимизация). Хотя CapsNets изначально разрабатывались для обработки изображений, они также применяются в обработке естественного языка, 3D-данных и медицинской визуализации.

Основным недостатком CapsNets остаётся высокая вычислительная сложность обучения, особенно при использовании динамической маршрутизации. Исследования направлены на создание более эффективных алгоритмов и аппаратных реализаций.

Благодаря своей способности моделировать сложные пространственные отношения и обеспечивать интерпретируемость представлений, капсульные сети считаются перспективным направлением развития глубокого обучения. Несмотря на относительную новизну, CapsNets уже показали потенциал в задачах анализа изображений и компьютерного зрения [12].

Ансамблевые методы представляют собой один из наиболее эффективных подходов в современном машинном обучении, основанный на объединении предсказаний множества базовых моделей для получения более точного и устойчивого результата. Вместо построения единственной сложной модели, ансамблевые подходы используют совокупность относительно простых моделей, которые в совокупности могут давать гораздо лучшие результаты. Такой способ позволяет не только повысить точность прогнозирования, но и снизить риск переобучения, увеличить устойчивость к шуму в данных и расширить диапазон применимости алгоритмов.

Идея ансамблевого подхода восходит к концепции коллективного интеллекта: если несколько независимых моделей будут решать одну и ту же задачу, их совокупное решение может быть более надёжным, чем отдельное. Эта гипотеза получила подтверждение как на практике, так и в рамках теории вероятностей и статистики. Например, в случае классификации голосование большинством или среднее значение вероятностей позволяет компенсировать ошибки отдельных моделей.

Ансамблевые методы особенно эффективны при решении задач регрессии и классификации — двух основных направлениях обучения с учителем. Они широко применяются в анализе больших данных, финансовой аналитике, медицине, компьютерном зрении и других областях, где требуется высокая точность прогнозов. Существует несколько подходов к построению ансамблевых моделей, среди которых можно выделить три наиболее распространённых: бэггинг, бустинг и стекинг.

Метод бэггинга, что является сокращением от Bootstrap Aggregating, был предложен Лео Брейманом в 1996 году как способ снижения дисперсии прогноза за счёт усреднения нескольких независимых моделей. Идея заключается в том, чтобы из исходного набора данных случайным образом с возвращением формировать множество обучающих выборок, на каждой из которых обучается одна и та же базовая модель, например, дерево решений. Все обученные модели затем участвуют в финальном предсказании: для задач регрессии используется усреднение, а для классификации — голосование. Такое разнообразие обучающих выборок обеспечивает разнообразие в базовых моделях, что помогает снизить общую дисперсию ансамбля. Наиболее известным представителем этого класса является алгоритм Random Forest, который дополнительно вводит стохастичность в процесс построения деревьев за счёт случайного выбора признаков на каждом шаге.

Рисунок 1.4 — Алгоритм метода бэггинга

Если бэггинг направлен на снижение дисперсии, то бустинг, напротив, стремится уменьшить смещение (bias) модели. Этот метод представляет собой последовательное построение моделей, каждая из которых корректирует ошибки предыдущих. Основной принцип заключается в том, чтобы уделять больше внимания тем данным, которые были плохо предсказаны ранее. Процесс начинается с обучения первой модели на всей выборке, после чего вычисляются ошибки предсказаний. Новые модели добавляются с акцентом на объекты, которые были плохо предсказаны, а финальный прогноз строится как взвешенная сумма прогнозов всех моделей. Первым успешным алгоритмом бустинга стал AdaBoost, в котором веса объектов изменялись после каждой итерации. Однако наибольшее развитие получил метод Gradient Boosting, использующий градиентный спуск для минимизации функции потерь. Современные реализации, такие как XGBoost, LightGBM и CatBoost, включают дополнительные механизмы оптимизации, регуляризации и работы с категориальными данными, что делает их одними из самых мощных инструментов в машинном обучении.

Рисунок 1.5 — Алгоритм метода бустинга

Стекинг, в свою очередь, представляет собой наиболее гибкий и часто наиболее сложный ансамблевой подход. Он заключается в использовании нескольких различных базовых моделей, таких как деревья решений, логистическая регрессия, SVM и другие, которые предварительно обучаются на одном и том же наборе данных. Прогнозы этих моделей затем используются как входные признаки для второй модели — мета-модели, которая уже формирует окончательный прогноз. Процесс работы стекинга включает этапы разделения данных на обучающую и валидационную выборки, обучения базовых моделей, получения их предсказаний и дальнейшего использования этих значений как новых признаков для обучения мета-модели. Затем финальный ансамбль обучается на всей выборке. Стекинг позволяет комбинировать силы разных типов моделей, что может привести к существенному улучшению качества прогноза, однако требует аккуратной настройки и защиты от переобучения.

Рисунок 1.6 — Алгоритм метода стекинга

Каждый из этих подходов имеет свои уникальные преимущества и ограничения. Бэггинг отличается высокой устойчивостью к шуму и выбросам, а также возможностью параллельного обучения, что положительно сказывается на скорости. Однако его вычислительная стоимость может быть высокой, особенно при большом числе базовых моделей. Бустинг, напротив, демонстрирует очень высокую точность, особенно при правильной настройке, но склонен к переобучению и чувствителен к качеству данных. Кроме того, последовательное обучение замедляет процесс. Стекинг предлагает максимальную гибкость и адаптивность, позволяя комбинировать самые разные модели, но он также самый сложный в настройке и требует значительных вычислительных ресурсов.

Выбор конкретного метода зависит от характера задачи, размерности данных, наличия шума, требований к интерпретируемости и времени обучения. Ансамблевые методы нашли широкое применение в реальных задачах машинного обучения: от финансового анализа и медицинской диагностики до рекомендательных систем и обработки естественного языка. Особенно заметно доминирование ансамблей в соревнованиях Kaggle, где они регулярно занимают призовые места благодаря своей способности достигать высокой точности при правильной настройке.

Современные библиотеки, такие как Scikit-learn, XGBoost, LightGBM и CatBoost, предоставляют удобные инструменты для реализации ансамблевых моделей, что делает их доступными даже для начинающих специалистов. При этом ансамблевые методы остаются активной областью исследований, в рамках которой продолжают развиваться гибридные подходы, методы оптимизации и автоматической настройки параметров.

Таким образом, ансамблевые методы играют ключевую роль в современном машинном обучении благодаря своей способности значительно повышать качество прогноза за счёт использования комбинированного потенциала нескольких моделей. Их эффективность основана на принципе коллективного принятия решений, позволяющем объединять слабые модели в более сильный целостный алгоритм. Выбор конкретного метода зависит от характера задачи, размерности данных, наличия шума, требований к интерпретируемости и времени обучения. Правильное сочетание бэггинга, бустинга и стекинга может привести к значительному улучшению качества прогноза и сделать модель действительно конкурентоспособной.