УДК 004.8
Нигамадянов Фанис Магефурович, студент, Казанский национальный исследовательский технический университет им. А.Н. Туполева – КАИ
Арутюнова Наталья Константиновна, кандидат физико-математических наук, доцент кафедры прикладной математики и информатики, Казанский национальный исследовательский технический университет им. А.Н. Туполева – КАИ
Аннотация. В данной статье рассматривается принцип работы LSTM (Long Short-Term Memory) - одного из ключевых алгоритмов глубокого обучения, используемого для анализа и прогнозирования временных рядов. LSTM является вариантом рекуррентной нейронной сети (RNN), способной эффективно моделировать долгосрочные зависимости в данных. В статье подробно изучаются основные компоненты LSTM, такие, как вентили (gates) и ячейка памяти, и объясняется их роль в обработке последовательных данных. Также обсуждается применение LSTM в виде прогнозирования временных рядов. Понимание принципов работы LSTM необходимо для исследователей и практиков, стремящихся применить этот метод в своих проектах.
Ключевые слова: LSTM, глубокое обучение, временные ряды, рекуррентные нейронные сети, прогнозирование, машинное обучение
Введение
Временные ряды – это последовательность данных, собранных в разные периоды времени. К таким данным можно отнести цену определенной акции, ежедневные или ежечасные данные о температуре в определенном месте. Ежедневные расходы и доходы также представимы в виде временного ряда. Становится очевидно, что временные ряды применяются в самых различных сферах жизнедеятельности человека таких, как финансы, экономика, климатология, производство и много другое [5].
Представление данных в виде временного ряда может быть практически очень полезно в следующих случаях:
Существуют немало моделей прогнозирования временных рядов. Одной из самых популярных из них является модель LSTM, основанная на машинном обучении, рассмотрению которой посвящена данная статья.
Основная часть
Рекуррентные нейронные сети (RNN) являются мощным инструментом для работы с последовательными данными, в том числе и с временными рядами. Однако классические RNN сталкиваются с проблемой исчезающего градиента (vanishing gradient), когда обучение становится затруднительным из-за того, что информация о далеком прошлом оказывается забытой. Говоря более детально, исчезающий градиент – это случай, когда градиенты, передаваемые обратно через слои сети во время обратного распространения ошибки, становятся слишком малыми. Это означает, что веса в более ранних слоях сети обновляются очень медленно или вообще не обновляются, что может привести к тому, что эти слои не обучаются должным образом. Например, при обработке естественного языка (NLP – Natural Language Processing) бывает очень важно запоминать широкий контекст, т.к. присутствует долгосрочная зависимость между словами или символами в предложении или документе [1].
Решением этой проблемы выступает нейронная сеть LSTM (Long Short-Term Memory), которая способна сохранять информацию на протяжении длинных временных интервалов.
Основная идея LSTM состоит в том, чтобы ввести специальную структуру, называемую ячейкой памяти (memory cell), которая может хранить информацию на протяжении долгого времени и выбирать, какую информацию сохранять, а какую забывать. Прямоугольники, обозначенные буквами «А» (центральный в том числе), – это так называемые ячейки памяти нейронной сети LSTM (рисунок 1) [2].
LSTM использует три типа ворот (или вентилей), которые позволяют регулировать поток информации в узлах памяти:
Благодаря наличию верхней «трубы» (рисунок 2) LSTM-блок имеет возможность сохранять и передавать долгосрочный контекст дальше по рекурсии [4]. За забывание неважных данных отвечает поэлементное умножение, а за запоминание новых важных данных отвечает поэлементное сложение [4].
Заключение
В данной статье рассмотрен принцип работы LSTM, который представляет собой мощный инструмент в арсенале методов машинного обучения для анализа и прогнозирования временных рядов. Было рассмотрено, как LSTM способен контролировать поток информации с помощью вентилей, решая проблему затухания градиентов. LSTM отличается от других алгоритмов своей способностью к эффективной обработке долгосрочных зависимостей в последовательных данных. Изучены основные компоненты LSTM, такие, как вентили и ячейка памяти, проанализирован их вклад в обработку информации.
Список источников