УДК 004

Саетова Лилия Геннадьевна

Аспирант

Ижевский государственный технический университет имени М.Т. Калашникова

Ижевск, Россия

Горохов Михаил Михайлович

Доктор физико-математических наук, профессор

Кафедра «Информационные системы»

Ижевский государственный технический университет имени М.Т. Калашникова

Ижевск, Россия

НЕЙРОННАЯ СЕТЬ И РЕГРЕССИЯ: ОПИСАНИЕ ЛИНЕЙНОЙ РЕГРЕССИИ В НЕЙРОННЫХ СЕТЯХ

NEURAL NETWORK AND REGRESSION: A DESCRIPTION OF LINEAR REGRESSION IN NEURAL NETWORKS

Аннотация

В данной статье рассматривается нейронная сеть как способ построения модели для решения таких задач, как установление зависимости и дальнейшего прогнозирования. Обычно для установления зависимости в математике применяется метод регрессии, т. е. метод нахождения зависимых переменных от независимых с помощью заданной функции. В нейронной сети линейная регрессия находит зависимость между входным и выходным сигналом или данными.

При этом применение нейронной сети для решения задачи регрессии не задает конкретный тип нейронной сети, т. е. возможно применение и линейной сети, и многослойного персептрона, и обобщенной регрессионной сети, выбор зависит от решаемой задачи.

В данной статье рассматривается сама нейронная сеть как способ определения зависимости и возможные функции активации, применяемые при работе нейронной сети, такие как ступенчатая, линейная, сигмоидная, гиперболический тангенс, функция ReLu.

В статье также представлены этапы построения нейронной сети для решения задач линейной регрессии. Установление зависимости между данными необходимо для их анализа и дальнейшего прогнозирования развития. Таким образом, можно представить линейную регрессию в нейронных сетях как модель, которая помогает продолжить ряд данных, установив зависимость между ними.

Abstract

This article discusses a neural network as a way to build a model for solving problems such as establishing dependence and further forecasting, usually the regression method is used to establish dependence in mathematics, i.e. method of finding dependent variables from independent ones using a given function. In a neural network, linear regression finds the relationship between an input and an output signal or data.

At the same time, the use of a neural network for solving the regression problem does not specify a specific type of neural network, i.e. it is possible to use a linear network and a multilayer percept and a generalized regression network, the choice depends on the problem being solved.

This article discusses the neural network itself as a way to determine dependence, and possible activation functions used in the operation of a neural network, such as stepwise, linear, sigmoid, hyperbolic tangent, ReLu function.

This article also presents the stages of building a neural network for solving linear regression problems. Establishing a relationship between data is necessary for their analysis and further forecasting of development. Thus, one can imagine linear regression in neural networks as a model that helps to continue a series of data by establishing a relationship between them.

Ключевые слова:

нейронная сеть, регрессия, линейная регрессия, линейная функция активации, сигмоидная функция активации, гиперболический тангенс, функция ReLu

Keywords:

neural network, regression, linear regression, linear activation function, sigmoid activation function, hyperbolic tangent, ReLu function

Введение

В современном мире сфер применения нейронных сетей большое количество. В науке, экономике и других областях всегда присутствует такая задача, как нахождение связи между данными. Для ее решения обычно применяется модель регрессии. Самая простая из ее видов это линейная регрессия. Цель исследования – рассмотреть нейронную сеть как способ построения регрессионной модели и дальнейшего прогнозирования.

Основные понятия и определения

Искусственная нейронная сеть является моделью, состоящей из выходного, входного и скрытого слоев, все слои состоят из простейших элементов нейронов.

Нейронные сети состоят из следующих элементов:

  1. Входной сигнал – сигнал, поступающий из внешней среды или другого нейрона, состоит из входных нейронов [1];
  2. Весовой коэффициент – определяет значение силы связи между нейронами;
  3. Функция активации – зависимость, преображающая входной сигнал;
  4. Выходной сигнал – преобразованное значение входного сигнала.

Модель и работа нейронной сети

Нейронная сеть может быть однослойной и многослойной в зависимости от количества нейронных слоев. Однослойная нейронная сеть представляет собой сеть, в которой входной сигнал проходит только через входной слой, напрямую поступая к выходному слою. Многослойная нейронная сеть представляет собой нейронную сеть, состоящую из входного, выходного и промежуточных слоев, т. е. каждый нейрон сгруппирован в слои, которые связаны между собой нейронами [2], т. е. каждый нейрон на одном слое связан с каждым нейроном на другом слое.

Схематичная модель многослойной нейронной сети представлена на рис. 1.

Многослойная нейронная сеть

Рис. 1. Вид многослойной нейронной сети

Работа в нейронной сети происходит следующим образом: входной сигнал поступает на входной слой, затем его значения распределяются по весам и поступают на скрытые слои, в которых происходит вычисление, и в конце нейроны поступают на выходной слой, формируют выходной вектор [3]. При этом для выбора весовых коэффициентов нейронная сеть должна пройти обучение.

Пусть входной сигнал Xi = (x1, …, xm), а wi = (w1, …, wm) – веса входного сигнала. Тогда математическое выражение нейронной сети можно представить в следующем виде:

y = f(ui),
ui = Σ wixi + bi

где bi – порог активации; f(ui) – передаточная функция или функция активации, т. е. функция, которая получает на входе сумму всех произведений весов и сигналов и выдает сигнал на выходе [4].

Можно представить следующую модель нейрона (рис. 2).

Математическая модель нейрона

Рис. 2. Математическая модель нейрона

Функции активации

Функция активации является элементом нейронной сети, ее выбор диктуется необходимыми функциональными возможностями нейронной сети. Выделяют следующие функции активации:

  1. Ступенчатая – пороговая функция активации, значение функции сравнивается с пороговым значением [5], т. е. если функция равна единице, то нейрон активирован. Данный вид функции не подходит для классификации, когда классификаторов больше двух, иными словами, функцию можно применять для бинарной классификации.
  2. Линейная – функция, графиком которой является прямая, значение пропорционально аргументу функции [6]. Позволяет соединить несколько нейронов; если активированы больше одного, то выбирается максимальное значение. Можно применять при большом количестве классификаторов. Область определения не ограничена, поэтому не применяется, если выходное значение определено интервалом. Недостатком является невозможность применения метода обратного распространения ошибок, т. к. производная функции активации константа и не зависит от входных значений, также данную функцию бессмысленно применять для многослойных нейронных сетей.

    3. Функция имеет следующий вид:

    f(u) = a·u
  3. Сигмоидная – непрерывная функция, на входе принимает вещественные числа, а на выходе дает число [0, 1], где значение ноль говорит об отсутствии активации, а единица – о полной активации [7]. Возможно применять для многослойных сетей. Недостатком такой функции является то, что на участках, где функция принимает значения ноля или единицы, градиент будет приближаться к нулю, что означает слабую связь между изменением f(u) от u, т. е. нейронная сеть начинает слабо обучаться или перестает обучаться совсем.

    4. Сигмоидная функция:

    f(u) = 1 / (1 + e-u)
  4. Гиперболический тангенс – по свойствам напоминает сигмоидную функцию, отличие в том, что данная функция работает на отрезке от минус единицы до единицы.

    5. Функция гиперболического тангенса:

    f(u) = tanh(u) = (eu - e-u) / (eu + e-u)
  5. Функция ReLu – выпрямленная линейная функция активации, функция возвращает значение аргумента, если данное значение не отрицательно, иначе значение функции равняется нулю [8]. Недостатком является ненадежность в процессе обучения, что может привести к неактивности сети, т. е. нейрон выйдет из строя и прекратит обучение.

    6. Функция имеет вид:

    f(u) = max(0, u)

Количество нейронов при применении данной функции в обучении меньшее, чем при применении функций гиперболического тангенса и сигмоидной, соответственно, сеть тоже становится легче.

Обучение нейронной сети

При обучении нейронной сети происходит процесс корректировки весовых коэффициентов и порогов нейрона, для данного процесса задается выборка обучающих данных, в процессе обучения нейронная сеть корректирует ответы, приближая их к верным результатам.

Подход к процессу обучения происходит следующим образом: оцениваются обучающие данные нейронной сетью, и задается некоторое количество из этих данных для определения точности вычислений. Затем определяется количество нейронов в каждом слое. После этого идет процесс обучения: во входном слое присваиваются значения всем весам, затем вычисляются выходные значения для каждого обучающего варианта и их ошибка, так происходит для каждого значения обучающей выборки, затем для минимизации ошибки обновляются веса. Обучение завершается, как только достигается заданная точность.

Линейная регрессия в нейронной сети

Нейронная сеть является многофункциональным методом прогнозирования. Так, она может выявлять взаимосвязи между процессами. В математике и статистике для выявления зависимости между данными используется регрессорная зависимость, которая может быть как линейной, так и логистической (нелинейной), которая накладывает ограничения значений в виде отрезка от нуля до единицы.

Общую модель решения задачи линейной регрессии в нейронной сети можно представить в следующем виде:

  1. генерируются элементы данных, необходимых для обучения модели;
  2. создается нейронная сеть, содержащая входной, выходной и скрытые слои;
  3. задается функция активации для скрытого слоя;
  4. начинается обучение нейронной сети, т. е. находятся коэффициенты весов, которые дадут более верные результаты, построенные на известных результатах обучающей выборки;
  5. выдаются выходные значения;
  6. оценивается модель.

В линейной регрессии нейронной сети в большинстве случаев бывает несколько входных узлов и один выходной узел.

Анализ результатов

Линейная модель в нейронных сетях представляет собой сеть, не содержащую в себе скрытых слоев, и элементы с линейной функцией активации на выходном слое, где выходной сигнал показывает ожидаемое значение модели, в которой учитывается плотность распределения данных.

Вывод

Таким образом, для применения линейной модели регрессии в нейронных сетях нужно загрузить данные, создать модели и приспособить ее к имеющимся уже данным, проверить результат и достоверность модели и применить данную модель для прогнозирования.

Список использованных источников и литературы

  1. Иванова, Ю. В. Нейронные сети и регрессионный анализ как метод прогнозирования временных рядов / Ю. В. Иванова, Т. В. Черемисова // Academy. – 2017. – № 6 (21). – С. 46–48.
  2. Благодатский, Г. А. Нейронные сети как способ моделирования процессов / Г. А. Благодатский, М. М. Горохов, Л. Г. Саетова // Социально-экономическое управление: теория и практика : науч.-практ. журн. – 2020. – № 4. – С. 60–64.
  3. Щенников, В. Н. Сравнение моделей с нейронной сетью и OLS-регрессией при построении стратегии управления риском дохода по индексу / В. Н. Щенников, Е. В. Щенникова, С. А. Санников // Вестник МГУ. – 2017. – № 1. – С. 12–20.
  4. Санников, С. А. Нейронные сети в задачах расчета цен опционов фондовых рынков // Вестник МГУ. – 2017. – № 1. – С. 21–26.
  5. Ярушев, С. А. Когнитивные гибридные системы поддержки принятия решений и прогнозирования / С. А. Ярушев, А. Н. Аверкин, В. Ю. Павлов // Программные продукты и системы. – 2017. – № 4. – С. 632–642.
  6. Горохов, М. М. Статистические методы анализа и обработки информации: нейронные сети / М. М. Горохов, Л. Г. Саетова // Социально-экономическое управление: теория и практика : науч.-практ. журн. – 2018. – № 4. – С. 192–195.
  7. Мусин, А. Р. Экономико-математическая модель прогнозирования динамики финансового рынка // Статистика и экономика. – 2018. – № 4. – URL: https://cyberleninka.ru/article/n/ekonomiko-matematicheskaya-model-prognozirovaniya-dinamiki-finansovogo-rynka (дата обращения: 19.12.2020).
  8. Якупов, Д. Т. Перспективы применения искусственных нейронных сетей для прогнозирования объемов грузоперевозок в транспортных системах / Д. Т. Якупов, О. Н. Рожко // Статистика и экономика. – 2017. – № 5. – С. 49–60.

Саетова Лилия Геннадьевна – аспирант Ижевского государственного технического университета имени М.Т. Калашникова, Ижевск, Россия.

Горохов Михаил Михайлович – доктор физико-математических наук, профессор кафедры «Информационные системы» Ижевского государственного технического университета имени М.Т. Калашникова, Ижевск, Россия.