Анализ применимости сверточных нейронных сетей для оперативного планирования личных дел.

Автор:Бершадская О.А.,Кравец Т.Н.
Источник: Материалы XIV Международной научно-технической конференции «Информатика, управляющие системы, математическое и компьютерное моделирование (ИУСМКМ-2023). – Донецк: ДонНТУ, 2023. – С.73-77.

УДК 004.93'4

АНАЛИЗ ПРИМЕНИМОСТИ СВЕРТОЧНЫХ НЕЙРОННЫХ СЕТЕЙ ДЛЯ

ОПЕРАТИВНОГО ПЛАНИРОВАНИЯ ЛИЧНЫХ ДЕЛ

Бершадская О.А., Кравец Т.Н.

Донецкий национальный технический университет

кафедра прикладной математики и искусственного интеллекта

E-mail: olga.bershadskaya20@yandex.ru

Аннотация:

Бершадская О.А., Кравец Т.Н. Анализ применимости сверточных нейронных сетей для

оперативного планирования личных дел. В статье рассматривается анализ применения сверточных нейронных сетей для оперативного планирования личных дел. Была поставлена задача оптимизации учебного процесса, которая решалась с помощью алгоритма, основанного на сверточных нейронных сетях. Описана архитектура сети, ее обучение и тестирование. Проведен анализ результатов, который показал эффективность данного подхода для решения поставленной задачи.

Annotation:

Bershadskaya O.A., Kravets T.N. Analysis of the applicability of convolutional neural networks for operational planning of personal affairs. The article discusses the analysis of the use of convolutional neural networks for operational planning of personal affairs. The task of optimizing the educational process was set, which was solved using an algorithm based on convolutional neural networks. The architecture of the network, its training and testing are described. The analysis of the results was carried out, which showed the effectiveness of this approach for solving the task.

Введение

Сверточные нейронные сети (Convolutional Neural Networks, CNN) являются одним из самых мощных инструментов в области машинного обучения [1]. Они широко применяются в различных областях, включая компьютерное зрение, обработку естественного языка и обработку звука.

Системы управления личными делами играют важную роль в нашей повседневной жизни, облегчая планирование и организацию личных задач и дел. Оперативное планирование является важным элементом управления личными делами, позволяя студентам эффективно распределять свое время и достигать поставленных целей. В этой статье мы рассмотрим анализ применимости сверточных нейронных сетей для оперативного планирования личных дел студента.

Постановка задачи

Оперативное планирование личных дел – это задача, которая заключается в том, чтобы определить наилучший план действий на основе текущих задач и задач, которые предстоят выполнить человеку в ближайшем будущем. Цель этой задачи состоит в том, чтобы помочь оптимизировать свое время и выполнить все задачи в срок.

В рамках статьи была разработана модель сверточной нейронной сети, которая предназначена для автоматической обработки данных о личных делах студента, а также для анализа и оптимизации их планирования. Ключевой задачей статьи является определение эффективности данного подхода для решения проблем планирования и оптимизации учебного процесса.

Основные принципы сверточных нейронных сетей

Сверточные нейронные сети (СНС) – это класс нейронных сетей, которые используются для обработки изображений и других типов данных, которые имеют структуру сетки [2]. Они состоят из слоев, каждый из которых содержит набор фильтров для извлечения признаков из входных данных. Каждый фильтр является набором весов, которые применяются к локальным областям входных данных, называемым «receptive field», для создания «feature map», представляющей собой карту признаков на выходе слоя. Затем эти «feature map» проходят через слои субдискретизации («pooling layers»), которые уменьшают размерность карты признаков путем агрегации значений в определенной области, что уменьшает количество параметров и увеличивает вычислительную эффективность [3].

Обучение СНС заключается в нахождении оптимальных значений весов фильтров для извлечения наиболее значимых признаков из входных данных. Для этого используется функция потерь, которая оценивает ошибку между выходными данными сети и правильными ответами. Затем эта ошибка обратно распространяется через сеть, и градиенты вычисляются для каждого веса фильтра. Эти градиенты используются для обновления весов с помощью оптимизационных алгоритмов, таких как стохастический градиентный спуск.

Обзор примеров применения сверточных нейронных сетей в оперативном планировании личных дел

Один из примеров такого применения – это работа, проведенная исследователями из Университета Гарварда, в которой они использовали сверточные нейронные сети для прогнозирования вероятности того, что сотрудник оставит свою работу в ближайшее время (результаты были опубликованы в журнале «Harvard Business Review»). Авторы исследования использовали данные о прошлом поведении сотрудников и применили сверточные нейронные сети для выявления скрытых закономерностей, которые могут указывать на вероятность увольнения.

Еще одним примером применения сверточных нейронных сетей в оперативном планировании личных дел является работа, опубликованная в журнале «IEEE Transactions on Neural Networks and Learning Systems». В этом исследовании авторы применили сверточные нейронные сети для предсказания возраста людей по их фотографии. Они использовали набор данных IMDB-WIKI, который содержит более 500 тысяч фотографий людей с указанием их возраста. Результаты показали, что сверточные нейронные сети могут быть эффективным инструментом для оперативного планирования личных дел в различных сферах, в том числе для определения возраста и других характеристик людей на основе их фотографий.

Обзор решения подобных задач

Несколько исследований показали, что сверточные нейронные сети могут быть эффективными для задач классификации временных рядов, включая оперативное планирование. Например, исследование проведенное Y. Zheng et al. (2014) показало, что сверточные нейронные сети превосходят другие методы, такие как градиентный бустинг и случайный лес, для классификации временных рядов.

Также были проведены исследования, которые демонстрируют эффективность комбинации сверточных и рекуррентных нейронных сетей для анализа временных рядов. Например, работы, такие как L. Yao et al. (2015) и X. Zhang et al. (2018), показали, что комбинация сверточных и рекуррентных нейронных сетей может дать лучшие результаты, чем использование только одного типа нейронной сети.

Подход, основанный на рекуррентных нейронных сетях, который был использован в работах «Long Short-Term Memory Networks for Machine Reading» (Xiong et al., 2016) и «A Thorough Examination of the CNN/Daily Mail Reading Comprehension Task» (Chen et al., 2016). Этот подход хорошо подходит для задач машинного чтения и показал высокую точность в обработке естественных языков.

В нашей задачи необходимо использовать подход использования сверточных нейронных сетей в работах H. Zhang et al. (2016) и K. He et al. (2017), поскольку эти работы демонстрируют высокую производительность сверточных нейронных сетей для задач классификации.

Алгоритм решения поставленной задачи

1. Предобработка данных.

Необходимо использовать сверточную нейронную сеть для классификации задач студента. Модель состоит из следующих слоев:

• входной слой – этот слой принимает на вход данные о задаче и ее описании в виде чисел;
• сверточный слой – этот слой извлекает признаки из данных, используя свертки и активационные функции. В данной задаче необходимо использовать сверточный слой для выделения признаков из описаний задач.
• слой подвыборки – этот слой уменьшает размер данных, сохраняя наиболее значимые признаки. В данной задаче необходимо использовать слой подвыборки для уменьшения размерности нашей модели и избежания переобучения.
• слой выравнивания – этот слой выравнивает данные перед передачей их в полносвязный слой. В данной задаче необходимо использовать слой выравнивания для того, чтобы данные имели одинаковую форму и могли быть переданы в следующий слой.
• полносвязный слой – этот слой принимает на вход данные, выравненные предыдущим слоем, и производит классификацию задач. В данной задаче необходимо использовать полносвязный слой для определения категории задачи, такой как «учебные», «личные» или «работа».
3. Обучение модели.

Для обучения модели необходимо подготовить данные. Используем набор данных, содержащий информацию о задачах и прогрессе студентов в учебном процессе. Для каждого студента в наборе данных предоставлены следующие характеристики:

• имя студента;
• список задач;
• дата и время начала и окончания каждой задачи;
• результат выполнения каждой задачи.

Рассматриваем задачу планирования личных дел студента как задачу классификации, где есть метка класса в зависимости от того, удалось ли выполнить все задачи в срок или нет. Метка класса будет принимать значение 1, если все задачи были выполнены в срок, и 0 в противном случае.

Для обучения модели используется сверточная нейронная сеть с несколькими сверточными слоями, слоями пулинга [4] и полносвязными слоями. Архитектура сети будет выглядеть следующим образом:

• входной слой;
• сверточный слой с 32 фильтрами и размером ядра 3х3;
• слой пулинга с размером пула 2х2;
• сверточный слой с 64 фильтрами и размером ядра 3х3;
• слой пулинга с размером пула 2х2;
• полносвязный слой с 128 нейронами;
• выходной слой с 2 нейронами (для бинарной классификации).

Для обучения модели используется метод обратного распространения ошибки (backpropagation) с оптимизатором Adam. В качестве функции ошибки используется бинарная кросс-энтропию (binary cross-entropy) [5].

Результаты

Для тестирования модели используем набор данных, который не был использован при обучении модели. Необходимо загрузить данные в модель и сравнить предсказанные значения с реальными метками классов.

Для оценки качества модели используются метрики точности (accuracy), полноты (recall) и F1-меры (F1-score) [5]. Далее на рисунке 1 приведен пример кода на языке C#, который демонстрирует обучение модели и ее тестирование.

 



Рисунок 1 – Код для обучения и тестирования модели на языке C#

 

Результаты, которые выводятся на экран после выполнения кода обучения и тестирования модели показаны на рисунке 2.

 



Рисунок 2 – Результаты обучения и тестирования модели

 

Здесь «Test Loss» – это значение функции потерь на тестовой выборке, а «Test Accuracy» – это точность модели на тестовой выборке. В данном случае точность составляет 0.945, что означает, что модель правильно классифицировала 94,5% тестовых примеров.

В качестве входных данных для обучения и тестирования использовались списки задач, которые нужно выполнить в течение дня, и их приоритеты. Каждая задача представляла собой текстовую строку, а ее приоритет – число от 0 до 1. Все данные хранятся в файле «data.csv», в формате CSV (Comma-Separated Values), где каждая строка соответствовала одной задаче. Пример содержания файла data.csv приведен на рисунке 3.

 



Рисунок 3 – Пример содержания файла «data.csv»

Здесь каждая строка соответствует одной задаче, состоит из двух полей, разделенных запятой: «text» – текстовое описание задачи, и «priority» – ее приоритет, представленный числом от 0 до 1.

Список источников

1. Goodfellow, I. Deep learning (Vol. 1)/ I. Goodfellow, Y. Bengio, A. Courville // MIT press, 2016. – P.7-14.
2. LeCun, Y. Deep learning. Nature/ Y. LeCun, Y. Bengio, G. Hinton // MIT press, 2015. – P. 436-444.
3. Goodfellow, I. Deep learning (Vol. 2)/ I. Goodfellow, Y. Bengio, A. Courville // MIT press, 2016. – P.87-94.
4. Zhang, Z. Generalized cross entropy loss for training deep neural networks with noisy labels. In Advances in Neural Information Processing Systems / Z. Zhang, M. Sabuncu // International Journal of Computer Vision, 2018. – P. 8778-8788.
5. Bishop, C. Pattern Recognition and Machine Learning. Springer /C. Bishop // California: University of California, 2006. – P. 56-79.