К научным трудам

Источник: Сборник статей в журнале «Молодежь. Общество. Современная наука, техника и инновации». — 2021. — № 20. — С. 261-263.


УДК 004.8

РАЗРАБОТКА ИСКУССТВЕННОЙ НЕЙРОННОЙ СЕТИ ДЛЯ КЛАССИФИКАЦИИ ТЕКСТА ПО КАТЕГОРИЯМ

Тахтай О. А.1, Брюханова Т. В.2

Научный руководитель – Козлова Ю. Б.1

Руководитель по иностранному языку – Шелихова С. В.1

1 - Сибирский государственный университет науки и технологий имени академика М. Ф. Решетнева, Российская Федерация, г. Красноярск

2 - Сибирский федеральный университет, Российская Федерация, г. Красноярск

Предполагается проектный подход для решения задач классификации текста по категориям. Рассматривается актуальность данной проблемы и преимущества работы российских вузов с выпускниками. Рассматривается проектный подход к созданию искусственной нейронной сети.

Ключевые слова: нейронная сеть, глубокое обучение, задача классификации.

Искусственные нейронные сети (ИНС) – это математические модели, а также их программные или аппаратные реализации, построенные по принципу организации и функционирования биологических нейронных сетей - сетей нервных клеток живого организма. После разработки алгоритмов обучения полученные модели стали использоваться в практических целях: в задачах прогнозирования, для распознавания образов, в задачах управления и т.д.

ИНС представляют собой систему взаимосвязанных и взаимодействующих простых процессоров (искусственных нейронов). Такие процессоры обычно довольно просты, особенно по сравнению с процессорами, используемыми в персональных компьютерах.

Нейронные сети не программируются в обычном смысле этого слова, они обучаются. Обучение - одно из главных преимуществ нейронных сетей перед традиционными алгоритмами. Технически обучение заключается в нахождении коэффициентов связей между нейронами. В процессе обучения нейронная сеть способна выявлять сложные зависимости между входными и выходными данными, а также выполнять обобщение. Это означает, что в случае успешного обучения сеть сможет вернуть правильный результат на основе данных, которые отсутствовали в обучающей выборке, а также неполных и/или “зашумленных”, частично искаженных данных.

Актуальность исследований в этом направлении подтверждается массой различных применений нейронных сетей. Это автоматизация процессов распознавания образов, адаптивное управление, аппроксимация функционалов, прогнозирование, создание экспертных систем, организация ассоциативной памяти и многие другие приложения. С помощью нейронных сетей можно, например, прогнозировать динамику фондового рынка, осуществлять распознавание оптических или звуковых сигналов, создавать самообучающиеся системы, способные управлять автомобилем при парковке или синтезировать речь из текста.

Сегодня ведущие российские университеты активно работают с выпускниками вузов. Известные, успешные выпускники приглашаются университетами для встреч со студентами, чтобы мотивировать следующее поколение. Многие успешные выпускники после окончания школы поступают в аспирантуру и продолжают преподавательскую карьеру в университетах. Но потенциал для сотрудничества с выпускниками гораздо шире.

Активное взаимодействие с выпускниками уже давно стало обычной практикой во многих зарубежных университетах. Их опыт показывает, что имидж учебного заведения напрямую зависит от отзывов выпускников и является эффективным инструментом привлечения абитуриентов.

В современном мире IT-сфера постоянно развивается, она не стоит на месте. Каждый день появляются новые языки программирования, фреймворки, оборудование. Придя к работодателю, выпускники сталкиваются с новыми требованиями и знаниями, необходимыми для хорошей и хорошо оплачиваемой работы. Проблема в том, что навыки, приобретаемые выпускниками, отличаются от современных требований работодателя.

Исследуемая тема актуальна, поскольку организация обратной связи очень полезна в обоих направлениях: для выпускников – это способ организовать и использовать свои профессиональные и социальные связи, найти нужных им людей и развить контакты, для вуза – привлечение большего количества абитуриентов, актуальная информация о требованиях к поступающим работодатели на рынке труда.

Получаемая информация очень объемна. Работа с большим объемом информации - трудоемкий процесс; чтобы упростить его, было предложено классифицировать информацию, полученную от выпускников.

Задача состоит в том, чтобы разработать нейронную сеть, позволяющую классифицировать текст. В качестве языка программирования для реализации был выбран Python, а в качестве среды разработки - онлайн-сервис Google Colab. Обучающий набор данных (датасет) выбирается исходя из предметной области, в которой будет использоваться проектируемая глубокая сеть.

Проектируемая сеть имеет многослойную структуру персептрон (MLP), которая называется простыми нейронными сетями прямого действия, а иногда и просто нейронными сетями. Многослойные персептроны успешно используются для решения задач классификации и обладают следующими тремя отличительными особенностями:

  1. Каждый нейрон в сети имеет нелинейную функцию активации.
  2. Один или несколько скрытых слоев.
  3. Высокая связность.

Нейронная сеть состоит из:

  1. Входного слоя – 1000 нейронов (количество слов).
  2. Одного скрытого слоя, состоящего из 512 нейронов.
  3. Выходного слоя – 5 нейронов (5 классов).

В процессе написания программы было проведено сравнение для получения оптимального результата обучения по количеству нейронов на скрытом слое. Обучение происходит с использованием метода обратного распространения. Обратное распространение - это очень эффективный с точки зрения вычислений подход к вычислению производных сложной функции затрат.

Была запущена нейронная сеть, протестирована точность обучения и прогнозирования, эта сеть была реализована с использованием графического вывода данных об успешности обучения для каждого выходного класса классификатора; точность прогнозирования классов варьируется в пределах 93 %. В ходе тестирования производительность программы была оценена положительно.

Список литературы

  1. Арефьев А. Международный рынок образовательных услуг и российские вузы (статья первая) // Высшее образование в России, 2008. № 2. – с. 144 – 157.
  2. Этапы построения модели корпоративного хранилища (этапы моделирования корпоративного хранилища) [Электронный ресурс]: https://www.prj-exp.ru/dwh/stages_of_model_development.php (дата обращения: 21.11.2020).
  3. Макшанов, А. В. Технологии интеллектуального анализа данных: Учебное пособие / А. В. Макшанов, А.Е. Журавлев. – СПб.: Лань, 2018. – с. 104-107.
  4. Кислова О. Н., Сокурянская Л. Г. Методология интеллектуального анализа данных: перспективы / применения в исследовании ценностных ориентаций студенчества – М.: 2010. стр. 87.
  5. Средства интеллектуального анализа объектных данных (значение интеллектуального анализа данных) – Рынок программных средств, 2013, СПб. – С.217-218.