ДонНТУ   Портал магистров

Надеждин Владислав Александрович

Факультет интеллектуальных систем и технологий

Кафедра автоматизированных систем управления

Направление: 09.04.02 «Информационные системы и технологии»

Профиль:«Информационные системы и технологии в технике и бизнесе»

Тема выпускной квалификационной работы магистра:«Информационная обучающая система с использованием нейронных сетей в сложных средах»

Руководитель ВКР: д.т.н., проф. Светличная В.А.

О себе Реферат Научные труды Индивидуальный раздел

ИНФОРМАЦИОННАЯ ОБУЧАЮЩАЯ СИСТЕМА С ИСПОЛЬЗОВАНИЕМ НЕЙРОННЫХ СЕТЕЙ В СЛОЖНЫХ СРЕДАХ

ВВЕДЕНИЕ

Современные вызовы, связанные с подготовкой специалистов для работы в сложных, недетерминированных средах — от управления технологическими системами и авиации до киберспортивного командного взаимодействия — выдвигают новые требования к системам обучения. Традиционные подходы, основанные на жёстко заданных сценариях и статичной обратной связи, демонстрируют свою ограниченность, так как не способны адаптироваться к индивидуальному стилю и темпу обучаемого, а также моделировать творческое, нелинейное поведение, характерное для реальных условий.

В этой связи применение методов искусственного интеллекта, в частности нейронных сетей и обучения с подкреплением, открывает новые перспективы для создания принципиально нового класса обучающих систем. Подобные системы способны эволюционировать в процессе взаимодействия с пользователем, выступая в роли интеллектуального наставника или динамичного оппонента, который не просто следует алгоритмам, а вырабатывает адаптивные стратегии в реальном времени. Это позволяет формировать у обучаемого навыки критического мышления, оперативного принятия решений и стратегического планирования в условиях высокой неопределённости и стресса.

Таким образом, разработка концепции и принципов построения информационной обучающей системы на основе нейронных сетей, способной к персонализированному взаимодействию в сложных динамических средах, представляется исключительно актуальной научно-практической задачей, лежащей на стыке информационных технологий, педагогики и исследований в области искусственного интеллекта.

АКТУАЛЬНОСТЬ РАЗРАБОТКИ АДАПТИВНЫХ ИНТЕЛЛЕКТУАЛЬНЫХ ОБУЧАЮЩИХ СИСТЕМ

В современном мире наблюдается устойчивый рост интереса к технологиям, способным персонализировать процесс обучения и тренировки сложных навыков в условиях, максимально приближенных к реальности [1]. Особенно остро эта задача стоит в областях, связанных с освоением деятельности в сложных динамических средах: от пилотирования и управления критическими системами до киберспортивной подготовки и тактического планирования. Традиционные обучающие системы и симуляторы часто основаны на жёстко заданных сценариях, что приводит к ряду фундаментальных ограничений: неспособности адаптироваться к индивидуальному темпу и стилю обучаемого, отсутствию «интеллектуальной» обратной связи и невозможности моделировать непредсказуемое поведение, характерное для реальных условий [2].

Исследования показывают, что эффективность обучения в таких средах напрямую зависит от способности системы генерировать актуальные вызовы, соответствующие текущему уровню навыков пользователя, и обеспечивать адаптивную поддержку [3]. В этом контексте применение методов искусственного интеллекта, в частности глубокого обучения и обучения с подкреплением, открывает путь к созданию принципиально нового класса информационных систем. Эти системы могут выступать в роли интеллектуального наставника или оппонента, который не просто воспроизводит заложенные алгоритмы, а динамически обучается и адаптируется в процессе взаимодействия с пользователем [4].

Таким образом, разработка архитектуры и методик построения подобных адаптивных обучающих систем является высокоактуальной междисциплинарной задачей, находящейся на стыке педагогики, человеко-машинного взаимодействия и современных компьютерных наук.

ЦЕЛЬ, ЗАДАЧИ И ОБЪЕКТ ИССЛЕДОВАНИЯ

Целью данного исследования является разработка концепции построения информационной обучающей системы на основе нейронных сетей, способной к адаптивному взаимодействию с пользователем в сложных динамических средах реального времени.

Объектом исследования выступают методы машинного обучения, архитектуры нейронных сетей и данные, необходимые для создания интеллектуального агента-наставника, функционирующего в условиях высокой неопределённости, частичной наблюдаемости и необходимости оперативного принятия решений.

Для достижения поставленной цели необходимо решить следующие задачи:

• провести анализ современных интеллектуальных обучающих систем и симуляторов, выявить их ключевые недостатки и сформулировать требования к адаптивной системе нового поколения;
• выполнить сравнительный анализ алгоритмов машинного обучения (обучение с подкреплением, имитационное обучение, гибридные подходы) с точки зрения их применимости для адаптивного взаимодействия с пользователем в реальном времени;
• сформулировать комплексные требования к данным для обучения и функционирования нейросетевой модели в выбранной сложной среде;
• определить ключевые метрики для оценки эффективности и адекватности поведения разрабатываемой нейросетевой обучающей системы;
• на основе проведённого анализа предложить общую архитектуру адаптивной информационной обучающей системы;

ОБЗОР И СРАВНИТЕЛЬНЫЙ АНАЛИЗ СУЩЕСТВУЮЩИХ ОБУЧАЮЩИХ СИСТЕМ И СИМУЛЯТОРОВ

Современный рынок и научная мысль предлагают множество решений в области обучающих систем. К ним относятся профессиональные симуляторы (авиационные, медицинские), игровые тренажёры, платформы для электронного обучения (LMS) с элементами адаптивности. Однако, как показал анализ, большинство из них страдает от ряда системных ограничений, которые снижают их эффективность в динамичных условиях [4].

Типичные системы характеризуются фиксированной логикой сценариев. Например, в авиасимуляторе реакция системы на действия пилота зарательно запрограммирована, а в стратегической игре компьютерный противник действует по предопределённым скриптам или использует простые правила. Это приводит к быстрой предсказуемости среды, что не способствует развитию навыков адаптации к новым и нештатным ситуациям. Обратная связь в таких системах часто ограничена заранее подготовленными комментариями или бинарной оценкой (успех/неудача), без детального анализа причин ошибок [5].

Более продвинутые системы пытаются внедрить элементы адаптивности, например, изменяя сложность задач на основе процента правильных ответов. Однако такая адаптация носит поверхностный характер и не учитывает когнитивные особенности, стиль принятия решений или эмоциональное состояние пользователя [3]. Ключевой недостаток — отсутствие в таких средах «живого» интеллектуального агента, способного к нелинейному, творческому поведению, которое демонстрирует человек-оппонент или реальная сложная обстановка.

Проведенный сравнительный анализ позволил четко обозначить разрыв между существующими и желаемыми характеристиками систем для обучения в сложных условиях. Результаты анализа представлены в таблице 3.1.

Таблица 3.1 - Сравнительный анализ характеристик типичных и проектируемой обучающих систем

Характеристика	Типичные обучающие системы	Проектируемая адаптивная система
Адаптация к пользователю	Отсутствует или поверхностна (смена уровня сложности)	Непрерывная, на основе анализа стиля и ошибок в реальном времени
Обратная связь	Жёстко запрограммированная, шаблонная	Динамическая, генерируемая ИИ на основе контекста действий
Обучаемость среды/агента	Нет, поведение статично	Постоянное самообучение и адаптация агента к пользователю
Учет уровня обучаемого	Часто реализован через выбор «легкий/средний/сложный»	Динамическая корректировка стратегии и вызова «на лету»
Моделирование непредсказуемости	Ограниченное, по скриптам	Высокое, за счет стратегической гибкости нейросетевого агента
Персонализация траектории	Отсутствует или линейна	Индивидуальная, нелинейная, основанная на успехах и слабостях

Как видно из анализа, существует явная потребность в системе, сочетающей гибкость игровой среды, адаптивность интеллектуального репетитора и стратегическую глубину, присущую человеческому мышлению.

АНАЛИЗ АЛГОРИТМОВ МАШИННОГО ОБУЧЕНИЯ ДЛЯ АДАПТИВНЫХ СИСТЕМ В РЕАЛЬНОМ ВРЕМЕНИ

Для реализации агента, способного к адаптивному взаимодействию, необходим тщательный выбор алгоритмической основы. Исследование алгоритмов обучения[4] выделяет несколько ключевых парадигм машинного обучения, каждая со своими достоинствами и ограничениями в контексте обучающих систем реального времени.

Обучение с подкреплением (Reinforcement Learning, RL) является одним из наиболее перспективных направлений. Агент RL учится, взаимодействуя со средой и получая от неё сигналы вознаграждения (reward). Методы глубокого RL, такие как Deep Q-Network (DQN) или Proximal Policy Optimization (PPO), позволяют агенту самостоятельно находить сложные стратегии поведения в условиях высокой размерности пространства состояний и действий [6]. Это идеально подходит для формирования долгосрочной стратегической гибкости. Однако, как отмечено в работе [4], RL-агенты требуют огромного количества итераций для сходимости, склонны к «катастрофическому забыванию» и их прямое обучение в ходе взаимодействия с живым пользователем может быть непрактично долгим.

Имитационное обучение (Imitation Learning, IL), в частности поведенческое клонирование, предлагает альтернативный путь. Здесь агент обучается, копируя поведение эксперта (например, профессионального игрока) на наборе демонстрационных данных. Этот подход, рассмотренный в исследованиях [7], позволяет быстро получить агента с приемлемым уровнем навыков, минуя сложный этап поиска стратегии с нуля. Он обеспечивает быстрый старт и создает у пользователя ощущение реалистичного противодействия. Основной недостаток, согласно анализу [4], — ограниченная способность к обобщению: агент может быть неэффективен в ситуациях, не представленных в обучающих демонстрациях, и не способен адаптироваться к уникальному стилю нового пользователя.

Наиболее сбалансированным решением представляется гибридный подход. В его рамках агент сначала осваивает базовые навыки через имитационное обучение на датасете экспертных решений, что обеспечивает быстрый выход на рабочий уровень. Затем он дообучается с использованием методов обучения с подкреплением, уже в процессе взаимодействия с пользователем или симулятором, что позволяет ему адаптироваться, уточнять стратегии и реагировать на нестандартные действия [8]. Для реализации долгосрочной персонализации необходимы архитектуры с механизмами внешней памяти, способные запоминать особенности конкретного пользователя и учитывать их при планировании действий [4].

Таким образом, выбор алгоритма не является дихотомическим. Эффективная архитектура должна комбинировать сильные стороны разных подходов: использовать имитацию для начальной настройки и обучения с подкреплением — для последующей адаптации и совершенствования в диалоге с пользователем.

ФОРМИРОВАНИЕ ТРЕБОВАНИЙ К ДАННЫМ И ВЫБОР ТЕСТОВОЙ СРЕДЫ (STARCRAFT II)

Для практической апробации теоретических принципов адаптивной обучающей системы необходима сложная, инструментированная и признанная научным сообществом тестовая среда. Такой средой была выбрана компьютерная игра StarCraft II, которая представляет собой идеальный полигон для исследований в области ИИ в реальном времени [9].

Выбор обусловлен совокупностью факторов, создающих уникальные исследовательские вызовы. Как стратегия в реальном времени (RTS), StarCraft II характеризуется частичной наблюдаемостью игрового пространства из-за «тума войны», что требует от агента способности к прогнозированию и работе в условиях неопределённости. Пространство действий в игре колоссально и комбинаторно: игрок может отдавать сотни различных команд десяткам юнитов одновременно. Успех зависит от сбалансированного долгосрочного планирования, включающего экономическое развитие, технологические исследования и военные операции. Наконец, динамичный и непрерывный игровой процесс накладывает жёсткие временные ограничения на принятие решений, имитируя стрессовые условия реальных сложных сред [9].

Создание нейросетевой системы-тренера для данной среды упирается в фундаментальную проблему корректного формирования и подготовки данных. Искусственный интеллект должен не только точно интерпретировать многомерное состояние игры, но и устанавливать причинно-следственные связи между этим состоянием и оптимальными действиями эксперта. Исследование [10] детально формулирует требования к данным, необходимые для решения этой задачи.

Требования к входным данным разделяются на две принципиальные категории:

• пространственные данные. Представляются в виде многоканального растрового изображения (мини-карты), где каждый канал является бинарной или числовой маской, кодирующей отдельный аспект игры: видимую область, затемнённые зоны («туман войны»), высоту рельефа, а также расположение юнитов, зданий и ресурсов с указанием их принадлежности (союзные, вражеские, нейтральные). Такое представление позволяет свёрточным нейронным сетям выявлять пространственные паттерны, линии фронта и зоны контроля.
• непространственные (скалярные и векторные) данные. Включают числовые показатели, описывающие состояние игрока: текущие запасы минералов и газа, показатель населения (используемое/максимальное), список доступных для построения юнитов и зданий, а также завершённых исследований. Эти данные после нормализации подаются на полносвязные слои сети, формируя стратегический контекст [10].

Требования к выходным данным для обучения с учителем заключаются в предоставлении размеченных пар «состояние-действие». Действие должно быть структурировано и включать:

• идентификатор типа действия (action_id): определяет, какую команду выполнить (например, «построить здание», «атаковать», «исследовать технологию»);
• параметры действия (action_parameters): уточняют детали выполнения (например, координаты на карте для перемещения, идентификатор цели для атаки, тип строящегося здания) [11];

Крайне важным аспектом является строгая временная синхронизация между снимком состояния игры и действием [12], которое было в этом состоянии совершено. Нарушение этой синхронности, когда действию из момента времени t+1 сопоставляется состояние в момент t, приводит к обучению модели на ложных корреляциях, что делает её рекомендации некорректными и непригодными для использования в реальном времени [13].

Существующий открытый датасет StarCraft II Learning Environment (SC2LE), разработанный DeepMind и Blizzard, полностью удовлетворяет сформулированным требованиям [14]. Он содержит десятки тысяч реплеев игр высокого уровня, в которых для каждого игрового тика сохранено как полное структурированное состояние игры, так и все произведённые игроками действия в необходимом формате [15]. Это избавляет исследователей от трудоёмкого этапа самостоятельного сбора и парсинга данных, позволяя сконцентрироваться на проектировании архитектуры и алгоритмов обучения.

Так же есть и подготовленный API для работы со средой, что позволит упростить обучение модели. Схема взаимодействия модели с API игровой среды представлена на рисунке 5.1

МЕТРИКИ ОЦЕНКИ ЭФФЕКТИВНОСТИ НЕЙРОСЕТЕВОЙ ОБУЧАЮЩЕЙ СИСТЕМЫ

Для объективной валидации разрабатываемой системы необходимо определить комплекс количественных и качественных метрик, которые позволят оценить как техническую корректность работы нейросетевой модели, так и её педагогическую эффективность в роли тренера.

1. Метрики оценки качества модели-агента [16]:

• точность предсказания действия (Action Accuracy): Процент случаев, в которых действие, сгенерированное моделью для данного состояния, полностью совпадает (по идентификатору и параметрам) с действием эксперта из валидационной выборки. Хотя прямая имитация — не конечная цель, эта метрика полезна для начальной оценки адекватности обученной модели;
• коэффициент побед (Win Rate): Основная интегральная метрика стратегической эффективности. Определяется как процент побед, одержанных агентом против различных оппонентов: встроенного скриптового ИИ игры, других версий агентов (например, обученных только на имитации) и, что наиболее важно, против живых игроков разного уровня мастерства [17];
• среднее кумулятивное вознаграждение (Average Cumulative Reward): В рамках парадигмы обучения с подкреплением оценивает способность агента максимизировать долгосрочный успех. Рассчитывается как средняя сумма наград, полученных агентом за весь эпизод (матч). Правильно спроектированная функция вознаграждения должна коррелировать с конечным результатом игры;
• время инференса (Inference Time): Критическая метрика для систем реального времени. Измеряет задержку между получением нейросетью входного вектора состояния и выдачей предсказанного действия. Для комфортного взаимодействия в RTS-среде это время должно составлять десятки миллисекунд, что накладывает ограничения на сложность архитектуры сети;

2. Метрики оценки полезности системы для пользователя (педагогическая эффективность):

• динамика игровых показателей обучаемого: Объективный критерий, измеряемый по данным реплеев. Сравниваются ключевые показатели (APM — действия в минуту, эффективность сбора ресурсов, соотношение потерь, время достижения ключевых технологий) пользователя до и после прохождения серии тренировок с системой. Положительная динамика свидетельствует об эффективности обучения [18];
• субъективная оценка полезности (User Satisfaction Score): Определяется с помощью анкетирования пользователей после тренировочной сессии. Оценивается по шкалам понятность рекомендаций, воспринимаемая полезность, адекватность сложности и общее впечатление от взаимодействия с ИИ-тренером [19];
• коэффициент удержания и вовлечённости (Retention & Engagement Rate): Косвенная метрика, отражающая, насколько система поддерживает мотивацию. Может измеряться как количество добровольно проведённых пользователем тренировочных сессий за определённый период или как средняя продолжительность одной сессии по сравнению с тренировкой без системы;

Использование этого комплекса метрик позволит всесторонне оценить успешность реализации проекта, от технической корректности ИИ-агента до его реального воздействия на процесс освоения сложных навыков пользователем [20].

О себе Научные труды Индивидуальный раздел