В. А. Надеждин, В. А. Светличная, Е. А. Шуватова

Анализ алгоритмов обучения в стратегических системах реального времени

Донецкий национальный технический университет

Источник: Информатика, управляющие системы, математическое и компьютерное моделирование (ИУСМКМ-2025) : Сборник материалов XVI Международной научно-технической конференции в рамках XI Международного научного форума Донецкой Народной Республики, Донецк, 28 мая 2025 года. – Донецк: Донецкий национальный технический университет, 2025. – С. 150-154. – EDN DOOSXX.

Общая постановка проблемы

В последние годы наблюдается устойчивый рост интереса к разработке интеллектуальных обучающих систем, способных адаптироваться к пользователю и эффективно взаимодействовать с ним в процессе освоения сложных навыков. Особенно актуальной становится задача создания таких систем для динамичных и сложных сред, включая симуляторы реального времени, обучающие платформы и игровые движки. В этих условиях традиционные методы обучения пользователя или тестирования его навыков теряют эффективность из-за жёсткой заданности сценариев и неспособности реагировать на индивидуальные особенности обучаемого. Возникает вопрос создания современных обучающих систем, которые учитывали бы индивидуальные особенности обучаемого.

Исследование проблемы

Современные достижения в области искусственного интеллекта и глубокого обучения открывают возможность построения систем, в которых нейросетевые модели могут адаптироваться к поведению пользователя в процессе обучения. Вместо того чтобы заранее фиксировать поведение виртуального оппонента или симулятора, становится возможным создавать обучающиеся интеллектуальные агенты, развивающиеся в зависимости от взаимодействия с конкретным человеком.

Однако, несмотря на наличие ярких примеров использования нейросетей в играх и симуляторах (например, AlphaStar, OpenAI Five), большинство существующих решений либо требуют значительных вычислительных ресурсов, либо не ориентированы на совместное обучение с человеком в реальном времени, либо не учитывают особенности сложных сред с множеством переменных и неопределённостей.

Появляется задача создания информационной обучающей системы, основанной на технологиях машинного обучения и ориентированной на работу в сложных средах. Особое внимание уделяется возможности адаптивного взаимодействия с пользователем, постепенному усложнению сценариев, а также архитектуре системы, способной обеспечивать реалистичную и гибкую обратную связь.

Результаты исследований

Объектом настоящего исследования является информационная обучающая система, в которой взаимодействие пользователя с интеллектуальным агентом происходит в сложной динамической среде, включающей множество переменных, случайных факторов и сценариев с непредсказуемым развитием.

Такая среда может включать в себя как виртуальные симуляторы (например, симуляторы полётов, управления техникой, медицинские тренажёры), так и игровые движки, в том числе стратегии в реальном времени (RTS) или другие многокомпонентные интерактивные системы.

Анализ существующих обучающих систем и симуляторов показал наличие ряда недостатков:

→ Сценарии с фиксированной логикой поведения, не изменяющейся в зависимости от взаимодействия;
→ Ограниченная адаптивность: обучающие программы не умеют реагировать на ошибки, стиль и уровень пользователя в процессе обучения;
→ Отсутствие “живого” оппонента или партнёра в сложных тренировочных средах, особенно в играх и имитациях ситуаций с противодействием;
→ Высокие требования к разработке сценариев и тестов, которые не масштабируются на множество ситуаций;
→ Ограниченное использование современных нейросетевых методов в реальном времени при взаимодействии с человеком.

Эти ограничения снижают эффективность обучения, приводят к «выгоранию» пользователя, а также не позволяют адекватно оценить и улучшить его реальные навыки в условиях неопределённости и давления.

Проведенный анализ позволяет выделить основные свойства, которыми должна обладать обучающая система:

→ Адаптивность: интеллектуальный агент должен уметь изменять своё поведение в зависимости от действий и успехов обучаемого;
→ Интерактивность: система должна обеспечивать постоянное взаимодействие с пользователем в режиме реального времени;
→ Обучаемость: агент должен обучаться и совершенствоваться в ходе взаимодействия, используя методы машинного обучения, преимущественно нейросетевые;
→ Гибкость среды: архитектура системы должна позволить применять её в различных доменах — от игр до промышленных и образовательных симуляторов.

Таким образом, ставится задача создания архитектурной модели системы, в которой компонента искусственного интеллекта выполняет роль интеллектуального обучающего/соперничающего агента, с возможностью динамического развития сценария.

Сложные среды, с быстро меняющейся обстановкой, требуют от пользователя высокой скорости обработки информации, принятия решений в условиях неопределённости и быстрой адаптации к изменяющимся условиям.

Результаты проведенного сравнительного анализа существующих обучающих систем и проектируемой системы приведены в таблице 1.

Таблица 1 – Сравнительный анализ существующих систем
Характеристика	Типичные обучающие системы	Предлагаемая система
Адаптация к пользователю	Отсутствует	Непрерывное обучение агента
Обратная связь	Жёстко запрограммированная	Основана на реакции ИИ
Обучаемость среды	Нет	Постоянное самообучение
Учет уровня обучаемого	Не реализован	Динамическая корректировка
Моделирование реальных ошибок	Ограниченное	Стимулируется адаптивностью

При разработке системы возникает целый ряд задач, среди которых следует выделить следующие:

→ Разработка архитектуры нейронной сети, подходящей для задач стратегий в реальном времени, с учетом необходимости быстрой обработки большого объема данных.
→ Создание алгоритмов обучения для нейронной сети, которые обеспечат быструю адаптацию к изменениям в игровом процессе и в поведении противников.
→ Организация и формирования исходных данных для обучения интеллектуальной информационной системы, реализующей нейросетевые модели.
→ Обучение нейронной сети для принятия решений в сложных ситуациях в реальном времени, таких как стратегии поведения, планирование и адаптация к действиям противника.
→ Разработка механизма оценки эффективности нейронной сети, чтобы определить её способность эффективно конкурировать с реальными игроками.
→ Интеграция нейронной сети в игровую среду для проверки её работы и эффективности в реальных игровых сценариях.

Одной из основных задач в приведенном списке следует выделить разработку алгоритмов обучения для нейронной сети. Традиционные обучающие системы часто основываются на простых алгоритмах, которые не могут учитывать сложность реальных ситуаций и динамически изменяться. В предлагаемой системе агент будет использовать нейросетевые методы создания более интеллектуального поведения, которое сможет «обучаться» от пользователя и адаптироваться к новым условиям.

Предлагаемый подход основан на принципах адаптивного обучения, где система не просто демонстрирует фиксированную стратегию, а корректирует поведение обучающего агента в зависимости от действий пользователя. Это позволяет выстраивать индивидуальные траектории обучения и делать процесс освоения навыков более эффективным.

Одним из больших достоинств такого подхода является масштабируемость и универсальность. Система, построенная на нейросетевых агентах, может быть адаптирована под различные среды. Теоретически, архитектура может легко быть перенастроена для любой специфичной области, в которой требуется обучение через взаимодействие с виртуальной средой.

Во время взаимодействия системы с пользователем происходит непрерывный сбор информации о:

→ последовательности действий пользователя;
→ времени отклика;
→ типичных ошибках;
→ успешных и неуспешных решениях;

Система должна максимизировать эффективность игровых стратегий в рамках навыка пользователя для плавной адаптации, выявлять ошибки пользователя и реагировать на изменения в сложной динамической среде.

В основе интеллектуального агента-наставника, функционирующего в сложной динамической среде, должны лежать такие нейросетевые подходы, которые не просто обеспечивают базовую реакцию на действия пользователя, но способны к долгосрочной адаптации, переносу знаний и обучению в реальном времени.

Для выбора метода обучения в предполагаемой системы был проведен следующий анализ, выявлены достоинства и недостатки.

Одним из наиболее перспективных направлений здесь является обучение с подкреплением. Особенно в вариациях с глубокими нейросетями, как в случае с DQN (метод обучения, основанный на Q-обучении, основная идея которого заключается измерении ценности действий в каждом состоянии) или PPO (метод обучения, идея которого заключается в изначальной оптимизации политики, для выбора верной стратегии), этот подход позволяет агенту формировать сложные стратегии поведения, основываясь на сигнале награды, получаемом от среды. Это особенно важно, когда требуется не просто фиксированная последовательность действий, а гибкое реагирование на уникальные сценарии пользователя. Однако, у этого подхода есть и своя цена. RL -агенты (основанные на алгоритме обучения с подкреплением) требуют большого числа итераций для формирования устойчивого поведения, и в условиях реального взаимодействия с человеком это может вылиться в длительный период «обучения вслепую», прежде чем появятся заметные улучшения. Более того, RL-модели подвержены эффекту катастрофического забывания: новая информация может разрушать ранее выученные стратегии, особенно если данные поступают нестабильно или противоречиво.

В противоположность этому, имитативное обучение, в частности поведенческое клонирование и методы обратного обучения с подкреплением, позволяют агенту сразу ориентироваться на действия пользователя. Такие методы не требуют заранее определённой функции награды: агент просто старается повторить поведение, которое продемонстрировал человек. Это даёт заметное преимущество на начальных этапах взаимодействия — пользователь сразу получает ощущение «понимающего» партнёра. Однако ограниченность таких моделей проявляется в отсутствии обобщения: агент, обученный на узком наборе ситуаций, будет плохо справляться с новыми, ранее не наблюдавшимися условиями. Особенно это критично в системах, где пользователь обучается параллельно и сам меняет своё поведение.

Компромиссным решением может стать смешанный подход — когда агент сначала осваивает базовые принципы поведения через имитацию, а затем дообучается с использованием методов с подкреплением. Такой подход позволяет быстро выйти на приемлемый уровень взаимодействия, не жертвуя долгосрочной адаптивностью. Важно также отметить, что в реальных системах желательно использовать механизмы онлайн-обучения — позволяющие агенту подстраиваться к пользователю в режиме реального времени, без необходимости переобучения всей модели.

Также, в контексте динамической адаптации, всё чаще рассматриваются методы, использующие memory-augmented architectures (например, Neural Turing Machines или дифференцируемые внешние памяти), которые позволяют агенту не просто обучаться, а запоминать индивидуальные особенности конкретного пользователя: например, где он чаще ошибается, в каком темпе принимает решения, и даже какие паттерны действий выбирает при стрессе. Это превращает агента не просто в оппонента, а в настоящего наставника, который учитывает сильные и слабые стороны обучающегося.

В результате можно сделать вывод, что выбор метода зависит от стадии обучения и цели взаимодействия. Обучение с подкреплением даёт стратегическую гибкость, имитация — быстрый старт, онлайн-обучение — непрерывную адаптацию, а механизмы памяти — персонализацию. В совокупности, такая архитектура обеспечивает не только интеллектуальное поведение, но и создание уникальной траектории развития каждого пользователя, превращая систему из инструмента в партнёра по обучению.

Вывод

Использование нейросетевых методов в обучающих системах, работающих в сложных динамических средах, открывает путь к созданию по-настоящему адаптивных и персонализированных агентов. Обучение с подкреплением обеспечивает стратегическую гибкость, имитативные подходы дают быстрый старт, а онлайн-обучение и механизмы памяти позволяют учитывать индивидуальные особенности пользователя в реальном времени. Комбинация этих методов позволяет строить системы, которые не просто реагируют, но развиваются вместе с обучающимся, выступая одновременно и оппонентом, и наставником. Это делает обучение не только эффективным, но и естественным по своей структуре, приближая его к живому взаимодействию.

Таким образом, работа направлена на создание фундамента для дальнейших исследований в области применения нейросетей в играх и симуляторах, а также на разработку прототипа, который может быть использован для тренировки агентов в реальном времени.

Литература

Берштейн, Л.С. Искусственный интеллект: модели и методы. — М.: Наука, 2021.
Кулешов, А.В., Глухов, В.В. Методы машинного обучения в адаптивных обучающих системах. // Известия вузов. Приборостроение, 2022, №5, с. 45–53.
Литвинцева, И.П., Козырев, С.И. Интеллектуальные обучающие системы: подходы к адаптации под пользователя. // Вестник СПбГУ. Серия 10. 2020. № 4.
Куликов, С.А. Обучение с подкреплением и его применение в киберфизических системах. // Искусственный интеллект и принятие решений, 2023, №1, с. 15–28.
Жеребцов, А.И., Соколов, Д.В. Имитационное моделирование и обучение агентов в стратегических средах. // Системный анализ и управление в биомедицинских системах, 2021, №3, с. 30–39.
Егорова, Т.Н. Адаптивные человеко-машинные интерфейсы в интеллектуальных системах обучения. // Научный вестник МГТУ ГА, 2020, №2, с. 88–95.
Бондаренко, М.П., Карпова, О.Е. Моделирование когнитивных особенностей пользователей в обучающих средах. // Современные проблемы науки и образования, 2021, №6.
Селезнёв, П.С. Нейросетевые методы в задачах обучения агентов в реальном времени. // Информационные технологии, 2022, №2, с. 12–19.
Козлова, Ю.Н. Разработка интеллектуальных агентов для адаптивного обучения в динамических средах. // Труды Института системного анализа РАН, 2023, №4.
Ярошенко, И.И. Интеллектуальные обучающие системы нового поколения: концепции и реализация. // Образовательные технологии и общество, 2020, №1.