Источник: Proc. 2003 Winter Simulation Conf., New Orleans, LA, 2003.
http://citeseerx.ist.psu.edu/viewdoc
В работе предложен оригинальный механизм с интеллектной системой экономического прогнозирования. Его целью является прогноз курса евро по отношению к румынский валюте с использованием большого набора финансовых данных. В работе было проанализировано и учтено возможное влияние определенных индикаторов прогноза (таких как рынок Фондовой биржи Сибиу) на развитие обменного курса в Румынии. Рассматриваемые в работе временные ряды по своей сути нестационарные, а значит, распределение временных рядов изменяется в течение долгого времени. Недавние точки измеренных данных могут обеспечить систему более важной информацией, чем точки данных более позднего промежутка времени. Поэтому, принимая это во внимание, был предложен новый адаптивный механизм переобучения системы. Алгоритм позволяет переобучить наиболее эффективным способом жизнеспособную структуру искусственной нейронной сети (ИНС) в предыдущем промежутке времени, чтобы поддерживать изменения в сложной функции ввода - вывода системы финансового прогнозирования. В этой системе все вводы и выводы изменяются динамически с учетом различных задержек, которые могут произойти. “Процесс запоминания” старых значений, полученных на предыдущем этапе, используется для повышения точности прогнозов.
Результаты показывают, что первая тренировка (которая включает в себя фазу поиска оптимальной архитектуры) всегда занимает достаточно много времени, но в дальнейшем это позволяет системе очень легко осуществлять переобучение за счет отсутствия изменений в ее структуре. Преимуществом процедуры переобучения является то, что некоторые важные аспекты сохраняются ("запоминаются") не только от непосредственной процедуры обучения на предыдущем этапе, но и той, что предшествовала ему, и так далее. Происходит своего рода "процесс медленного забывания", поэтому для ИНС намного легче вспомнить определенные аспекты предыдущей обучающей тренировки, а не первый тренинг системы. Экспериментально были выявлены эффект от игнорирования фазы переобучения и ее важность как процесса модернизации/обновления. При использовании последовательных фаз переобучения ИНС отмечалось резкое снижение величины ошибок при прогнозировании данных. Ключевые слова: нейронные сети, обменный курс, адаптивное переобучение, векторы задержек, итерационное моделирование 2. АРХИТЕКТУРА МОДЕЛИНа текущий момент, t, выход (см. рисунок 1) зависит от входа P на различных предыдущих временных интервалах (t - i_d1, …, t - i_dn), а также выходов на других предыдущих временных интервалах (t - o_d1, …, t - o_dm) соответственно. Обозначим через In_Del и Out_Del два вектора задержки, которые содержат величины задержек системы: где n > m. Рисунок 1 – прогнозирование архитектуры. Процесс обучения Для In_Del, используются различные векторы задержки с n = 7, 8 или 9 элементами, значения которых находятся в диапазоне двадцати дней. Что касается Out_Del, то используются различные комбинаций, с М = 3, 4 или 5 элементами, покрывающие около одной недели. Распределение из векторных элементов предпочтительно (но не обязательно) выбрано по аналогии с гамма-распределением. Элементы каждого вектора находятся в порядке возрастания. Следовательно, i_dn или o_dm соответствуют максимальным значениям задержек любого из этих векторов. Моделью выполняется рекуррентное соотношение, которое выглядит следующим образом: где X является вектором входа, i =1,...,n and j =1,...,m. В работе используется ИНС с прямой связью и двумя скрытыми слоями для достижения хорошей функции приближения, основанной на предварительных исследованиях. Лучшие результаты достигаются в случае двух скрытых слоев, чем в случае одного скрытого слоя, несмотря на поддержание одинакового соотношения (примерно 5 / 1) между количеством примеров для обучения сети и общим количеством весов. ИНС модель, изображенная на рисунке 1, использует обучение набора V-i_dn для пар входа-выхода модели адаптации, где V = 2240 есть начальный временной интервал, использованный в целях обучения. После того как было выявлены факторы, что влияют на выходные значения в момент времени t, применяется Метод главных компонент (МГК) (Джексон 1991). Таким образом, происходит уменьшение размерности входного множества на количество некоррелируемых входов. Перед применением МГК предварительно обрабатываются входные и выходные данные. Отсутствующие данные заменяются на ранее доступные нормализованные значения. Предварительная обработка исходных данных для модели прогнозирования превращает их в формат, который позволит им быть легче и более эффективно обработанными. Наконец, применяется обратный процесс нормализации для того, чтобы денормализовать результаты моделирования. Предварительная обработка и постобработка данных являются важными шагами в процессе выявления экспертных знаний в реальном мире и при правильном применении они значительно улучшают способность сети выявлять ценную информацию (Hagan et al., 1996, Basheer et al., 2000). Отметим, что для одной попытки анализа использовался ряд переменных Р (более 30). Статистические данные имеют различные частоты, такие как:
В модели были использованы два различных типа данных:
5. ВЫВОДЫСпособность ИНС извлекать значимую информацию из обучающих данных обеспечивает прочный каркас для представления отношений, которые присутствуют в структуре данных. Это позволяет как для интерполяции между априорно определенными точками, так и для экстраполяции за пределами диапазона ограничиваться экстремальными точками обучающего множества. Оценка тестовой ошибки показывает, что метод адаптивного переобучения может постепенно улучшать получаемые результаты. В представленных приложений оптимальное смещение времени для следующего переобучения – один день. Таким образом, модель может быть быстро обновлена с помощью переобучающей процедуры. Тем не менее, графики прогнозов показывают, что система может обеспечить правильные значения без переобучения в течение нескольких дней, но есть большой риск потерять их из-за неожиданных изменений в финансовой среде. Заметим, что некоторые дополнительные параметры (например, Сибиу Фьючерсный курс одного месяца) не улучшили значения погрешности, как ожидалось.Причиной такого результата очень вероятно, является несовместимость качеств этих трех дополнительных показателей, которые превышают иногда пределы приемлемой точности и рынок не учитывает их влияние. В работе был произведен прогноз данных на один месяц для сравнения их с показателями фьючерсного биржевого рынка Сибиу. Результаты этого прогноза дают основание предполагать, что этот метод может быть без затруднений распространен на больший период прогнозирования (неделю, месяц, 3 месяца, 6 месяцев и более), что в настоящее время моделируется в другой работе авторов. |