ПРОГНОЗИРУЮЩИЕ СИСТЕМЫ. СОСТОЯНИЕ ПРОБЛЕМЫ.
Источник: http://www.statsoft.ru/home/applications/dataminer.htm
Обсуждаются некоторые общие аспекты разработки прогнозирующих систем: понятие прогноза и цели его использования, основные понятия и определения в области прогнозирования, методы прогнозирования, модели временных последовательностей, критерии производительности прогнозирующих систем и другие общие вопросы, касающиеся разработки прогнозирующих систем.
1. Прогноз и цели его использования
Прогнозирование – это ключевой момент при принятии решений в управлении. Конечная эффективность любого решения зависит от последовательности событий, возникающих уже после принятия решения. Возможность предсказать неуправляемые аспекты этих событий перед принятием решения позволяет сделать наилучший выбор, который, в противном случае, мог бы быть не таким удачным. Поэтому системы планирования и управления, обычно, реализуют функцию прогноза. Далее перечислены примеры ситуаций, в которых полезно прогнозирование.
Управление материально-производственными запасами. В управлении запасами запасных частей на предприятии по ремонту самолетов совершенно необходимо оценить степень используемости каждой детали. На основе этой информации определяется необходимое количество запасных частей. Кроме того, необходимо оценить ошибку прогнозирования. Эта ошибка может быть оценена, например, на основе данных о времени, которое понадобилось для доставки деталей, которых не было на складе.
Планирование производства. Для того, чтобы планировать производство семейства продуктов, возможно, необходимо спрогнозировать продажу для каждого наименования продукта, с учетом времени доставки, на несколько месяцев вперед. Эти прогнозы для конечных продуктов могут быть потом преобразованы в требования к полуфабрикатам, компонентам, материалам, рабочим и т.д. Таким образом на основании прогноза может быть построен график работы целой группы предприятий.
Финансовое планирование. Финансового менеджера интересует как будет изменяться денежный оборот компании с течением времени. Менеджер, может пожелать узнать, в какой период времени в будущем оборот компании начнет падать, с тем, чтобы принять соответствующее решение уже сейчас.
Разработка расписания персонала. Менеджер почтовой компании должен знать прогноз количества обрабатываемых писем, с тем чтобы обработка производилась в соответствии с расписанием персонала и производительностью оборудования.
Планирование нового продукта. Решение о разработке нового продукта обычно требует долговременного прогноза того, каким спросом он будет пользоваться. Этот прогноз не менее важен, чем определение инвестиций необходимых для его производства.
Управление технологическим процессом. Прогнозирование также может быть важной частью систем управления технологическими процессами. Наблюдая ключевые переменные процесса и используя их для предсказания будущего поведения процесса, можно определить оптимальное время и длительность управляющего воздействия. Например, некоторое воздействие в течение часа может повышать эффективность химического процесса, а потом оно может снижать эффективность процесса. Прогнозирование производительности процесса может быть полезно при планировании времени окончания процесса и общего расписания производства.
На основании вышеизложенного можно сказать, что прогнозирование – это предсказание будущих событий. Целью прогнозирования является уменьшение риска при принятии решений. Прогноз обычно получается ошибочным, но ошибка зависит от используемой прогнозирующей системы. Предоставляя прогнозу больше ресурсов, мы можем увеличить точность прогноза и уменьшить убытки, связанные с неопределенностью при принятии решений. Cтоимость прогноза увеличивается по мере того, как уменьшаются убытки от неопределенности. При некотором уровне ошибки прогнозирования затраты на прогнозирование минимальны.
Заметим, что концептуальная модель основана на асимптотическом снижении убытков при использовании результатов прогнозирования. Таким образом, каждый дополнительный доллар, потраченный на прогнозирование дает меньшее снижение риска убытков, чем предыдущий. За некоторой точкой, дополнительные затраты на прогнозирование могут вовсе не приводить к снижению потерь. Это связано с тем, что невозможно снизить среднюю ошибку прогнозирования ниже определенного уровня, вне зависимости от того насколько сложен примененный метод прогнозирования.
Поскольку прогнозирование никогда не сможет полностью уничтожить риск при принятии решений, необходимо явно определять неточность прогноза. Обычно, принимаемое решение определяется результатами прогноза (при этом предполагается, что прогноз правильный) с учетом возможной ошибки прогнозирования.
Сказанное выше предполагает, что прогнозирующая система должна обеспечивать определение ошибки прогнозирования, также как и само прогнозирование. Такой подход значительно снижает риск объективно связанный с процессом принятия решений.
Необходимо отметить, что прогнозирование это не конечная цель. Прогнозирующая система это часть большой системы менеджмента и как подсистема, она взаимодействует с другими компонентами системы, играя немалую роль в получаемом результате.
2. Методы прогнозирования
Методы прогнозирования можно разделить на два класса квалитативные и квантитативные, в зависимости от того, какие математические методы используются.
Квалитативные процедуры производят субъективную оценку, основанную на мнении экспертов. Обычно, это формальная процедура для получения обобщенного предсказывания, на основе ранжирования и обобщения мнения экспертов (например на основе методов Делфи). Эти процедуры основываются на опросах, тестах, оценке эффективности продаж и исторических данных, но процесс с помощью которого получается прогноз остается субъективным.
С другой стороны, квантиативные процедуры прогнозирования явно объявляют – каким образом получен прогноз. Четко видна логика и понятны математические операции. Эти методы производят исследование исторических данных для того, чтобы определить глубинный процесс, генерирующий переменную и предположив, что процесс стабилен, использовать знания о нем для того, чтобы экстраполировать процесс в будущее. К квантитативным процедурам прогнозирования относятся методы основанные на статистическом анализе, анализе временных последовательностей, байесовском прогнозировании, наборе фрактальных методов, нейронных сетях.
Сейчас используется два основных типа моделей: модели временных последовательностей и причинные модели.
Временная последовательность – это упорядоченная во времени последовательность наблюдений (реализаций) переменной. Анализ временных последовательностей использует для прогнозирования переменной только исторические данные о ее изменении. Таким образом, если исследование данных о ежемесячных продажах автомобильных шин, показывает, что они линейно возрастают – для представления данного процесса может быть выбрана линейная модель тренда. Наклон и смещение этой прямой могут быть оценены на основе исторических данных. Прогнозирование может быть осуществлено путем экстраполяции подходящей модели.
Причинные модели используют связь между интересующей нас временной последовательностью и одной или более другими временными последовательностями. Если эти другие переменные коррелируют с интересующей нас переменной и если существуют причины для этой корреляции, модели прогнозирования, описывающие эти отношения могут быть очень полезными. В этом случае, зная значение коррелирующих переменных, можно построить модель прогноза зависимой переменной. Например, анализ может указать четкую корреляцию между уровнем ежемесячной продажи шин и уровнем месячной продажи новых автомобилей 15 месяцев назад. В этом случае информация о продажах новых автомобилей 14 месяцев назад будет полезной для того, чтобы предсказывать продажу шин в следующем месяце.
Серьезным ограничением использования причинных моделей является требование того, чтобы независимая переменная была известна ко времени, когда делается прогноз. Факт, что продажа шин коррелирует с продажей новых автомобилей 15 месяцев назад, бесполезен при прогнозировании уровня продаж шин на 18 месяцев вперед. Аналогично, знание о том, что уровень продаж шин коррелирует с текущими ценами на бензин, нам ничего не дает – ведь мы не знаем точных цен на бензин на месяц, для которого мы делаем прогноз. Другое ограничение причинных методов – большое количество вычислений и данных, которое необходимо сравнивать.
Практически, прогнозирующие системы часто используют комбинацию квантитативных и квалитативных методов. Квантитативные методы используются для последовательного анализа исторических данных и формирование прогноза. Это придает системе объективность и позволяет эффективно организовать обработку исторических данных. Данные прогноза далее становятся входными данными для субъективной оценки опытными менеджерами, которые могут модифицировать прогноз в соответствии с их взглядами на информацию и их восприятие будущего.
На выбор соответствующего метода прогнозирования, влияют следующие факторы, большинство которых было описано в предыдущем разделе.
- требуемая форма прогноза;
- горизонт, период и интервал прогнозирования;
- доступность данных;
- требуемая точность;
- поведение прогнозируемого процесса;
- стоимость разработки, установки и работы с системой;
- простота работы с системой;
- понимание и сотрудничество управляющих.
3. Модели временных последовательностей
Используемые для наших целей временные последовательности представляют собой последовательность наблюдений за интересующей переменной. Переменная наблюдается через дискретные промежутки времени. Анализ временных последовательностей включает описание процесса или феномена, который генерирует последовательность. Для предсказания временных последовательностей, необходимо представить поведение процесса в виде математической модели, которая может быть распространена в будущем. Для этого необходимо, чтобы модель хорошо представляла наблюдения в любом локальном сегменте времени, близком к настоящему. Обычно нет необходимости иметь модель, которая представляла бы очень старые наблюдения, так как они скорее всего не характеризуют настоящий момент. Также нет необходимости представлять наблюдения в далеком будущем, т.е. через промежуток времени, больший чем горизонт прогнозирования. После того, как будет сформирована корректная модель для обработки временной последовательности, можно разрабатывать соответствующие средства прогнозирования.
Большинство моделей прогнозирования временных последовательностей разрабатываются для представления этих вариантов последовательностей: константных, тренда, периодических (циклических), или их комбинаций. Кроме этих моделей существуют их варианты, появляющиеся, когда в процессе, генерирующем переменную, возникают глубинные изменения. На один период процесс перешел на более высокий уровень, а потом ввернулся на предыдущий уровень. Примером может быть кратковременное увеличение продаж из-за забастовки на заводе конкурентов. Например, переход на новый уровень остается постоянным, о таком процессе мы будем говорить, как о процессе с шаговым изменением. Причиной такого изменения, например, может быть приобретение нового клиента. И, наконец, пример последовательности, которая некоторое время находилась на постоянном уровне, а потом неожиданно перешла в тренд. Так как эти три типа изменений достаточно часто встречаются на практике, мы хотим, чтобы наша прогнозирующая система идентифицировала постоянные изменения и подстраивала модель прогнозирования под изменения в процессе.
4. Критерии производительности
Существуют ряд измерений, которые могут быть использованы для оценки эффективности прогнозирующей системы. Среди них наиболее важными являются: точность прогнозирования, стоимость системы, результирующая польза, свойства стабильности и отзывчивости.
Точность метода прогнозирования определяется на основе анализа возникшей ошибки прогнозирования. Если Xt это реальное наблюдение за период t и Xt это сделанный ранее прогноз, ошибка прогнозирования за период t
et = Xt – Xt (1.1)
Для конкретного процесса и метода прогнозирования ошибка прогнозирования рассматривается как случайная величина со средним E(e) и вариацией Ge. Если при прогнозировании отсутствует систематическая ошибка, то E(e) = 0. Поэтому для определения точности прогнозирования используется ожидаемая квадратичная ошибка
E [|et|] = E [|Xt-Xt|] (1.2)
или ожидаемая квадратичная ошибка
E [et2] = E [(Xt-Xt)2] (1.3)
Заметим, что ожидаемая квадратичная ошибка обычно называется средней квадратичной ошибкой, и соответствует Ge2, если существует систематическая ошибка прогнозирования.
При анализе ошибки прогнозирования, общепринято каждый период использовать так называемый тест пути сигнала. Целью этого теста является определение, присутствуют ли систематическая ошибка прогнозирования. Путевой сигнал вычисляется путем деления оцененной предполагаемой ошибки прогнозирования на измеренную вариацию ошибки прогнозирования, определенную как среднее абсолютное отклонение. Если в прогнозе отсутствует систематическая ошибка – путевой сигнал должен быть близок к нулю.
Конечно, стоимость является важным элементом при оценке и сравнении методов прогнозирования. Ее можно разделить на одноразовые затраты на разработку и установку системы и затраты на ее эксплуатацию. Что касается затрат на эксплуатацию, то разные прогнозирующие процедуры могут очень сильно отличаться по стоимости получения данных, эффективности вычислений и уровню действий, необходимых для поддержания системы.
Польза прогноза в улучшении принимаемых решений зависит от горизонта прогнозирования и формы прогноза также как и от его точности. Прибыль должна измеряться для всей системы управления как единого целого и прогнозирование – только один элемент этой системы.
Мы можем также сравнивать методы прогнозирования с точки зрения реакции на постоянные изменения во временной последовательности, описывающей процесс, и стабильности при случайных и кратковременных изменениях.