Автореферат
кваліфікаційної роботи магістра
"Побудова прогностичного комплексу та впровадження його в електронну мережу університету "
Актуальність
Адекватний (правдивий) прогноз погоди - це одна з важливих сучасних проблем, що мають практичне застосування. Дуже часто погодні умови стають для людей тяжким. У розвинених країнах погода і клімат давно стали категоріями економічними. Кожен рік у світі стихійні лиха забирають близько 250 тисяч людських життів, розмір збитку, що наноситься майну, лежить в межах 50-100 млрд. доларів США. Але світова статистика показує, якщо довіряти гідрометеорологічної інформації і адекватно на неї реагувати, то можна запобігти від 30 до 40% втрат і повністю уникнути людських жертв.
Особливо помітний економічний ефект дає використання метеорологічної інформації в авіації, енергетиці, будівництві, рибальстві і судноплавство, сільському господарстві.
Передбачення погоди з наукової точки зору - одна з найскладніших завдань фізики атмосфери. За останні десятиліття розвиток ідей і методів прогнозування помітно просунулося вперед, і цьому сприяло як розвиток математичних підходів та удосконалення методів дослідження атмосфери, так і використання сучасної комп'ютерної техніки. Існують різні методи для прогнозування метеорологічних явищ та їх величин, наприклад, синоптичні, чисельні, статистичні методи, але в повному обсязі жоден з них поки не забезпечує точного прогнозу [1]. Це робить тему і дослідження в галузі прогнозування погодних умов не тільки корисними, але і актуальними.
Цілі і завдання
Мета дипломної роботи - розробити програмний комплекс у вигляді програмного продукту, що об'єднує ряд сучасних методів складання прогнозів метеорологічних даних. Провести синхронізацію комплексу з метеостанцією, інтегрувати в електронну мережу університету та адаптувати його до лабораторних досліджень (Робіт).
Об'єктом дослідження є часові ряди основним метеопараметоров.
Предметом дослідження - методи прогнозування, якість і дальність їх результатів.
Гіпотеза дослідження - процес складання прогнозу буде проходити успішніше і продуктивніше при наступних умовах:
1) пряму взаємодію прогностичного комплексу з метеостанцією;
2) використання сучасних методів при роботі з тимчасовими рядами, такими як метод Еглайса [4], метод головних компонент, метод неформальній (м'яких) логіки;
3) впровадження в практику прогностичного комплексу, інтеграція його в електронну мережу університету;
4) адаптування комплексу під лабораторні дослідження.
Таким чином, завданнями магістерської роботи є:
1. Синхронізувати розроблений програмний продукт з метеостанцією. Забезпечити передачу даних з метеостанції в програму;
2. Вивчити нові методи обробки часових рядів і впровадити їх в існуючий програмний продукт.
3. Провести апробацію прогностичний комплексу;
4. Забезпечити інформаційний захист програмного комплексу;
5. Впровадити комплекс в електронну мережу університету;
6. Адаптувати прогностичний комплекс для лабораторних досліджень. Розширити інструментарій та забезпечити високу його інтерактивність при діалозі з користувачем.
Практична значущість полягає в розробці прогностичного комплексу, який дозволить проводити адекватні короткострокові прогнози основних метеопараметров дальністю 12 годин. Компелекс буде направлений на використання його в лабораторних і практичних цілях.
Огляд предметної області дослідження
Побудова прогностичної моделі засновано на обробці тимчасових рядів, отриманих з метеостанції Vantage Pro 2, встановленої на факультеті КНТ ДонНТУ. Дана метеостанція дозволяє знімати наступні дані:
- температура;
- вологість;
- тиск;
- швидкість вітру.
Всі дані зберігаються на сервері кафедри КСМ і «АКІАМ». Інтервал вимірів становить 10 хвилин. Таким чином, в процесі його експлуатації постійно формується і поступово накопичується сукупність тимчасових рядів. Наявність цієї інформації робить цілком реальною задачу розробки прогностичного комплексу.
В останні десятиліття в рамках нелінійної динаміки отримано ряд фундаментальних теоретичних результатів і розроблені методики, що обгрунтовують принципову можливість прогнозування фізичних процесів на базі їх тимчасових рядів. Теоретичним фундаментом цих розробок і методів є теорема Такенса. Однією з його основних ідей є те, що при побудові емпіричних моделей з тимчасового ряду як відсутніх змінних можна використовувати або послідовні значення доступною спостережуваної величини, або її послідовні похідні. Було доведено, що при реконструкції за скалярною тимчасової реалізації динамічної системи і метод тимчасових затримок, і метод послідовних похідних гарантують, що в нових змінних буде отримано еквівалентне опис вихідної динамічної системи при достатньо великій розмірності відновлених векторів D . А саме, повинно виконуватися умова D > 2d , де d - розмірність множини M у фазовому просторі вихідної системи, на якому відбувається модельований рух [2]. Ці твердження і становлять зміст знаменитих теорем Такенса.
Аналіз останніх досліджень
На даний момент на кафедрі КСМ вже розроблений програмний продукт, основою якого була розробка методики короткострокового прогнозу погоди по часових рядах метеопараметоров [2]. Він дозволяє на основі рядів, що знімаються з метеостанції ставити короткострокові прогнози температури, вологості, тиску та швидкості вітру. Алгоритм роботи комплексу розбивається на ряд етапів, які можна представити у вигляді схеми (рис. 1)
Рисунок 1 - Схема побудови моделі з тимчасового ряду
Розглянемо більш докладно кожний етап:
- етап № 1. Ряди зняті з метеостанції обробляються та систематизуються. Після чого проводиться їх аналіз за допомогою різних методів, з метою виявлення виражених закономірностей, які могли б спростити вибір модельних рівнянь. Це, наприклад, візуальний аналіз у вигляді графіків залежності змінної від часу, відновлення фазової траєкторії, спектральний і статистичний аналіз та інші [3 ].;
- етап № 2. Формується структура моделі. Спочатку вибирається тип рівнянь, далі задається вид входять до них функцій, після чого встановлюється зв'язок динамічних змінних (компонент вектора x) з спостерігаються величинами a. В якості змінних можуть виступати самі спостерігаються, але в більш загальному випадку цей зв'язок задають у вигляді a = h (x), де h називають вимірювальної функцією. Часто вводять ще випадкову добавку e: a = h (x) + E, щоб врахувати вимірювальний шум. Щоб зробити модель більш реалістичною, випадкову добавку вводять нерідко і в самі рівняння - так званий динамічний шум.
Формування структури моделі - найбільш складний і творчий етап процедури моделювання. На даному етапі вибирається тип рівнянь, вид входять в них функцій і їх аргументів.
Задача визначення аргументів функції полягає в тому, щоб визначити найменшу розмірність моделі, що забезпечує однозначність прогнозу. Для вирішення цього завдання використовується різні методи оцінки: метод помилкових сусідів, метод головних компонент, метод Грассбергера - Прокаччіа, метод добре пристосованого базису. Перший з них полягає в наступному.
Він заснований на перевірці того властивості, що фазова траєкторія, поновлена у просторі достатньою розмірності не повинна мати самопересеченій. При пробної розмірності D для кожного відновленого вектора xk відшукують одного (найближчого) сусіда; збільшивши D на 1, визначають, які з сусідів виявилися помилковими (сильно розійшлися), а які - справжніми. Підраховують відношення числа помилкових сусідів до загального числа відновлених векторів. Якщо при збільшенні D це число стає малим при деякому значенні D *, то останнє і є оцінка розмірності простору, в якому досягається вкладення траєкторії модельованих руху [1 ].;
- етап № 3. Далі слідує етап визначення структури модельних рівнянь. Для цього використовуються різні методи апроксимації функцій багатьох змінних: метод узагальненого многочлена, використання радіальних базисних функцій, штучні нейронні мережі, локальні моделі, пошук близьких сусідів.
Найчастіше для вирішення завдань апроксимації використовують двошарові ІНС, рідше - тришарові. Збільшення числа шарів не призводить до істотного поліпшення. Покращення домагаються за рахунок збільшення числа нейронів у шарах K1, K2. Теоретична основа використання ІНС - узагальнена апроксимаційний теорема (її окремим випадком є теорема Вейєрштрасса), яка стверджує, що будь-яка безперервна функція може бути скільки завгодно точно рівномірно наближена за допомогою ІНС.
Процедура розрахунку параметрів ІНС шляхом мінімізації - її «навчання» - це складне завдання багатовимірної нелінійної оптимізації, для вирішення якої розвинуті спеціальні «технології»: алгоритм зворотного поширення помилки, навчання з розкладом, навчання з шумом, стохастична оптимізація (генетичні методи, метод імітації відпалу). ІНС може містити дуже багато зайвих елементів, і структуру цієї моделі (архітектуру мережі) бажано зробити більш компактною. Для цього нейрони, ваги і пороги яких слабо змінюються в процесі навчання, виключаються з мережі.
Якщо є кілька альтернативних ІНС з різною архітектурою, отриманих в результаті навчання по тренувальному смузі, кращу з них зазвичай вибирають за найменшою тестової помилку апроксимації. Для отримання «Чесного» показника прогностичної ефективності моделі використовують ще один ряд (не тренувальний і не тестовий, тому що обидва вони використовувалися для побудови моделі), який називають «екзаменаційним».
Після вибору структури виконують «підгонку моделі». Для цього, як правило, проводиться пошук екстремального значення деякої цільової функції, наприклад, мінімізується сума квадратів відхилень рішення модельних рівнянь від спостережуваних даних. При необхідності на даному етапі проводяться попередні перетворення спостережуваного ряду: фільтрація від шумів, чисельне диференціювання або інтегрування і т.п. Це, в основному, технічний етап чисельних розрахунків, але і тут потрібно зробити вибір принципу розрахунку параметрів та методики для його реалізації.
З великого числа існуючих конфігурацій нейронних мереж, з урахуванням їх орієнтації на класи розв'язуваних завдань і результатів попередніх експериментів, у роботі для реконструкції модельних рівнянь були обрані три типу мереж: одношарова лінійна, двошарова нелінійна й узагальнена регресійна. Для розрахунку значень прогнозу застосовуються різні прогностичні схеми, засновані на Ітерірованіе базових, і ансамблеві варіанти [1].
- етап № 4. На останньому етапі перевіряється якість моделі. Проводиться перевірка ефективності моделі для досягнення необхідної точності прогнозу [1]. Якщо модель визнана задовільною (ефективною), отримана модель береться у справу, інакше - повертається на доопрацювання на будь-який з етапів представлених на рис. 1.
Апробація
Результати роботи доповідалися на на I всеукраїнської науково-технічної конференції студентів, аспірантів і молодих вчених «Інформаційні управляючі системи та комп'ютерний моніторинг 19-21 травня 2010 р. і опубліковані у відповідному збірнику.
Поточні і плановані результати
Як програмних засобів розробки використовується середу Matlab, що є високорівневим мовою технічних розрахунків, інтерактивним середовищем розробки алгоритмів і сучасним інструментом аналізу даних. Ефективність зумовлена насамперед її орієнтацією на матричні обчислення з програмною емуляцією паралельних обчислень та спрощеними засобами завдання циклів. Вдало реалізовані засоби роботи з багатовимірними масивами, великими і розрідженими матрицями і багатьма типами даних.
До теперішнього часу реалізовані перші два завдання, а саме:
- сформовано базу даних на сервері кафедри КСМ, в яку відбувається збереження даних з метеостанції Vantage Pro 2, встановленої на факультеті КНТ ДонНТУ. Проведена налагодження та підготовка сервера для його подальшої синхронізації з програмним продуктом. Виконано синхронізація програми з сервером з використанням інструментів Matlab;
- проведена спроба визначення головних компонент часового ряду Метеодані.
На черзі реалізація наступних завдань:
- впровадження в комплекс ряду методів обробки часових рядів - метод головних компонент, метод Еглайса [4], методи неформальної логіки;
- розширення інструментарію програмного продукту. Формування його більш інтерактивним;
- апробація;
- формування інформаційного захисту програмного комплексу;
- впровадження його в електронну мережу університету;
- адаптація для лабораторних досліджень.
Загальна схема роботи програмного комплексу представлена на малюнку 2.
Рисунок 2 - Схема роботи прогностичного
комплексу
(анімація: обсяг - 67,3 КБ; розмір - 600х300; кількість кадрів - 11; безкінечна кількість циклів повторення; затримка між кадрами - 1,3 мс; затримка між останнім та першим кадром - 1,3 мс)
Висновок
В якості основної задачі побудови прогностичного комплексу була прийнята задача удосконалення і синхронізації прогностичного комплексу з метеостанцією, а так само інтеграція його в електронну мережу університету В результаті роботи був проведений аналіз літератури з методів прогнозування і оптимізації (стиснення) тимчасових рядів. Був налагоджений збір метеопараметров з локальною метеостанції, встановленої в ДонНТУ, показана можливість прогнозування метеопараметров, за допомогою методів реконструкції модельних рівнянь, заснованих на аналізі тимчасових рядів, сформульована концепція роботи прогностичного комплексу в електронній мережі університету.
При написанні даного автореферату магістерська робота ще не завершена. Остаточна готовність роботи - грудень 2010 року. Повний текст роботи та матеріали по темі можуть бути отримані у автора або його керівника після зазначеної дати.
Список літератури
1. Гриценко А.В. Реконструкция уравнений и прогнозирование метеопараметров по их временным рядам. – Донецк, ДонНТУ, 2010. – 149 с.
2. Takens F. Detecting strange attractors in turbulence // Lec. NotesMath., 1981. V. 898. 366-381.
3. Безручко Б.П., Смирнов Д.А. Математическое моделирование и хаотические временные ряды. Саратов: ГосУНЦ «Колледж», 2005. – 320 с.
4. Эглайс В.О. Аппроксимация табличных данных многомерным уравнением регрессии. – Вопросы динамики и прочности: Рига, 1981, Вып. 39. – с. 120-125.
5. Заенцев И.В. Нейронные сети: основные модели. Воронеж, 1999. 76 с.
6. Гриценко А.В. Прогнозирование метеопараметров по временным рядам. – Компьютерный мониторинг и информационные технологии 2008 / Материалы IV международной научной конференции студентов, аспирантов и молодых ученых. – Донецк, ДонНТУ – 2009.
7. Гриценко А.В. Использование локальных метеостанций для прогноза погоды. Метеокомплекс VANTAGE PRO 2. – Охрана окружающей среды и рациональное использование природных ресурсов 2009 / Материалы VIII международной научной конференции аспирантов и студентов. – Донецк, ДонНТУ – 2009.
8. Горбань А.Н. Функции многих переменных и нейронные сети // Соросовский образовательный журнал. 1998. № 12. С. 105-112.
9. Christopher R. Williams. Applying neural network models to prediction and data analysis in meteorology and oceanography // Journal of Atmospheric and Oceanic Technology, Volume 79, Issue 9 (September 1998) pp. 1855-1870
10. Will Dwinnell. Putting PCA to work. [Електронний ресурс] - Режим доступу до статті: http://matlabdatamining.blogspot.com/20 10/02/putting-pca-to-work.html
