УДК 621.311:519.876.5

ПРОГНОЗИРОВАНИЕ ТЕПЛОВОЙ НАГРУЗКИ С МНОГОРАЗРЕШАЮЩИМ ПРЕДСТАВЛЕНИЕМ ГЕТЕРОГЕННОГО ВРЕМЕННОГО АНСАМБЛЯ

Сатяки Чаттерджи 1,a,b, Адитхья Рамачандран 1,a, Торкил Фленсмарк Б. Неергаард 2,c,
Андреас Майер 3,a, Симинг Байер 4,a
aЛаборатория распознавания образов, Университет Фридриха-Александра в Эрлангене-Нюрнберге,
ул. Мартенсштрассе, 3, 91058 Эрланген, Германия
bDiehl Metering GmbH, Донауштрассе 120, 90451 Нюрнберг, Германия
cBrønderslev Forsyning, Вирксомхедсвей 20, 9700 Брённерслев, Дания
1satyaki.chatterjee@fau.de, 1adithya.ramachandran@fau.de,
2tbn@bronderslevforsyning.dk, 3andreas.maier@fau.de, 4siming.bayer@fau.de
* Эти авторы внесли равный вклад в работу
Аннотация. Одной из первостепенных проблем, с которыми сталкиваются коммунальные компании, является обеспечение эффективного снабжения с минимальными выбросами парниковых газов. Появление интеллектуальных счетчиков и умных сетей предоставляет беспрецедентное преимущество в реализации оптимизированного снабжения тепловой энергией с помощью проактивных методов, таких как прогнозирование нагрузки. В данной статье мы предлагаем прогностическую модель для тепловой нагрузки на основе нейронных сетей, где временные ряды кодируются в виде скалограмм, обладающих способностью внедрять экзогенные переменные, такие как погода, праздничные/непраздничные дни. Впоследствии сверточные нейронные сети (CNN) используются для многошагового прогнозирования тепловой нагрузки. Наконец, предложенная модель сравнивается с другими современными методами, такими как SARIMAX и LSTM. Количественные результаты ретроспективных экспериментов показывают, что предложенная модель последовательно превосходит современный базовый метод на реальных данных, полученных из Дании. Минимальная средняя ошибка в 7,54% для MAPE и 417 кВт для RMSE достигается с предложенной моделью по сравнению со всеми другими методами.
Ключевые слова: прогнозирование тепловой нагрузки; скалограмма; непрерывное вейвлет-преобразование; сверточные нейронные сети; временные ряды; экзогенные переменные.
1. ВВЕДЕНИЕ
В текущем глобальном сценарии мир сосредоточен на наращивании усилий по минимизации своего углеродного следа. В 2020 году 90% мирового теплоснабжения обеспечивалось за счет ископаемого топлива, и хотя были достигнуты значительные технологические успехи, глобальная потребность в энергии для отопления помещений и воды оставалась стабильной с 2010 года [1], [2]. В условиях растущей срочности осознанного использования энергии надежный подход к прогнозированию тепловой нагрузки является императивом. Природа данных о потреблении тепла представлена в виде временного ряда, который представляет собой набор выборок данных, предоставляющих информацию благодаря своей последовательной природе. Прогнозирование временных рядов — это процесс предсказания целевых значений в будущем периоде времени на основе наблюдаемых исторических данных. Сложность прогнозирования тепловой нагрузки возникает из-за его нелинейной природы, обусловленной моделями поведения человека, зависимостью от погоды [3], рабочих/нерабочих дней [4], свойств зданий [5] и т.д., создающих суточные, недельные и сезонные закономерности. Такие сложные зависимости делают проблему прогнозирования тепловой нагрузки многомерной.
Современные методы прогнозирования тепла можно разделить на три группы: статистические модели, машинное обучение и модели глубокого обучения. Статистические методы, основанные на регрессии, включают авторегрессионную скользящую среднюю (ARMA), авторегрессионную интегрированную скользящую среднюю (ARIMA), сезонную ARIMA с экзогенными факторами (SARIMAX), авторегрессионную условную гетероскедастичность (ARCH) и их варианты [6], [7]. Методы машинного обучения, такие как регрессия опорных векторов (SVR), также используются в контексте прогнозирования временных рядов как самостоятельно, так и в виде гибридных моделей со статистическими моделями [8], [9], [10]. Методы глубокого обучения в настоящее время находятся на переднем крае прогнозирования временных рядов благодаря их способности изучать нелинейные функции с помощью универсальных аппроксиматоров функций. Архитектуры, такие как рекуррентные нейронные сети (RNN) и их прогрессивные варианты, используют последовательную природу данных временных рядов для прогнозирования будущих целевых значений [11], [12], [13], [14].
Недооцененным аспектом прогнозирования является частотная составляющая временного ряда. Многие реальные данные представляют собой сложную агрегацию различных компонентов. Благодаря достижениям в обработке сигналов такие сигналы временных рядов могут быть преобразованы в представление в масштабно-временной области в виде скалограммы с использованием непрерывного вейвлет-преобразования (CWT). Скалограмма аналогична изображению, которое представляет коэффициенты CWT во времени и масштабе в виде двух пространственных координат с детальным временно-частотным разрешением по сравнению с спектрограммой, которая ограничена фиксированным размером окна, что позволяет проводить многоразрешающий анализ признаков временного ряда. Масштабы обратно пропорциональны частотам. Это по сути переносит область из временных рядов в компьютерное зрение, где сверточные нейронные сети (CNN) используются для классификации изображений и распознавания объектов, среди прочего. Мы используем это изображение-подобное представление временного ряда для изучения локализованных временно-частотных признаков, различая разные частоты в разные моменты времени [15], [16].
Учитывая многогранную проблему прогнозирования, мы предлагаем модель, вносящую следующий вклад: (1) Модель прогнозирования на основе глубокого обучения для краткосрочного (24 часа вперед) прогноза тепловой нагрузки на районном уровне; (2) Модель на основе многоразрешающего представления (скалограмма), захватывающая локализованные нелинейные временно-частотные признаки тепловой нагрузки с экзогенными переменными; (3) Способность модели прогнозировать в разные сезоны и оценивать ее производительность с существующими стандартными методами глубокого обучения и статистическими методами.
2. ОБЗОР МЕТОДА
Основная методология нашей модели (Рисунок 1) основана на многошаговом прогнозировании последовательность-к-последовательности с возможностью обработки многоразрешающего представления (вейвлет-скалограмм) нескольких входных временных рядов, а именно: исторического потребления, исторических и прогнозируемых погодных данных, а также закодированной экзогенной информации, такой как день недели или праздничный день, одновременно.
Рис. 1. Графическое представление модели.
Рис. 1. Графическое представление модели.
Пусть x(t) = [xt-h, xt-h+1, ..., xt], где xi ∈ ℝ — значение потребления в момент времени i, представляет h исторических наблюдений, которые используются для прогнозирования целевых переменных y(t) = [xt+1, xt+2, ..., xt+n], где n — горизонт прогнозирования. Вейвлет-скалограммы для исторического потребления тепла, исторической погоды wp(t) = [wt-h, wt-h+1, ..., wt] и прогнозируемой погоды на горизонте прогнозирования wf(t) = [wt+1, wt+2, ..., wt+n] генерируются с помощью CWT. Вейвлет-преобразование преобразует каждый сигнал из одномерного временного ряда в многомерные данные размером s × h, где s — количество масштабов в скалограмме. Математическое обоснование CWT приведено в [17], [18]. Отдельные вейвлет-скалограммы имеют одинаковую размерность из-за ограничения на s, которое должно быть постоянным для всех трех потоков данных, чтобы обеспечить конкатенацию для 3-канального изображения-подобного представления размером 3 × s × h. Использование wp(t) и wf(t) накладывает дополнительное ограничение, такое что h = n. Кроме того, информация о буднем/праздничном дне (или выходном) текущего дня и следующего дня кодируется в матрицу размерностью s × h, содержащую только единицы или только нули, в зависимости от того, является ли рассматриваемый день выходным/праздничным или будним. Эти две матрицы дополнительно конкатенируются с существующими изображениями-подобными 3-канальными данными, чтобы сформировать 5-канальный вход для CNN. Модель на основе CNN обучается на (N/h) количестве примеров, где модель стремится изучить и преобразовать h исторических наблюдений в n будущих оценок, извлекая такие признаки, как тренд, множественная сезонность, зависимости от внешних факторов и латентные признаки из многоканального входа. Слой пулинга после свертки деактивирован, потому что слои пулинга имеют тенденцию сглаживать прогнозы [19]. Модель CNN, используемая здесь, имеет три сверточных слоя, за которыми следуют один слой выравнивания и три полностью связанных слоя с отсевом (dropout) между двумя последними полностью связанными слоями. Выходной слой имеет n узлов, столько же, сколько горизонт прогнозирования (n часов).
3. ЭКСПЕРИМЕНТАЛЬНАЯ УСТАНОВКА
Данные о потреблении тепла на уровне счетчиков с 2015 по 2018 год от датской коммунальной компании с тремя зонами централизованного теплоснабжения используются для проведения ретроспективных экспериментов. Данные о потреблении счетчиков отбираются ежечасно и агрегируются на зональном уровне, чтобы получить спрос на централизованное теплоснабжение. Погодные данные представлены температурой ощущаемой температуры с часовым разрешением для того же датского города, поскольку ощущаемая температура передает комбинированную информацию о максимальной и минимальной температуре, скорости ветра, влажности и другой метеорологической информации. Мы также включили информацию о государственных праздниках из датского календаря вместе с информацией о дне недели. Данные о потреблении, погодные данные и данные о дне недели/праздниках отбираются за один и тот же период времени. Затем эти данные разбиваются на 730 дней для обучения, 180 дней для проверки и тестирования. Входом в модель являются 5-канальные данные, похожие на изображение, где скалограммы генерируются с \(\hat{h},s=24\) с использованием мексиканского вейвлет-базиса, а выходом является прогнозируемая тепловая нагрузка с \(n=24\). Чтобы предотвратить обучение модели на ошибочных наблюдениях, накопленные данные о потреблении счетчиков сначала проверяются на монотонное увеличение, поскольку отрицательное потребление или поток недопустимы. Аномальные данные, указывающие на отрицательную скорость потребления, корректируются до нулевого состояния потребления. Фактические данные о потреблении тепла получаются путем разности первого порядка накопленных данных о потреблении. Фактические данные о потреблении вместе с ощущаемой температурой дополнительно масштабируются (нормализуются) от нуля до единицы.
Три сверточных слоя имеют [64, 128, 32] ядер с размером ядра три, с заполнением 'same' и функцией активации Rectified Linear Unit (ReLU), тогда как полностью связанные слои активируются с помощью функции активации Leaky-ReLU. Мы используем оптимизатор Adam и среднеквадратическую ошибку (MSE) в качестве функции потерь для обучения модели. Сеть обучается до сходимости, и подходящая модель выбирается в соответствии с потерей на валидации, чтобы предотвратить переобучение. Для обучения был выбран размер пакета 7, чтобы каждый пакет представлял каждую неделю. Для количественной оценки мы используем метрику средней абсолютной процентной ошибки (MAPE) для прогноза на 24 часа вперед. Из-за асимметричной тенденции штрафования MAPE в прогнозировании временных рядов [20], [10], среднеквадратическая ошибка (RMSE) дополнительно выбирается для оценки производительности прогнозирования.
4. РЕЗУЛЬТАТЫ И ОБСУЖДЕНИЕ
Производительность предложенной модели оценивается по сравнению с моделью LSTM и SARIMAX при постоянной экспериментальной установке, в разных зонах снабжения и в разные климатические сезоны, как качественно, так и количественно. На рисунке 2 показана производительность моделей в разные сезоны года в разных зонах. Качественное сравнение, изображенное на рисунке 2 (слева вверху, справа вверху), демонстрирует как превосходство нашей предложенной модели в захвате изменяющегося во времени тренда, присутствующего в ежедневном потреблении в течение недели или сезона, так и внутреннюю способность захватывать базовый профиль нагрузки на дневном уровне независимо от сезона. В отличие от этого, модель LSTM показывает свою способность прогнозировать профили нагрузки на дневном уровне в разные сезоны, но не может уловить изменение долгосрочного контекста глобального тренда в разные сезоны, что приводит к недооценке зимой и переоценке летом. Модель SARIMAX изучает глобальный тренд по сезонам и упрощенную дневную сезонность, но не экстремальный динамический диапазон потребления в выходные или праздничные дни. Предложенный метод, в сравнении, демонстрирует свою способность не только изучать глобальный тренд и дневную сезонность, но и его взаимосвязь с другими факторами, такими как ощущаемая температура и информация о праздниках, вместе с локальными колебаниями потребления, которые происходят в течение дня.
Рис. 2. Качественная сравнительная оценка всех моделей за восемь дней зимой 2018 (слева вверху) и летом 2018 (справа вверху) в зоне теплоснабжения; MAPE прогноза по разным зонам (слева внизу), RMSE прогноза по разным зонам (справа внизу).
Рис. 2. Качественная сравнительная оценка всех моделей за восемь дней зимой 2018 (слева вверху) и летом 2018 (справа вверху) в зоне теплоснабжения; MAPE прогноза по разным зонам (слева внизу), RMSE прогноза по разным зонам (справа внизу).
Это доказывает способность нашей предложенной модели изучать зависимость как от частотных, так и от временных компонентов, которые присутствуют в вейвлет-скалограммах. Количественные оценки, показанные на рисунке 2 (слева внизу и справа внизу), изображают превосходство нашего предложенного метода над двумя другими базовыми методами с точки зрения более низкого среднего MAPE и гораздо меньшей дисперсии в разные сезоны и зоны, что доказывает наше утверждение относительно устойчивости метода к пониманию моделей потребления независимо от сезонов или зон централизованного теплоснабжения.
5. ЗАКЛЮЧЕНИЕ
В этой работе мы формулируем модель на основе CNN для прогнозирования тепловой нагрузки с изображением-подобным представлением для временных рядов. Как следствие, экзогенные переменные, такие как погодные данные, информация о рабочих днях/выходных/праздниках, могут быть включены в качестве дополнительных каналов в многомерное изображение напрямую. Используя предложенную модель, мы выполняем прогноз на 24 часа вперед для почасовых данных и сравниваем его производительность с базовой моделью LSTM, а также с методом SARIMAX. Как качественные, так и количественные результаты демонстрируют способность предложенной модели прогнозировать тепловую нагрузку по сравнению с современными методами с более низкими метриками ошибок прогнозирования. Одним из ограничений в предложенной модели является то, что горизонт прогнозирования и исторические входы должны быть одинакового размера, чтобы обеспечить конкатенацию для создания 5-канального входа. В качестве расширения этой работы можно исследовать влияние размера свертки, типа свертки, чтобы понять важность пространственных признаков в скалограмме. С точки зрения применения, недооценка тепловой нагрузки менее предпочтительна, чем переоценка, для обеспечения адекватного снабжения. В этом отношении необходимо включить функцию потерь, которая сильно штрафует недооценку по сравнению с переоценкой. Прогнозирование на районном зональном уровне помогает оптимизировать распределение тепла, производимого на зональном уровне, позволяя принимать обоснованные решения — приводя к дальнейшему сокращению выбросов углерода.
6. ПРИЛОЖЕНИЕ
6.1. Вейвлет-скалограмма
Вейвлет-скалограммы, показанные на рисунке 3, изображают распределение величины коэффициентов вейвлет-преобразования по разным масштабам и временному разрешению. Здесь вейвлет-скалограммы погодной информации, т.е. ощущаемой температуры (Рисунок 3a, Рисунок 3c), и скалограммы потребления тепла (Рисунок 3b, Рисунок 3d) явно показывают интуитивную обратную зависимость между погодой и потреблением тепла. Очевидно, что не каждый временно-масштабный компонент имеет равное распределение величины коэффициентов CWT, которые модель намеревается интерпретировать, использовать и прогнозировать будущий вектор потребления.
Рис. 3. Визуализация вейвлет-скалограмм данных временных рядов, используемых для обучения модели.
Рис. 3. Визуализация вейвлет-скалограмм данных временных рядов, используемых для обучения модели.
6.2. Влияние экзогенных факторов на тепловую нагрузку
Рисунок 4 демонстрирует влияние погоды на фактическое и прогнозируемое потребление тепла в начале весны года, которая характеризуется частыми погодными колебаниями. Но потребление тепла не полностью управляется погодой, но также и другими факторами, например, является ли день праздничным или выходным. Поведение массы в выходные или праздничные дни в определенный сезон года все еще может влиять на потребление тепла.
Рис. 4. Сравнение фактического и прогнозируемого потребления и его связь с изменением погоды в течение одного месяца.
Рис. 4. Сравнение фактического и прогнозируемого потребления и его связь с изменением погоды в течение одного месяца.
В качестве доказательства нашего утверждения о том, что модель в нашем предложенном методе изучает сложную нелинейную взаимосвязь между потреблением тепла, погодой и днем недели или государственным праздником, рисунок 5 изображает взаимосвязь между этими факторами и их влияние на прогнозируемое потребление тепла в зоне 2 в течение одной недели. Убывающий тренд ощущаемой температуры вызвал снижение фактического и прогнозируемого потребления с 14 по 16 февраля. Несмотря на то, что погода составляла возрастающий тренд в начале выходных, т.е. 17 февраля, фактическое и прогнозируемое потребление тепла оставалось более или менее таким же, как и 15 февраля. Можно сделать вывод, что люди в этом регионе Дании в зимнее время склонны оставаться дома, что приводит к росту потребления тепла, которое должно было быть ниже, поскольку ощущаемая температура увеличилась.
Рис. 5. Сравнение фактического и прогнозируемого потребления и его связь с изменением погоды и праздниками в течение одной недели.
Рис. 5. Сравнение фактического и прогнозируемого потребления и его связь с изменением погоды и праздниками в течение одной недели.
СПИСОК ЛИТЕРАТУРЫ

1. Thibaut Abergel Chiara Delmastro. International Energy Agency (IEA) (2021), Heating. IEA, Paris, 2021. URL: https://www.iea.org/reports/heating.

2. Chiara Delmastro. International Energy Agency (IEA) (2021), District Heating. IEA, Paris, 2021. URL: https://www.iea.org/reports/district-heating.

3. Victoria Aragon, Patrick A.B. James, and Stephanie Gauthier. "The influence of weather on heat demand profiles in UK social housing tower blocks". In: Building and Environment 219 (2022), p. 109101. ISSN: 0360-1323. DOI: https://doi.org/10.1016/j.buildenv.2022.109101. URL: https://www.sciencedirect.com/science/article/pii/S0360132322003389.

4. Magnus Dahl et al. "Improving Short-Term Heat Load Forecasts with Calendar and Holiday Data". In: Energies 11.7 (2018). ISSN: 1996-1073. DOI: 10.3390/en11071678. URL: https://www.mdpi.com/1996-1073/11/7/1678.

5. Zhanyu Ma et al. "Statistical analysis of energy consumption patterns on the heat demand of buildings in district heating systems". In: Energy and Buildings 85 (2014), pp. 464-472. ISSN: 0378-7788. DOI: https://doi.org/10.1016/j.enbuild.2014.09.048. URL: https://www.sciencedirect.com/science/article/pii/S0378778814007853.

6. Erik Dotzauer. "Simple model for prediction of loads in district-heating systems". In: Applied Energy 73.3 (2002), pp. 277-284. ISSN: 0306-2619. DOI: https://doi.org/10.1016/S0306-2619(02)00078-8. URL: https://www.sciencedirect.com/science/article/pii/S0306261902000788.

7. Tingting Fang and Risto Lahdelma. "Evaluation of a multiple linear regression model and SARIMA model in forecasting heat demand for district heating system". In: Applied Energy 179 (2016), pp. 544-552. ISSN: 0306-2619. DOI: https://doi.org/10.1016/j.apenergy.2016.06.133. URL: https://www.sciencedirect.com/science/article/pii/S0306261916309217.

8. Luca Ghelardoni, Alessandro Ghio, and Davide Anguita. "Energy Load Forecasting Using Empirical Mode Decomposition and Support Vector Regression". In: IEEE Transactions on Smart Grid 4.1 (2013), pp. 549-556. DOI: 10.1109/TSG.2012.2235089.

9. Arash Moradzadeh et al. "Performance Evaluation of Two Machine Learning Techniques in Heating and Cooling Loads Forecasting of Residential Buildings". In: Applied Sciences 10.11 (2020). ISSN: 2076-3417. DOI: 10.3390/app10113829. URL: https://www.mdpi.com/2076-3417/10/11/3829.

10. Satyaki Chatterjee, Siming Bayer, and Andreas K Maier. "Prediction of Household-level Heat-Consumption using PSO enhanced SVR Model". In: NeurIPS 2021 Workshop on Tackling Climate Change with Machine Learning. 2021. URL: https://www.climatechange.ai/papers/neurips2021/42.

11. Roman Petrichenko et al. "District heating demand short-term forecasting". In: 2017 IEEE International Conference on Environment and Electrical Engineering and 2017 IEEE Industrial and Commercial Power Systems Europe (EEEIC I&CPS Europe). 2017, pp. 1-5. DOI: 10.1109/EEEIC.2017.7977633.

12. Gowri Suryanarayana et al. "Thermal load forecasting in district heating networks using deep learning and advanced feature selection methods". In: Energy 157 (2018), pp. 141-149. ISSN: 0360-5442. DOI: https://doi.org/10.1016/j.energy.2018.05.111. URL: https://www.sciencedirect.com/science/article/pii/S0360544218309381.

13. Daniel L. Marino, Kasun Amarasinghe, and Milos Manic. "Building energy load forecasting using Deep Neural Networks". In: IECON 2016 - 42nd Annual Conference of the IEEE Industrial Electronics Society. 2016, pp. 7046-7051. DOI: 10.1109/IECON.2016.7793413.

14. Sameh Mahjoub et al. "Predicting Energy Consumption Using LSTM, Multi-Layer GRU and Drop-GRU Neural Networks". In: Sensors 22.11 (2022). ISSN: 1424-8220. DOI: 10.3390/s22114062. URL: https://www.mdpi.com/1424-8220/22/11/4062.

15. Yi Zhao et al. "Forecasting Wavelet Transformed Time Series with Attentive Neural Networks". In: 2018 IEEE International Conference on Data Mining (ICDM). 2018, pp. 1452-1457. DOI: 10.1109/ICDM.2018.00201.

16. Szabolcs Kovac et al. "Comparison of Heat Demand Prediction Using Wavelet Analysis and Neural Network for a District Heating Network". In: Energies 14.6 (2021). ISSN: 1996-1073. DOI: 10.3390/en14061545. URL: https://www.mdpi.com/1996-1073/14/6/1545.

17. O. Rioul and M. Vetterli. "Wavelets and signal processing". In: IEEE Signal Processing Magazine 8.4 (1991), pp. 14-38. DOI: 10.1109/79.91217.

18. Manel Rhif et al. "Wavelet Transform Application for/in Non-Stationary Time-Series Analysis: A Review". In: Applied Sciences 9.7 (2019). ISSN: 2076-3417. DOI: 10.3390/app9071345. URL: https://www.mdpi.com/2076-3417/9/7/1345.

19. Shuai Liu, Hong Ji, and Morgan C. Wang. "Nonpooling Convolutional Neural Network Forecasting for Seasonal Time Series With Trends". In: IEEE Transactions on Neural Networks and Learning Systems 31.8 (2020), pp. 2879-2888. DOI: 10.1109/TNNLS.2019.2934110.

20. Paul Goodwin and Richard Lawton. "On the asymmetry of the symmetric MAPE". In: International Journal of Forecasting 15.4 (1999), pp. 405-408. ISSN: 0169-2070. DOI: https://doi.org/10.1016/S0169-2070(99)00007-2. URL: https://www.sciencedirect.com/science/article/pii/S0169207099000072.

← Назад