Оценка заполненности помещений с помощью недорогих устройств BLE

I. Введение

Развертывание умных зданий набрало обороты в последние годы благодаря широкой доступности недорогих и точных сенсорных и исполнительных устройств, которые управляются передовыми системами на основе искусственного интеллекта. Это способствовало разработке нескольких умных приложений во многих соответствующих сценариях, таких как здравоохранение [1, 2], помощь пожилым людям и людям с особыми потребностями [3, 4, 5], распознавание человеческой активности [6, 7], системы отопления, вентиляции и кондиционирования [8], распознавание состояния окружающей среды [9] и решения для умного дома в целом [10].

Одной из критических проблем в этих сценариях является обнаружение того, занята ли комната. Если эта информация доступна в реальном времени, соответствующие решения могут приниматься быстро и автоматически. Например, кондиционирование/отопление и освещение могут быть выключены, как только комната опустеет. Если количество людей в комнате может быть оценено, такие системы, как вентиляция, могут управляться адаптивно, тем самым улучшая качество воздуха и дополнительно снижая потребление энергии. Информация о заполненности также важна в случае чрезвычайной ситуации, когда спасательные действия должны быть направлены в комнаты, в которых было обнаружено присутствие людей. Следовательно, автоматическое обнаружение присутствия людей и оценка их количества часто изучались в последнее время [11, 12, 13, 14].

Связанные работы:

Технологии для обнаружения заполненности и оценки количества людей в комнате можно broadly разделить на a) установки в комнате, например, [13], и b) носимые устройства, например, [11]. Носимые решения полагаются на датчики, которые носятся на теле каждого субъекта в комнате. Эти устройства излучают беспроводные сигналы, которые анализируются приемниками, установленными в окружающей среде. Однако предположение, что каждый человек всегда носит такое устройство при входе в конкретную комнату, нереалистично в практических сценариях. По этой причине недавние исследования сосредоточились на методах, которые полагаются только на устройства, развернутые в инфраструктуре комнаты [7, 15], без необходимости в каких-либо носимых устройствах. Методы, которые полагаются исключительно на установки в комнате, используют анализ таких свойств, как уровень CO₂, аудиосигналы, видеоизображения или модели распространения радиосигналов. Другие feasible методы полагаются на косвенные измерения, такие как качество воздуха, которое может быть оценено с использованием электромагнитных полей [16]. Кроме того, большое количество опубликованных подходов полагается на вывод информации о заполненности из информации о состоянии канала (CSI) сетей WiFi. Обнаружение заполненности с использованием беспроводных сигналов является сложной проблемой, особенно из-за множества действий и позиций, которые люди могут занимать в окружающей среде, что приводит к большому разнообразию различных моделей сигналов. Например, Yang et al. [17] представили платформу IoT с поддержкой WiFi для обнаружения заполненности в реальном времени, без устройств и с сохранением конфиденциальности. Этот подход использует информацию CSI и может достичь точности обнаружения 96,8%. Depatla et al. [18] предлагают методологию для идентификации двух отличительных моделей в данных CSI, связанных с людьми в комнате: блокирование прямой видимости (LOS) и рассеяние. На основе этого можно оценить общее количество occupants, достигая точности 96%. Аналогично, Zou et al. [13] представили методологию обнаружения заполненности на основе данных CSI. Она измеряет сходство между соседними временными рядами CSI и достигает точности 99,1%. Chen et al. [19] предложили систему обнаружения заполненности, которая полагается на анализ изменений в статистических показателях потребляемой зданием мощности (т.е., электричество для вентиляции и освещения). Аналогично, Akbar et al. [20] представили систему обнаружения заполненности на основе потребления электрической энергии. Здесь применялись алгоритмы машинного обучения, такие как kNN и SVM. Этот подход заявляет о средней точности 94%. Кроме того, системы на основе BLE были широко изучены. Mateos et al. [21] представили носимую методологию, которая использует маячки BLE с частотой вещания ≈ 10 Гц и смартфоны для определения уровня заполненности в indoor и outdoor пространствах, достигая средней точности 95%. Chen et al. [22] представили стохастическую методологию, которая одновременно использует данные BLE и WiFi. Она использует частоту 1 Гц и использует информацию о подключении/трафике для оценки количества пользователей и состояния окружающей среды.

Ограничения существующих подходов:

Большинство ранее известных подходов требуют специального оборудования с высокой вычислительной мощностью. Кроме того, в контролируемых комнатах должны быть установлены специальные устройства. Это также верно для настроек на основе WiFi. В частности, коммерчески доступные устройства WiFi, такие как маршрутизаторы и ноутбуки, обычно не предоставляют доступ к данным CSI. Только очень немногие системы на кристалле (SoC) WiFi изначально предоставляют доступ к данным CSI, и все они устарели. По этой причине большинство недавних подходов строятся на основе серии BCM43 от Broadcom, для которой framework патчинга прошивки [23, 24] разблокирует доступ к данным CSI. Следовательно, специальные приемники WiFi должны быть установлены в здании только с целью сбора данных CSI. Поскольку радиомодули WiFi обычно потребляют много энергии, им необходим доступ к электрической сети. Кроме того, пропатченная прошивка не позволяет таким устройствам активно общаться по сетям WiFi, поскольку они могут действовать только как наблюдатели, которые извлекают сигналы WiFi. Следовательно, такие приемники также требуют доступа к проводной сети для передачи собранных данных CSI на сервер. В итоге, системы обнаружения заполненности на основе CSI требуют значительных усилий по установке и, следовательно, затрат. Кроме того, они должны планироваться и устанавливаться заранее и не могут гибко использоваться на лету, когда необходимость обнаружения заполненности возникает в короткие сроки. Наконец, основное ограничение существующих методологий на основе BLE заключается в том, что они в основном интегрированы в носимые системы, взаимодействующие с существующей инфраструктурой WiFi/BLE. Кроме того, их частота дискретизации обычно ниже 10 Гц, что негативно влияет на их точность.

Вклад этой статьи:

Чтобы преодолеть эти ограничения, в этой статье представлена легко доступная платформа обнаружения заполненности и подсчета людей, основанная на мобильном приложении Android и устройствах BLE (например, с использованием недорогого SoC nRF52832). Предлагаемая система, которая полагается на несколько устройств BLE, может быть гибко развернута в комнате, например, путем приклеивания их к стенам. Такие устройства могут работать от батареи и могут работать в течение нескольких дней или недель, прежде чем потребуется их перезарядка. Следовательно, им не нужен доступ к электрической сети и не нужно подключаться к проводной сети. Смартфон Android, одноплатный компьютер (SBC) или ПК, который может отправлять результаты о заполненности на сервер через WiFi, действует как приемник BLE. Наша система обнаружения анализирует полученные сигналы BLE с использованием методов распознавания образов. Она основана на том понимании, что заполненность вызывает изменения в моделях распространения радиосигналов, которые можно наблюдать в индикаторе мощности принятого сигнала (RSSI). Основные характеристики предлагаемого подхода следующие.

• Низкая стоимость: Каждый узел стоит всего несколько долларов США (например, SoC nRF52832 стоит ≈ 2 USD), что составляет лишь часть стоимости точки доступа WiFi (т.е., ≈ 100 USD). Приемником может быть стандартный смартфон Android, доступный начиная менее чем за 100 USD;
• Ненавязчивость: Пользователям не нужно носить никакие устройства на теле, и камеры не используются;
• Совместимость: Наш подход правильно работает с любым отправителем/приемником BLE, который предоставляет возможность измерения RSSI с частотой не менее 45 Гц;
• Повсеместность и гибкость: Будучи мобильной системой "карманного размера", наш подход подходит для сред без существующей инфраструктуры;
• Точность: Производительность предлагаемого подхода сравнима с производительностью существующих систем на основе CSI.

В целом, основные вклады этой работы следующие.

• Мы предлагаем систему обнаружения заполненности на основе BLE, которая имеет значительно меньшую стоимость и усилия по установке по сравнению с существующими подходами;
• Мы оцениваем ее производительность, используя несколько реальных измерений и применяя рабочий процесс, использующий несколько алгоритмов распознавания образов (т.е., алгоритмы регрессии и классификации), питаемых как представлениями признаков, так и необработанными данными измерений;
• Мы экспериментально сравниваем ее производительность с современными системами на основе CSI. Чтобы сделать оба подхода сопоставимыми, мы реализовали такую систему на основе CSI в тех же средах, что и нашу предлагаемую систему на основе BLE. Наши результаты показывают, что гораздо более простой сигнал RSSI BLE достаточен как для точного обнаружения заполненности комнаты, так и для оценки количества людей внутри нее.

Наша предыдущая работа:

Эта статья является расширением нашей конференционной статьи [25]. Среди прочих изменений мы добавили оценку, которая сравнивает наш подход на основе BLE с методом, использующим современную информацию CSI.

Структура статьи:

Остальная часть статьи организована следующим образом. Раздел II предоставляет необходимый предварительный материал. Раздел III детализирует предлагаемую методологию. Раздел IV обсуждает экспериментальные результаты. Наконец, заключительные замечания приведены в разделе V.

II. Предварительные сведения

Этот раздел представляет необходимый предварительный материал, на котором построен наш предлагаемый подход.

A. Индикатор мощности принятого сигнала (RSSI)

В технологиях радиосвязи индикатор мощности принятого сигнала (RSSI) указывает мощность принятого сигнала, измеренную приемным устройством. В BLE RSSI является целочисленным значением, которое указывает принятую мощность в дБм. RSSI часто используется для создания отпечатков [26] в приложениях локализации, где определенная сигнатура значений RSSI используется для идентификации известного местоположения. В этой статье мы используем различные модели распространения RSSI, чтобы определить, занята ли комната, и оценить количество людей внутри нее. Анализ собранных данных с помощью специальных методов распознавания образов предоставляет возможность идентифицировать модели, соответствующие количеству людей в окружающей среде, и в некоторых случаях деятельности, которую эти люди выполняют (например, ходьба, лежание или сидение) [17].

B. Информация о состоянии канала

В соответствии со стандартом 802.11ac, сети WiFi используют ортогональное частотное мультиплексирование (OFDM) как метод цифровой передачи. Здесь каждый канал использует полосу пропускания 20, 40, 80 или 160 МГц [27]. Каждый канал подразделяется на 64 (для каналов 20 МГц) до 512 (для каналов 160 МГц) поднесущих. Каждая поднесущая использует различные частоты внутри канала, и данные передаются одновременно на всех этих поднесущих параллельно. Пусть X — сигнал, излучаемый на конкретной поднесущей, а Y — соответствующий сигнал, прибывший на приемник. Тогда обычно предполагается следующее соотношение [28].

Y = H · X + N

Здесь N представляет шум, тогда как H — это информация о состоянии канала (CSI). Когда сигнал передается по беспроводному каналу, он ослабляется и/или претерпевает изменение фазы. Оба эффекта количественно определяются CSI H. Следовательно, H для одного кадра WiFi является вектором, который содержит комплексное число для каждой поднесущей, описывающее, как изменились амплитуда и фаза сигнала. Присутствие человеческих тел и их движения оказывают большое влияние на H. Поэтому можно вывести информацию о заполненности комнаты из сигналов CSI.

В наших экспериментах мы используем WiFi-радио bcm43455c0 с модифицированной прошивкой на основе framework патчинга прошивки Nexmon [23, 24]. Мы используем каналы 20 МГц с 64 поднесущими. Следовательно, для каждого полученного кадра WiFi мы получаем 64 значения амплитуды и фазы, из которых 56 связаны с фактическими передачами данных [27]. В этой работе мы используем информацию об амплитуде от нескольких различных точек доступа в комнате, чтобы определить, занята ли комната или нет. Для этого мы используем классификаторы, описанные в разделе III-C, и сравниваем результаты, полученные при использовании CSI, с результатами, полученными от системы на основе BLE и RSSI.

C. Алгоритмы регрессии и классификации

Регрессия и классификация — это методы на основе искусственного интеллекта, которые применяют алгоритм обучения с учителем на размеченных обучающих данных. После обучения на размеченных данных неизвестный вход может быть классифицирован, или свойство, которое имеет некоторую зависимость от входных данных, может быть предсказано [29].

Классификация направлена на решение, какой выбор среди набора классов лучше всего объясняет определенный, ранее неизвестный вход. Это наиболее распространенная операция в машинном обучении и сильно зависит от представления данных (т.е., необработанные данные, вручную или автоматически извлеченные признаки). Качество этой классификации обычно оценивается по точности (precision) P, специфичности (specificity) S, полноте (recall) R, также называемой чувствительностью (sensitivity), и общей точности (accuracy) A. Эти метрики определяются следующим образом [30]:

P = tp / (tp + fp) S = tn / (fp + tn)
R = tp / (tp + fn) A = (tp + tn) / (p + n)

Здесь tp представляет количество истинно положительных, fp — количество ложно положительных, n — общее количество отрицательных, а p — общее количество положительных. Точность и полнота количественно определяют, насколько классификатор может избежать ложных срабатываний и правильно классифицировать все выборки, принадлежащие определенному классу, в то время как специфичность количественно определяет способность правильно классифицировать истинно отрицательные. Наконец, точность — это количество правильно классифицированных выборок данных из всех выборок.

В то время как цель классификации — определить, к какому классу принадлежит определенное наблюдение, регрессия пытается предсказать значение на основе наблюдения входных данных. Набор независимых переменных, которые формируют вход, называются "предикторами" или "признаками" [29]. Точность модели регрессии измеряется в терминах среднеквадратичной ошибки (RMSE) и средней абсолютной ошибки (MAE), вычисляемых по следующему уравнению [30]:

RMSE = √(1/n ∑_{i=1}^{n} (|y_i - x_i|)^2)
MAE = (1/n) ∑_{i=1}^{n} |y_i - x_i|

Здесь x_i определяет фактический результат входных данных, y_i — оцененный результат, а n — количество рассматриваемых выборок.

III. Методология

Методология, которую мы предлагаем для обнаружения заполненности и подсчета людей, состоит из следующих трех фаз (см. рисунок 1).

1. Сбор данных RSSI в автономном режиме для обучения моделей распознавания образов. RSSI связан с связью между несколькими отправителями BLE (например, смартфонами, маячками BLE или SBC) и одним приемником BLE (например, смартфоном или SBC);
2. Обучение нескольких моделей распознавания образов с использованием данных, полученных на предыдущей фазе;
3. Онлайн-оценка моделей распознавания образов для прогнозирования заполненности в реальном времени.

Методология использует архитектуру связи, использующую центральный приемник (обычно смартфон или SBC), который собирает данные RSSI от нескольких устройств BLE, расположенных в окружающей среде. Полученные данные затем пересылаются в базу данных на сервере. Цель состоит в том, чтобы изучить изменения в моделях распространения радиосигналов, генерируемых между отправителями и приемником, чтобы оценить состояние окружающей среды (т.е., заполненность окружающей среды и количество людей). Для этой цели мы идентифицируем наиболее подходящую модель распознавания/регрессии среди нескольких вариантов.

A. Экспериментальная установка

Изначально устройства BLE устанавливают синхронизированное подключение к приемнику. Приемник периодически пересылает данные на сервер для автономной обработки данных и обучения модели распознавания образов. Хотя подход будет работать с большим variety устройств BLE, в наших экспериментах мы использовали узлы Nordic Thingy™ 52 в качестве передатчиков, которые основаны на SoC nRF52832. В наших экспериментах мы оценивали различные частоты дискретизации акселерометра платы Nordic Thingy в диапазоне от 5 Гц до 200 Гц и передавали эти данные через BLE. Система соответствующим образом регулирует скорость передачи данных (т.е., интервал соединения в BLE), и, следовательно, выбор частоты дискретизации датчика ускорения также определяет интервал соединения. Наш подход поддерживает произвольные позиции передатчиков в окружающей среде с единственным ограничением, что местоположение не может изменяться между автономной фазой обучения и онлайн-фазой прогнозирования. Мы используем смартфон Android в качестве приемного устройства. Следовательно, наша методология поддерживает простые ad-hoc установки без необходимости какой-либо фиксированной инфраструктуры, поскольку все устройства работают от батареи и не нуждаются в доступе к проводной сети. Учитывая требования будущих развертываний, Android был выбран из-за его совместимости с несколькими библиотеками распознавания образов (например, Keras, Tensorflow или Weka). Хотя мы выполняли классификацию и регрессию на компьютере в наших экспериментах, результирующая система поддерживает развертывания, в которых только фаза обучения выполняется на сервере, тогда как обнаружение может быть выполнено непосредственно на смартфоне. Это устраняет необходимость для смартфона поддерживать интернет-соединение.

B. Автономный сбор данных

Во время фазы автономного сбора данных приемник собирает данные, собранные датчиками BLE, распределенными в окружающей среде, с фиксированной частотой дискретизации. Каждый полученный пакет имеет временную метку и связан с соответствующим измерением RSSI. Чтобы снизить энергопотребление для связи, мы накапливаем выборки, полученные телефоном, и периодически передаем их на сервер пачкой. Наконец, мы вручную присваиваем количество людей, присутствующих в окружающей среде в каждой временной метке, этим данным. Мы также вручную вводим расстояние между каждым излучателем и приемником.

Результирующий размеченный набор данных для обучения классификаторов, хранящийся на сервере, проиллюстрирован в таблице I. Каждый столбец MAC_Addr_i, i=1,2,..,n, относится к измерениям RSSI для излучателя с MAC-адресом i. Столбец occupancy имеет значение false, когда количество людей в окружающей среде равно 0, и true в противном случае. Столбец Nr. Occupants содержит количество людей внутри наблюдаемой окружающей среды в соответствующей временной метке. Количество людей внутри окружающей среды предоставляется внешним человеком-наблюдателем, который обновляет количество occupants каждый раз, когда они покидают или входят в окружающую среду. Эти метки используются для обучения с учителем. Строка Distance содержит расстояние между излучателем i и приемником. Измерения RSSI представляют вход (т.е., предикторы) для моделей распознавания образов, используемых во время онлайн-оценки. Аналогично, состояние заполненности и количество людей в окружающей среде являются целевым результатом (т.е., выходными переменными), который мы пытаемся предсказать. Другими словами, это метки для обучения с учителем. Наконец, чтобы смягчить эффекты потенциального "переобучения" модели, мы устраняем дубликаты, присутствующие в наборе данных, сохраняя только их первое появление.

C. Обучение модели распознавания образов

На этом шаге собранные данные используются для обучения модели распознавания образов для следующих сценариев:

1. Распознавание статуса заполненности окружающей среды;
2. Оценка количества людей внутри окружающей среды.

Результирующая модель способна предсказывать статус заполненности и количество людей онлайн на основе данных RSSI из живых измерений. Изначально собранные данные RSSI сегментируются на временные окна по 1 с. Затем из каждого сегмента мы извлекаем комплексный набор признаков, как указано в таблице II, используя библиотеку программного обеспечения, представленную в [31].

Мы выбрали временные окна в 1 секунду, потому что предполагаем, что статус заполненности не может измениться за более короткие временные масштабы. Для каждого такого окна мы вычисляем 159 признаков на передатчик BLE. В конце фазы сегментации и извлечения признаков мы получили два набора данных: один, который состоит из необработанных данных RSSI, который мы называем raw dataset в дальнейшем, и данные признаков RSSI, полученные как описано выше, которые мы называем features dataset. Оба они используются в анализе, представленном ниже. Перед этим анализом мы "очищаем"/"нормализуем" данные, удаляя выбросы. При этом мы используем метод robust scalar, который работает согласно следующему уравнению:

D_nor = { x_nor : ∀ x ∈ D, x_nor = (x - Q₂^D(x)) / (Q₃^D(x) - Q₁^D(x)) }

Здесь Q₁^D, Q₂^D, Q₃^D — первый, второй (также медиана) и третий квартили набора данных D, x — выборка из D, а D_nor — набор данных D после применения техники удаления выбросов robust scale.

Выбор признаков:

Не все извлеченные признаки положительно влияют на точность обнаружения. Большее количество признаков не всегда подразумевает большую точность модели распознавания образов; аналогично, меньшее количество признаков не всегда приводит к снижению точности. Поэтому мы определили те признаки, которые фактически вносят наибольший вклад в качество классификации. Для этой цели мы применили методы выбора признаков, известные из литературы [32]. Основные преимущества, полученные от удаления ненужных/вводящих в заблуждение признаков (например, признаков с очень низкой дисперсией, дубликатов существующих признаков или высокого шума), заключаются в следующем: i) уменьшение переобучения; ii) уменьшение ошибок, связанных с шумом; iii) улучшение точности; iv) сокращение времени обучения [33]. Предлагаемая методология использует метод выбора признаков на основе деревьев, который применяется только к набору данных признаков RSSI. Оценщики на основе деревьев, по определению, внутренне создают упорядочение признаков, представляющих обучающий набор данных, что делает их очень подходящими для использования методами выбора признаков. Более подробную информацию о выборе признаков на основе деревьев можно найти в [32]. После извлечения признаков происходит фаза обучения. Она создает модели для обнаружения заполненности и подсчета заполненности. Более подробная информация о фазе обучения приведена в разделе III-D.

1) Обнаружение заполненности:

Обнаружение заполненности представляет собой проблему бинарной классификации, где false означает, что окружающая среда пуста, а true — что в окружающей среде есть хотя бы один человек. В частности, используются пять различных моделей классификации (т.е., k-ближайших соседей (kNN), взвешенный kNN (WkNN), линейный дискриминантный анализ (LDA), квадратичный LDA (QLDA) и машина опорных векторов (SVM)).

Здесь цель состоит в том, чтобы оценить статус заполненности за временное окно в 1 секунду, используя только набор данных признаков RSSI, поскольку используемые классификаторы не могут обрабатывать необработанные данные временных рядов, если они не были сегментированы фазой сегментации, показанной на рисунке 2. Результаты этой проблемы классификации оцениваются с использованием метрик качества, которые мы ввели в уравнении 2.

2) Подсчет заполненности:

В отличие от обнаружения заполненности, которое является проблемой бинарной классификации, сценарий подсчета заполненности является проблемой оценки. Здесь мы стремимся определить количество людей, присутствующих в окружающей среде. Многомерный регрессионный анализ (т.е., градиентный boosting, случайный лес, линейный, Ridge, RANSAC, байесовский и TheilSen) как на необработанном, так и на наборе данных признаков предсказывает одну переменную (а именно, количество occupants) на основе нескольких входных переменных (необработанных выборок данных и признаков) [29]. Мы изучаем два разных случая. В первом случае мы рассматриваем только необработанные данные. Здесь модель возвращает оценку количества occupants каждые 5 мс (при использовании частоты дискретизации 200 Гц). Во втором случае мы рассматриваем только данные признаков, получая оценку количества occupants каждую секунду (т.е., один раз за длину окна, используемую для сегментации данных). Результаты этого предсказания оцениваются с использованием метрик качества, которые мы ввели в уравнении 3.

D. Обучение и валидация

Чтобы оценить/валидировать качество наших моделей распознавания образов, необработанные наборы данных RSSI и наборы данных признаков разделяются на обучающие и тестовые наборы данных. В частности, для каждого рассматриваемого сценария необработанные наборы данных RSSI и наборы данных признаков изначально разделяются (согласно процедуре hold-out [33]) на обучающий набор данных (75% всех измерений) и тестовый набор данных (25% всех измерений). На обучающем наборе данных мы запускаем фазу обучения модели распознавания образов, как описано в разделе III-C. Мы используем процедуру k-кратной перекрестной проверки с k=3,5,10 [33], как показано на рисунке 3. Мы хотим отметить, что мы не выполняем обычный подход обучения модели, а применяем подход обучения grid-search, который исчерпывающе генерирует оптимальные кандидаты в модели распознавания образов¹ из заданной сетки параметров. Например, модель SVM обучается на обучающем наборе данных, используя различные параметры конфигурации (например, функцию ядра [линейная, полиномиальная, сигмоидная, радиальная базисная функция], штраф [l₁, l₂] или функцию потерь [hinge, squared hinge]). Она тестируется на тестовом наборе данных для каждой конфигурации, возвращая конфигурацию, которая достигла наилучших результатов в фазе обучения. Наконец, мы используем тестовый набор данных для дальнейшего исследования лучшей модели. В конце процедура возвращает упомянутые выше метрики оценки, а именно, RMSE и MAE для регрессии, и чувствительность, специфичность, точность и accuracy для классификации.

IV. Экспериментальные результаты

Для оценки предлагаемой методологии был проведен обширный набор экспериментов и анализов. Цель состоит в том, чтобы оценить, какая из обученных моделей приводит к наилучшей классификации и предсказанию в рассматриваемых нами сценариях.

A. Характеристики анализируемых наборов данных

Таблица III показывает характеристики наборов данных, которые мы собрали в трех различных средах (т.е., университетская аудитория, домашняя гостиная и промышленная лаборатория), приняв установку, описанную в разделе III-A. Столбцы с 1 по 4 содержат идентификатор набора данных, количество передатчиков радиосигналов, распределенных в окружающей среде, т.е., устройств BLE или точек доступа WiFi (AP), рассматриваемый сценарий и размер окружающей среды. Столбцы с 5 по 8 показывают наименьшее и наибольшее количество людей внутри окружающей среды в течение рассматриваемого периода времени, а также минимальное и максимальное расстояние между передатчиками и приемником. Наконец, столбцы 9 и 10 показывают количество выборок и размер набора данных.

В среднем каждая точка доступа (AP) имеет 4 интерфейса для диапазона 2,4 ГГц и 4 интерфейса для диапазона 5 ГГц.

1) Экспериментальные среды:

Далее мы описываем 3 среды, которые мы тестировали в наших экспериментах. Во всех них позиции излучателей и приемников были фиксированными. Пользователи, участвующие в эксперименте, не знали позиций устройств (излучателей и приемников) и не могли касаться или изменять их. Кроме того, они не носили никаких устройств, которые могли бы взаимодействовать с нашей установкой, например, приемопередатчиков BLE.

Наборы данных 1, 2 и 3: Эксперименты, соответствующие этим наборам данных, проводились в университетской аудитории (8,8 м x 8,6 м x 3,2 м) с 15 рабочими местами. В них участвовало 6 субъектов: 1 женщина (29 лет, рост 1,58 м) и 5 мужчин (25-29 лет, рост 1,75-1,95 м). Мы использовали 1 смартфон в качестве приемника и 5 или 6 маячков BLE в качестве отправителей, как указано в таблице III.

Наборы данных 4 и 5: Мы собрали рассматриваемые наборы данных, как RSSI, так и CSI. Насколько нам известно, нет общедоступного набора данных, который предоставляет как RSSI (из связи BLE), так и CSI (из связи WiFi) данные относительно сценариев обнаружения и подсчета заполненности. Эти наборы данных направлены на сравнение данных RSSI пикосети BLE с данными CSI сети IEEE 802.11ac (WiFi) для целей тестирования. В частности, для извлечения данных CSI мы использовали Raspberry Pi 4/B+, который взаимодействует с ближайшими AP окружающей среды. Для извлечения данных CSI мы использовали framework патчинга прошивки Nexmon [23, 24]. Мы разработали собственное программное обеспечение на C++ для записи и хранения этих данных. Эксперименты для набора данных 4 проводились в домашней гостиной (6,6 м x 4 м x 2,75 м). В них участвовало 2 субъекта: 1 женщина (54 года, рост 1,66 м) и 1 мужчина (26 лет, рост 1,80 м). Вместо этого тесты для набора данных 5 проводились в лаборатории промышленной компьютерной инженерии (ICE) (18 м x 6 м x 6 м), содержащей одну производственную линию, несколько машин и различные устройства, такие как датчики и исполнительные механизмы, которые общаются с использованием различных протоколов связи. Наши тесты для набора данных 5 включали 1 женщину (27 лет, рост 1,80 м) и 4 мужчин (25-29 лет, рост 1,75-1,95 м). Мы могли контролировать скорость пакетов и, следовательно, частоту дискретизации данных BLE. С другой стороны, мы не контролировали частоту дискретизации CSI, которая была задана (готовой) сетью WiFi. В частности, в наборах данных 4 и 5 данные CSI воспринимались как 45 Гц, но сильно зависели от использования соединения. В целом, все наборы данных вместе содержат 4 часа собранных данных и требуют 4 ГБ памяти.

B. Обнаружение заполненности

В этом разделе мы оцениваем предлагаемую технику обнаружения заполненности. Чтобы адекватно имитировать как можно больше различных ситуаций, которые возникают во время повседневного использования комнаты, мы провели следующие эксперименты. Субъекты входили и выходили из окружающей среды в неопределенном, случайном порядке, с единственным ограничением, что каждый из них должен оставаться в окружающей среде не менее одной минуты. Кроме того, они выполняли следующие различные действия: i) Все стояли неподвижно, ii) все двигались одновременно, iii) все сидели одновременно, iv) некоторые двигались, а некоторые сидели, и v) в наборе данных 5 субъекты занимали позицию на одном из рабочих мест.

Достигнутые результаты представлены в таблице IV. Результаты были вычислены путем обработки наборов данных 1, 2 и 3 как если бы они принадлежали одному непрерывному набору данных. Данные, содержащиеся в этих 3 наборах данных, состоят из 68% экземпляров непустой окружающей среды (т.е., комната была занята) и из 32% экземпляров пустой окружающей среды (т.е., они представляют пустую комнату).

Мы оценили 5 различных моделей классификации, реализованных в framework B-HAR [34], используя набор данных признаков RSSI, как показано на рисунке 2. Результат представляет статус окружающей среды: false, когда окружающая среда пуста, true, если в окружающей среде есть хотя бы один человек. В таблице IV столбец 1 и 2 показывают частоту дискретизации данных RSSI и используемые модели классификации, столбцы с 3 по 6 показывают результаты с точки зрения специфичности (S), полноты (R), точности (P) и общей точности (A). Строки с 2 по 6 представляют пять различных моделей классификации, обученных и протестированных с использованием данных, собранных на частоте 200 Гц (т.е., максимальная частота дискретизации датчика ускорения). В целом, модель SVM с линейным ядром достигла наиболее заметных результатов, т.е., 99,92% полноты (пустая окружающая среда), 99,91% специфичности (непустая окружающая среда), 99,91% точности и 99,92% accuracy. По сравнению со всеми другими моделями, которые мы рассматривали, модель SVM требует более высоких вычислительных возможностей; однако библиотека Keras [35] предоставляет реализацию Quasi-SVM модели для мобильных устройств на базе Android с достаточно низкой вычислительной сложностью, чтобы работать на смартфоне. Кроме того, чтобы определить лучшую конфигурацию системы, архитектура была протестирована с использованием различных частот дискретизации. Строки с 7 по 9 показывают наиболее точные (среди всех пяти протестированных моделей) результаты классификации, соответствующие частотам дискретизации 20 Гц, 45 Гц и 100 Гц соответственно. Как показано, уменьшение частоты с 200 Гц до 45 Гц лишь незначительно влияет на точность модели, в то время как ниже 45 Гц негативное влияние на RMSE и MAE более значимо.

Изучая результат классификации подробно, мы наблюдали, что неправильно классифицированные выборки в основном связаны с ситуацией, когда люди внутри окружающей среды все сидят, независимо от их количества.

Стоит упомянуть, что мы представили результаты для обнаружения в реальном времени с задержкой обнаружения около 1 с. Более длительная допустимая задержка, например, 30 с, была бы достаточной для большинства приложений, таких как управление вентиляцией и кондиционированием воздуха. Это также позволило бы использовать окна выборки по 30 с, для которых мы ожидаем гораздо более высокой точности обнаружения, даже когда все субъекты сидят.

C. Подсчет заполненности

Подсчет заполненности реализуется с использованием специальных алгоритмов регрессии, как уже описано. Что касается обнаружения заполненности, мы изучаем результаты для этого сценария, используя наборы данных 1, 2 и 3 с семью различными моделями регрессии. Таблица V представляет результаты, полученные с использованием как необработанных, так и feature наборов данных по данным RSSI для частоты дискретизации датчика 200 Гц (строки 2–8). Строки 9–11 показывают наиболее точные (среди всех семи протестированных моделей) оценки для частот дискретизации 20 Гц, 45 Гц и 100 Гц. Результатом является оценка количества людей в окружающей среде.

Наши результаты показывают, что модель регрессии Random Forest достигает наилучших результатов на наборе данных признаков для всех рассматриваемых частот дискретизации (т.е., 20 Гц, 45 Гц, 100 Гц и 200 Гц). Что касается случая, связанного с обнаружением заполненности, уменьшение частоты с 200 Гц до 45 Гц лишь незначительно влияет на точность модели, в то время как негативное влияние на RMSE и MAE более значимо ниже 45 Гц. Учитывая, что максимальный интервал соединения в BLE составляет 7,5 мс, что соответствует частоте примерно 133 Гц, ожидается, что частоты дискретизации между 200 Гц и 133 Гц приводят к аналогичному интервалу соединения и, следовательно, к той же точности.

В итоге, учитывая набор признаков, основанных на измерениях RSSI, предлагаемая система подсчета заполненности может оценить количество людей в окружающей среде с RMSE 0,4 и MAE 0,3. Другими словами, почти во всех случаях оценщик Random Forest может правильно идентифицировать количество occupants окружающей среды с ошибкой не более ±1 человека.

При использовании только необработанного набора данных мы достигли RMSE 0,7 и MAE 0,4. Следовательно, вычисление признаков оправдано повышенным качеством регрессии. Что касается сценариев обнаружения заполненности, ошибка оценки усиливается, когда все люди внутри окружающей среды сидят. Стоит отметить, что в отличие от многих других существующих работ, в которых изучается ограниченное количество ситуаций в окружающей среде, наша цель — учесть наиболее реалистичные ситуации окружающей среды, в которых группа людей выполняет различные действия.

D. RSSI против CSI

Как уже описано, результаты, представленные до сих пор, касаются сетей BLE, вычисленных с использованием данных RSSI. В этом разделе мы сравниваем производительность при использовании BLE с производительностью при использовании WiFi/CSI данных. Для этой цели мы создали наборы данных 4 и 5, которые содержат как данные RSSI, так и CSI, собранные в одних и тех же средах.

Таблица VI показывает результаты, которые мы получили для наборов данных 4 и 5 в сценарии обнаружения заполненности. Столбец 2 перечисляет пять рассматриваемых классификаторов. Столбцы с 3 по 6 (на основе RSSI) и 7-10 (на основе CSI) показывают результаты при использовании набора данных 4, в то время как столбцы с 11 по 14 (на основе RSSI) и 15-18 (на основе CSI) показывают результаты для набора данных 5. Аналогично, таблица VII изображает результаты, полученные для наборов данных 4 и 5 для подсчета заполненности. В частности, верхние части таблиц VI и VII представляют достигнутые результаты, полученные с использованием данных, дискретизированных на частоте 200 Гц (относительно данных ускорения по BLE) и 45 Гц (относительно данных CSI). Аналогично, нижние части представляют достигнутые результаты для данных, дискретизированных на частоте 20 Гц, 45 Гц и 100 Гц. Мы можем обобщить достигнутые результаты, сравнивая CSI и RSSI следующим образом:

• Как и ожидалось, как для RSSI, так и для CSI, обнаружение/предсказание для набора данных 4 работает более точно, чем для набора данных 5, в основном из-за размера и формы окружающей среды. Кроме того, в среде набора данных 5 присутствовали различные электрические машины и потенциально создавали помехи. Кроме того, большая высота окружающей среды негативно повлияла на результаты;
• Запуск классификаторов на наборе данных признаков дал более надежные результаты, чем при использовании необработанного набора данных;
• В наших экспериментах в среднем классификатор SVM достиг наиболее надежных результатов относительно проблемы обнаружения заполненности. Алгоритм регрессии Random Forest достиг наилучших результатов относительно проблемы подсчета заполненности;
• Более сложные и комплексные данные CSI приводят к лишь незначительно более высокой точности обнаружения, чем наша предлагаемая система на основе BLE, как показано в таблицах VI и VII. Следовательно, есть небольшая польза в настройке более сложной и дорогой системы обнаружения на основе WiFi. Стоит упомянуть, что в изученных средах количество источников информации для CSI было больше, чем для BLE (т.е., четыре против пяти в наборе данных 4 и четыре против двенадцати в наборе данных 5).

Общая точность предлагаемой методологии среди всех трех протестированных сред, если принимать во внимание только наиболее точные классификаторы, составляет 97,97% для обнаружения заполненности. RMSE для подсчета заполненности в среднем по всем пяти протестированным наборам данных составляет 0,32.

E. Частота дискретизации и энергопотребление

Частота дискретизации датчика, использованная для результатов, представленных выше, составляла 20 Гц, 45 Гц, 100 Гц и 200 Гц для BLE. Для WiFi мы записывали пакеты со средней частотой 45 Гц. Что касается устройств BLE, более низкая частота дискретизации также снизила бы энергопотребление передатчиков BLE и, в меньшей степени, приемника. Поскольку срок службы батареи также влияет на удобство использования нашего подхода, мы подробно изучаем его энергопотребление в этом разделе. Сначала мы обсудим энергетические характеристики используемого нами оборудования. Мы оцениваем средний спрос на оперативную память и память, а также энергопотребление передатчиков (т.е., Nordic Thingy 52 с 64 МГц Cortex M4 MCU, 512 Кб Flash, 64 Кб RAM и батареей 1440 мАч) и приемника (Oneplus 6 с Qualcomm SDM845 Snapdragon 845, с восьмиядерным процессором 4x2.8 ГГц Kryo 385 Gold & 4x1.7 ГГц Kryo 385 Silver, памятью 128 ГБ, оперативной памятью 8 ГБ, с Android 10, OxygenOS 10.3.7 и батареей 3300 мАч).

Энергопотребление передатчиков: При работе с частотой дискретизации датчика 200 Гц устройства BLE могут эффективно работать более пяти дней без подзарядки их батареи. Более низкая частота дискретизации значительно продлила бы срок службы их батареи [36]. Поэтому частота дискретизации 45 Гц представляет собой хороший компромисс между точностью обнаружения/классификации и временем работы от батареи.

Энергопотребление приемника: Энергопотребление смартфона лишь незначительно зависит от энергии, необходимой для связи BLE [37]. Для нашего смартфона при дискретизации на частоте 200 Гц мы обнаружили следующие средние значения в час: 6% использования ЦП, 154 мАч относительно потребления батареи, 122 Мб памяти, 100 Мб оперативной памяти и 0,34% потери данных. Вместо этого, при дискретизации на частоте 45 Гц, мы обнаружили следующие средние значения в час: 1% использования ЦП, 94 мАч относительно потребления батареи, 74 Мб памяти, 90 Мб оперативной памяти и 0,12% потери данных.

V. Заключительные замечания и будущая работа

Обнаружение заполненности и подсчет заполненности предоставляют важную информацию для умных городов и сред умных зданий в нескольких сценариях. Однако существующие решения имеют много ограничений, в основном связанных с высокой экономической стоимостью, низкой доступностью, высокими вычислительными требованиями, трудностями установки и отсутствием повсеместности. В этой статье представлена методология на основе распознавания образов, которая использует недорогую технологию связи BLE для обнаружения и подсчета заполненности. Ее можно дооснастить в любую среду с незначительными усилиями по установке. Использовались различные алгоритмы регрессии и классификации, достигая promising результатов в различных средах. В частности, заполненность может быть обнаружена, принимая во внимание только лучший классификатор, со средней точностью 97,97% по всем наборам данных. Количество людей в комнате можно оценить со средним RMSE/MAE 0,32/0,28 человека. Мы показали, что наша методология, работающая с данными RSSI BLE, достигает практически той же точности, что и подходы на основе WiFi/CSI. В то же время она имеет гораздо меньшую стоимость и усилия по установке.

Наборы данных, которые мы использовали в наших экспериментах, были созданы с относительно ограниченным количеством лиц. Это связано с правилами в ответ на продолжающуюся пандемию SARS-CoV-2, которые не позволяют нам размещать больше лиц в одной и той же среде. Хотя обнаружение заполненности, как ожидается, будет работать еще более надежно, когда в комнате присутствует большее количество лиц, метод подсчета заполненности необходимо дополнительно оценить, когда ограничения SARS-CoV-2 будут ослаблены.

Наша цель для будущих исследований — уменьшить количество отправителей при сохранении той же производительности. Одновременно желательно уменьшить зависимость методологии от позиций отправителей и явного знания расстояний между ними. Это может быть сделано, например, путем автоматической оценки их расстояния. Более того, мы стремимся использовать нашу предложенную систему и созданные модели классификации и регрессии в качестве существенных моделей для продвижения области исследования transfer learning для распознавания контекста окружающей среды без выполнения предварительной автономной фазы сбора данных. Некоторые модели смартфонов, такие как Honor 7 или Samsung Galaxy S5 и S7, не справляются с требуемыми частотами дискретизации. Ограничения таких устройств в основном связаны с версией операционной системы. Для ограничения энергопотребления некоторые пользовательские версии ОС и оборудования не позволяют приложению извлекать значения RSSI на частотах выше 40 Гц. Напротив, устройства, которые не имеют таких ограничений, — это, например, все устройства Oneplus и Samsung Galaxy S9. В будущих исследованиях мы пытаемся решить эту проблему, дополнительно снижая требования к частоте дискретизации, делая ее совместимой буквально со всеми моделями смартфонов.

Наконец, наша текущая система выполняет онлайн-классификацию на сервере. Однако наши алгоритмы обнаружения достаточно легковесны, чтобы работать на смартфоне. Следовательно, сервер нужен только для фаз обучения, тогда как онлайн-обнаружение может выполняться на смартфоне в будущем.

Ссылки

Об авторах