МОНИТОРИНГ ЗДОРОВЬЯ ЖЕСТКИХ ДИСКОВ
А.А. Юрков, А.В. Петров
Санкт-Петербургский политехнический университет Петра Великого
Целью данной работы является разработка модели мониторинга здоровья жестких дисков. Данная модель должна оценивать отклонение или деградацию устройства от его нормального состояния путем сопоставления данных датчиков со статистическими данными. Такой подход дает возможность обнаруживать аномальное поведение устройств в онлайн режиме. Это используется для предупреждения пользователя о надвигающихся сбоях, а также для предоставления информации экспертам для диагностики.
Подход машинного обучения (ML) к проблеме прогнозирования выхода из строя диск заключается в изучении вероятностных характеристик рабочих и приводных дисков, которые скоро выйдут из строя. Учитывая выбороку, производится прогноз, столкнется ли данный накопитель с неизбежным отказом. Рассматриваемая проблема может формулироваться как задача классификации, математически сформулированная следующим образом: с учетом последовательности ввода {xi,1;xi,2;...,xi,T} предсказывают одну метку yi, которая применяется ко всей последовательности. Обучение модели производиться на примере пар (XI, Yi), где xi – последовательность вектор атрибутов SMART, собранных с диска i в разное время t, а yi - логическое значение, обозначающее, вышел ли диск из строя.
Подготовка данных:
Набор данных BACKBLAZE, используемый для этого исследования, содержит SMARTизмерения, собираемые ежедневно в течение 1 года с примерно 50 000 накопителей в центре обработки данных. Поскольку каждый производитель накопителей собирает различные атрибуты SMART, разработанная модель применялась только к накопителям Seagate, которые составляют почти 50% от общего числа накопителей, но ее можно легко изменить для применения к накопителям других типов.
Особенности данных и распределения:
Данные содержат ~ 100 отдельных необработанных и нормализованных атрибутов SMART с добавлением еще нескольких основных сведений о накопителе, таких как модель накопителя, серийный номер, температура, кол-во ошибок чтения и т.д. Как только исходное значение одного из этих атрибутов SMART отличается от нуля, BACKBLAZE выдает предупреждение для проверки диска. Для этого исследования используются только исходные значения SMART (которые оказались более информативными, чем нормализованные значения), большинство вышеупомянутых атрибутов тесно связаны с отказами дисков.
Подготовка данных для алгоритмов машинного обучения:
Перед применением ML важно правильно подготовить данные. В данном случае нельзя просто задать (x1,x2,…,xk, y), где вектор x это значения всех SMART атрибутов, а y - кол-во дней до выхода из строя. В таком виде кол-во дней никак не зависит от динамики изменения каунтеров, т.к. вектор x не содержит в себе такой информации.
Метод выявления динамических характеристик:
В данной работе предлагается подход к ML где обучение происходит на динамических характеристиках за определенные период времени. К числу агрегатных функций, выбранных для представления поведения накопителей, относятся характеристики линейной регрессии, подходящей для каждого атрибута в непрерывном временном окне выбранного количества дней. Простое соответствие линейной регрессии - это уравнение прямой линии: y = ? + ?x, которое наилучшим образом соответствует значениям атрибутов как функции времени. В качестве признаков для модели мы используем рассчитанные параметры ? и ? (наклон регрессии и пересечение соответственно) и СКО, которые являются нормализованной мерой того, насколько хорошо модель соответствует данным. Это выполняется для каждого
временного окна. Кроме того, дисперсии, максимальное значение, разница между максимальным и минимальным значением и максимальным значением между последовательными выборками используются в качестве составных элементов для модели классификации для обучения.
Для демонстрации был выбран атрибут smart_5 снятый с двух дисков.
Можно заметить, что при переходе от статистических данных к данным, отражающим динамику, не достаточно только значений линии тренда, поэтому вводится третий параметр СКО деленный на максимальное значение в данном окне, для нормализации, т.к. абсолютное значение не представляет практического интереса.
Одной из основных проблем при проведении прогнозного анализа является низкая доля неисправных. Это сложная задача в двух аспектах: во-первых, вероятностная модель имеет только несколько положительных примеров, и не все из них представляют аномальное количество атрибутов ошибок, например, разные диски могут выйти из строя по разным причинам. Во-вторых, низкое количество неисправных накопителей повышает эффективность ложных срабатываний, что требует чрезвычайно точных результатов от реализованной модели.
Для этой работы использовался набор данных с открытым исходным кодом от BACKBLAZE, включающий обширную SMART-информацию, ежедневно собираемую из большого числа пользователей. Это позволило использовать не только последние значения SMART, но и включать новые функции, полученные за разные промежутки времени последних дней работы накопителей. Эти составные функции отражают динамику атрибутов накопителей, например, скорость их роста, что было крайне важно для прогнозирования отказов накопителей самим BACKBLAZE в 2016 году.
ЛИТЕРАТУРА
- Описание значений SMART атрибутов [Электронный ресурс]. - Режим доступа: https://www.ixbt.com/storage/hdd-smart testing.shtml#n5
- Официальный сайт BACKBLAZE [Электронный ресурс]. - Режим доступа: https://www.backblaze.com
- Официальный сайт HDDScan [Электронный ресурс]. - Режим доступа: http://hddscan.com/
- Статистические данные BACBLAZE [Электронный ресурс]. - Режим доступа: https://www.backblaze.com/b2/hard-drive-test-data.html
- Технология SMART [Электронный ресурс]. - Режим доступа: https://flab.ru/doc/s.m.a.r.t..html