Клименко Илья Сергеевич

Универсальные показатели надежности накопителей информации в data-центрах

Насыров И.Н., Насыров И.И., Насыров Р.И.

Казанский (Приволжский) федеральный университет

Аннотация. Большие данные являются основой цифровой экономики. В связи с этим вопрос надежности хранения собираемых данных весьма актуален. Однако при оценке надежности накопителей информации существует проблема неоднозначности смысла, вкладываемого разными производителями в параметры состояния с одинаковыми наименованиями. Отсюда целью исследования является выявление такого набора параметров, который был бы универсален в качестве показателей надежности для любой марки накопителей любого производителя. Подбор универсальных показателей надежности накопителей информации выполнен на основе соотношений относительных значений SMART-параметров, представленных в открытом доступе data-центрами компании Backblaze за длительный период. В результате анализа выявлены наиболее подходящие в этом качестве параметры HDD: 1 Read error rate, 5 Reallocated sectors count, 7 Seek error rate, 10 Spin retry count, 196 Reallocation event count, 197 Current pending sector count, 198 Uncorrectable sector count. Для SSD универсальным является параметр 194 Temperature, но со слабо выраженной дифференциацией. Этот набор параметров позволяет выполнить сравнительную оценку надежности как по отдельным маркам, так и в целом по производителям накопителей информации.

Ключевые слова: мбольшой объем данных, накопитель информации, data-центр, надежность, параметр, показатель

Abstract. Big data is the basis of the digital economy. In this regard, the issue of collected data storage reliability is very relevant. However, when assessing the information storage device reliability, there is a problem of meaning ambiguity put by different manufacturers in the state parameters with the same names. Hence, the purpose of the study is to identify such a set of parameters that would be universal as reliability indicators for any drives brand from any manufacturer. Universal indicators selection of information storage device reliability is based on relative values ratios of SMART parameters presented in the public domain by Backblaze data centers over a long period. The analysis revealed the most suitable HDD parameters in this capacity: 1 Read error rate, 5 Reallocated sectors count, 7 Seek error rate, 10 Spin retry count, 196 Reallocation event count, 197 Current pending sector count, 198 Uncorrectable sector count. For SSD, the 194 Temperature parameter is universal, but with a weakly expressed differentiation. This set of parameters makes it possible to perform a comparative reliability assessment both for individual brands and for manufacturers of information storage devices in general.

Keywords: big volume data, data storage device, data center, reliability, parameter, indicator

Введение

Актуальность исследования обусловлена необходимостью оценки и прогнозирования надежности гетерогенного набора накопителей информации в системах централизованного хранения (data-центрах) генерируемых в цифровой экономике больших объемов данных. Для этого регулярно снимаются и записываются сведения об их состоянии. Научной проблемой является значительное количество наименований параметров состояния (потенциально до 256, реально используемых 87, которое с 01.04.2023 увеличилось еще на 5 штук [Насыров и др., 2023б]) и полное или частичное отсутствие значений этих параметров для существенного числа накопителей разных торговых марок различных производителей [Nasyrov et al., 2019]. Цель исследования состоит в выборе наиболее предпочтительных из них для последующего использования в качестве универсальных показателей надежности, т. е. имеющих непустые значения и одинаковую интерпретацию для всех моделей накопителей [Насыров и др., 2023а].

Объекты и методы исследования

Информационной базой исследования послужили ежедневно записываемые SMART-данные (self-monitoring, analysis and reporting technology – технология самоконтроля, анализа и отчетности) накопителей, находящиеся в свободном доступе на сайте одной из крупнейших в мире групп коммерческих data-центров компании Backblaze (https://www.backblaze.com/b2/hard-drive-test- data.html). Они удовлетворяют всем требованиям для прогнозирования сбоев [Diallo et al., 2021], в связи с чем исследователи со всего мира активно используют их в своей работе в самых разных областях. В качестве методов исследования выбраны группировка, усреднение, сравнение и визуализация относительных значений параметров состояния продолжающих функционировать, снятых досрочно и отказавших накопителей информации за период с 10.04.2013 по 30.06.2022. Накопители на жестких дисках (HDD – hard disk drive) для «холодного» хранения и твердотельные на микросхемах (SSD – solid state drive) для оперативного использования информации рассматривались раздельно. Исходя из имеющего место различия по торговым маркам соотношение относительных значений параметров изучалось дифференцированно: 00MD00, HGST, Hitachi, Samsung, ST, Toshiba, WDC для HDD накопителей и CT, DELLBOSS, HP, MTFDDAV, Samsung SSD, Seagate, SSDSCKKB для SSD накопителей. Сначала вычислялись средние значения на один накопитель делением суммы значений параметров на количество продолжающих функционировать, снятых досрочно и отказавших накопителей отдельно. Потом их делили на максимальное из трех среднее значение в каждой группе, тем самым преобразуя в относительные величины, удобные для сравнения между разными торговыми марками [Nasyrov et al., 2018]. Затем определялись параметры, в которых средние относительные значения для отказавших накопителей превышали таковые для функционирующих.

Результаты

Получено, что действительно имеются параметры, значения которых у отказавших накопителей превышают значения у нормально функционирующих. Номера таких параметров и их количество приведены в табл. 1.

Из табл. 1 видно, что имеются параметры, обладающие одним из признаков универсальности, т. к. они повторяются для накопителей разных торговых марок. У HDD это параметры 1, 4, 197 с шестью повторами, 5, 12, 196, 198 с пятью повторами, 3, 7, 10, 193, 199 с четырьмя повторами, 9 с тремя повторами, 2, 8, 11, 183, 187, 188, 190, 194, 195, 200, 240 с двумя повторами. У SSD это параметры 194 с четырьмя повторами, 241 с тремя повторами, 9, 12, 177, 232, 235, 245 с двумя повторами.

Для универсальности также нужно не просто наличие непустых значений у параметров [Cahyadi, Forshaw, 2021], а чтобы они были у большинства накопителей более чем половины торговых марок. С этой точки зрения для HDD универсальными параметрами являются 1, 3, 4, 5, 7, 9, 10, 12, 194, 197, 198, 199 для семи торговых марок, 192, 193 для шести, 8, 196 для пяти, 2 для четырех.

С учетом того, что у накопителей торговой марки DELLBOSS никакие параметры не записывались, то для SSD универсальными параметрами являются 9, 12 для шести торговых марок, 1, 5, 194, 199 для пяти, 181, 182, 195, 198, 241 для четырех.

Для визуализации предварительно отобранных и перспективных в качестве универсальных показателей надежности на рис. 1-6 приведены соотношения относительных значений параметров состояния продолжающих функционировать, снятых досрочно и отказавших HDD и SSD накопителей.

Рис. 1. Соотношения значений параметров 1, 2, 3, 4, 5, 7 продолжающих нормально функционировать (выделено зеленым цветом), снятых досрочно (оранжевым) и отказавших (красным) HDD накопителей, отн. ед.

Fig. 1. Ratios of parameters 1, 2, 3, 4, 5, 7 values for continuing to function normally (highlighted in green), removed ahead of schedule (orange) and failed (red) HDD drives, rel. units

Рис. 2. Соотношения значений параметров 8, 9, 10, 11, 12, 183 продолжающих нормально функционировать (выделено зеленым цветом), снятых досрочно (оранжевым) и отказавших (красным) HDD накопителей, отн. ед.

Fig. 2. Ratios of parameters 8, 9, 10, 11, 12, 183 values for continuing to function normally (highlighted in green), removed ahead of schedule (orange) and failed (red) HDD drives, rel. units

Рис. 3. Соотношения значений параметров 187, 188, 190, 193, 194, 195 продолжающих нормально функционировать (выделено зеленым цветом), снятых досрочно (оранжевым) и отказавших (красным) HDD накопителей, отн. ед.

Fig. 3. Ratios of parameters 187, 188, 190, 193, 194, 195 values for continuing to function normally (highlighted in green), removed ahead of schedule (orange) and failed (red) HDD drives, rel. units

Рис. 4. Соотношения значений параметров 196, 197, 198, 199, 200, 240 продолжающих нормально функционировать (выделено зеленым цветом), снятых досрочно (оранжевым) и отказавших (красным) HDD накопителей, отн. ед.

Fig. 4. Ratios of parameters 196, 197, 198, 199, 200, 240 values for continuing to function normally (highlighted in green), removed ahead of schedule (orange) and failed (red) HDD drives, rel. units

Рис. 5. Соотношения значений параметров 1, 5, 9, 12, 177, 194 продолжающих нормально функционировать (выделено зеленым цветом), снятых досрочно (оранжевым) и отказавших (красным) SSD накопителей, отн. ед.

Fig. 5. Ratios of parameters 1, 5, 9, 12, 177, 194 values for continuing to function normally (highlighted in green), removed ahead of schedule (orange) and failed (red) SSD drives, rel. units

Рис. 6. Соотношения значений параметров 198, 199, 232, 235, 241, 245 продолжающих нормально функционировать (выделено зеленым цветом), снятых досрочно (оранжевым) и отказавших (красным) SSD накопителей, отн. ед.

Fig. 6. Ratios of parameters 198, 199, 232, 235, 241, 245 values for continuing to function normally (highlighted in green), removed ahead of schedule (orange) and failed (red) SSD drives, rel. units

Параметр 192 для HDD не рассматривался из-за отсутствия универсальности по признаку превышения значений в отказавших накопителях над нормально функционирующими (есть только для одной торговой марки Hitachi). Параметры 181, 182, 195 для SSD не рассматривались из-за полного отсутствия превышения значений в отказавших накопителях над нормально функционирующими. Чтобы избежать влияния применяемых различными производителями разных способов нормализации везде принимались во внимание только так называемые «сырые» данные.

Обсуждение и выводы

Задача прогнозирования остаточного срока полезной службы дисковых накопителей данных часто рассматривается при обучении нейронных сетей [Демидова, Фурсов, 2021, 2023; Zhang et al., 2023]. Также для анализа выживаемости дисковых накопителей используются различные статистические методы [Демидова, Филатов, 2023], другие методы машинного обучения [Фурсов, Филатов, 2023; Юрков, Петров, 2021]. Однако детального обоснования выбранных для анализа параметров не приводится.

Визуализация соотношений относительных значений позволяет вполне определенно выбрать параметры 1, 5, 7, 10, 196, 197, 198 как наиболее универсальные по признаку превышения значений в отказавших HDD накопителях над нормально функционирующими. У них это превышение выражено максимально в отличие от параметров 4, 12, 193, 199 со слабой дифференциацией. По признаку полноты охвата разных торговых марок указанные параметры также предпочтительнее, чем параметры 11, 183, 188, 195, 200, 240, имеющиеся в наличии всего для двух торговых марок. Однако в случае если рассматриваются накопители только одной торговой марки, то последние параметры оказываются вполне пригодными [Arifuzzaman et al., 2022; Ircio et al., 2022]. Также если исследователи не дифференцируют накопители по торговым маркам, а одна из них значительно превалирует, то последние параметры покажутся им очень даже приемлемыми. Именно такая ситуация имеет место быть в гетерогенном наборе данных компании Backblaze, где накопители торговой марки ST (Seagate) составляют большинство.

Для SSD накопителей есть только один универсальный для большинства торговых марок параметр 194, но со слабо выраженным превышением значений в отказавших накопителях над нормально функционирующими. Более ярко выраженное превышение есть у параметров 232, 245 для двух торговых марок, 198, 199 для одной (HP). Следует отметить, что статистика по SSD накопителям пока мала.

Кроме этого, надо учесть, что значения параметров 197 и 198 в большей своей части совпадают [Ji et al., 2022]. Также весьма неожиданным является то, что хотя по определению надежностью считается время наработки на отказ [Pinciroli et al., 2022], однако значения параметра 9 Power-On Hours (число часов, проведенных во включенном состоянии) выше в отказавших накопителях над нормально функционирующими только у торговых марок Samsung, Toshiba, WDC для HDD и HP, Samsung для SSD.

Тем не менее можно сделать общий вывод о существовании набора параметров, вполне пригодных для практического применения в качестве универсальных показателей надежности накопителей информации в data-центрах.

Заключение

Таким образом, в результате исследования соотношений относительных значений выявлено, что существует набор SMART-параметров, наиболее подходящих для практического применения в качестве универсальных показателей надежности накопителей информации. Для HDD это: 1 Read error rate (частота ошибок при чтении данных с диска, происхождение которых обусловлено аппаратной частью диска), 5 Reallocated sectors count (число операций переназначения секторов), 7 Seek error rate (частота ошибок при позиционировании блока магнитных головок), 10 Spin retry count (число повторных попыток раскрутки дисков до рабочей скорости в случае, если первая попытка была неудачной), 196 Reallocation event count (число успешных и неуспешных операций переназначения), 197 Current pending sector count (число секторов, являющихся кандидатами на замену), 198 Uncorrectable sector count (число некорректируемых средствами диска секторов). Указанные параметры характеризуют как состояние поверхности дисков (1, 5, 196, 197, 198), так и магнитных головок (7) и электродвигателя (10).

Для SSD это параметр 194 Temperature (температура внутри корпуса SSD или температура печатной платы, для HDD это показания встроенного термодатчика, которым служит одна из магнитных головок – обычно нижняя), но со слабо выраженной дифференциацией значений.

Список литературы

1. Демидова Л.А., Филатов А.В. 2023. Анализ выживаемости дисковых накопителей с помощью метода Каплана-Мейера. Высокопроизводительные вычислительные системы и технологии. 7(1): 18–24. EDN XYBFNY.
2. Демидова Л.А., Фурсов И.А. 2021. Разработка модели прогнозирования остаточного срока службы накопителей данных с использованием технологии рекуррентных нейронных сетей. Высокопроизводительные вычислительные системы и технологии. 5(1): 43–48. EDN CXSKCF.
3. Демидова Л.А., Фурсов И.А. 2023. Машина экстремального обучения в задачах предсказания остаточного срока полезной службы дисковых накопителей. Вестник Рязанского государственного радиотехнического университета. № 83: 22–35. DOI 10.21667/1995-4565-2023-83-22-35. EDN TYAOZM.
4. Насыров И.Н., Насыров И.И., Насыров Р.И. 2023. Критерии ранжирования накопителей информации в data-центрах по надежности. Труды Института системного анализа Российской академии наук. 73(3): 59–68. DOI 10.14357/20790279230307. EDN LZLVJC.
5. Насыров И.Н., Насыров И.И., Насыров Р.И. 2023. Нелинейный рост данных по надежности накопителей информации в data-центрах. Цифровая экономика. № S5(26): 38–44. DOI 10.34706/DE-2023-05-05. EDN MVMIDE.
6. Фурсов И.А., Филатов А.В. 2023. Алгоритмические и программные средства определения остаточного времени жизни технических устройств. Электронное информационное пространство для науки, образования, культуры: сб. мат. X межд. науч.-прак. конф. (Орёл, 14 декабря 2023). Орёл: Федеральное государственное бюджетное образовательное учреждение высшего образования «Орловский государственный институт культуры». 121–126. EDN DYTYEF.
7. Юрков А.А., Петров А.В. 2021. Мониторинг здоровья жестких дисков. Современные технологии в теории и практике программирования: сб. мат. науч.-прак. конф. (Санкт-Петербург, 22 апреля 2021). Санкт-Петербург: Федеральное государственное автономное образовательное учреждение высшего образования «Санкт-Петербургский политехнический университет Петра Великого». 228–229. EDN ORSHGC.
8. Arifuzzaman M., Bhuiyan M., Gumus M., Arslan E. 2022. Be SMART, Save I/O: A probabilistic approach to avoid uncorrectable errors in storage systems. Proc. IEEE International Conference on Cluster Computing (CLUSTER). P. 256–266. DOI 10.1109/CLUSTER51413.2022.00038.
9. Cahyadi, Forshaw M. 2021. Hard disk failure prediction on highly imbalanced data using LSTM network. Proc. IEEE International Conference on Big Data (Big Data, 15–18 December 2021, Orlando, FL, USA). P. 3985–3991. DOI: 10.1109/BigData52589.2021.9671555.
10. Diallo M.S., Mokeddem S.A., Braud A., Frey G., Lachiche N. 2021. Identifying benchmarks for failure prediction in industry 4.0. Informatics. 8(4). P. 68. DOI: 10.3390/informatics8040068.
11. Ircio J., Lojo A., Lozano J.A., Mori U., Lozano J.A. 2022. A multivariate time series streaming classifier for predicting hard drive failures [Application notes]. IEEE Computational Intelligence Magazine. 17(1). P. 102–114. DOI 10.1109/MCI.2021.3129962.
12. Ji S., Zuo X., Huang H. 2022. Disk failure prediction via lightGBM model. Proc. SPIE 12331. International Conference on Mechanisms and Robotics (ICMAR 2022). 123313G (10 November 2022). DOI 10.1117/12.2652965.
13. Nasyrov I.N., Nasyrov I.I., Nasyrov R.I., Khairullin B.A. 2018. Data mining for information storage reliability assessment by relative values. International Journal of Engineering and Technology (UAE). 7(4.7 Sp. Is. 7). P. 204–208. DOI 10.14419/ijet.v7i4.7.20545.
14. Nasyrov I.N., Nasyrov I.I., Nasyrov R.I., Khairullin B.A. 2019. Study of failure hazard degree in large data centers. Helix. 9(5). P. 5345–5349. DOI 10.29042/2019-5345-5349.
15. Pinciroli R., Yang L., Alter J., Smirni E. 2022. Machine learning models for SSD and HDD reliability prediction. Annual Reliability and Maintainability Symposium (RAMS). P. 1–7. DOI 10.1109/RAMS51457.2022.9893942.
16. Zhang M., Ge W., Tang R., Liu P. 2023. Hard Disk Failure Prediction Based on Blending Ensemble Learning. Applied Sciences (Switzerland). 13(5). P. 3288. DOI 10.3390/app13053288. EDN PRNOSV.