Typical Errors in Big Data on Storage Devices Reliability in Data Centers
DOI:
https://doi.org/10.52575/2687-0932-2024-51-2-479-488Keywords:
data center, storage device, reliability parameter, big data, error, increase rateAbstract
The development of the digital economy is based on the collection and use of big data. However, over time, their volume in centralized storages (data centers) becomes so large that even only information about the state of storage devices themselves begin to represent big data. The errors contained in them create certain problems when evaluating the reliability of equipment. The purpose of this study is to identify and analyze such errors. The publicly available parameter values of the data storage devices states in Backblaze data centers for a long period were considered. As a result, a number of errors were identified, the typing of which fits into five large groups: by design, by content, by time, correctable and uncorrectable. It is shown that the number of errors and the rate of their increase can be significantly reduced by adjusting. Also due to the increase over time in the data centers of both the number of drives themselves and the number of recorded parameters of their state, collectively leading to an accelerated nonlinear increase in the total number of analyzed data, investigation must be continued.
Downloads
References
Демидова Л.А., Филатов А.В. 2021. Контроль и классификация состояния жестких дисков с применением рекуррентных нейронных сетей. Контроль. Диагностика. Т. 24, № 10(280): 36-43. DOI: 10.14489/td.2021.10. pp.036-043. EDN VOVAXJ.
Демидова Л.А., Филатов А.В. 2022. Разработка модели бинарной классификации состояний дисковых накопителей на основе алгоритма случайного леса с учетом критерия важности признаков. Актуальные проблемы прикладной математики, информатики и механики: сб. тр. межд. науч. конф. (Воронеж, 13–15 декабря 2021). Воронеж: ООО "Вэлборн", 1557-1563. EDN FLBIUQ.
Демидова Л.А., Филатов А.В. 2021. Разработка модели классификации состояния жёстких дисков на основе LSTM-нейронных сетей. Высокопроизводительные вычислительные системы и технологии. Т. 5, № 1: 37-42. EDN WGUDRH.
Демидова Л.А., Фурсов И.А. 2021. Разработка модели прогнозирования остаточного срока службы накопителей данных с использованием технологии рекуррентных нейронных сетей. Высокопроизводительные вычислительные системы и технологии. Т. 5, № 1: 43-48. EDN CXSKCF.
Елизова Н.А., Ефимов А.В. 2022. Анализ эффективности и функциональных возможностей программ по выявлению и обработке отказов SSD дисков. Инновации и научно-техническое творчество молодежи: мат. Российской науч.-техн. конф. (Новосибирск, 20–21 апреля 2022). Новосибирск: Сибирский государственный университет телекоммуникаций и информатики, С. 127-131. EDN CXFBAA.
Насыров И.Н., Насыров И.И., Насыров Р.И. 2022. Большие данные по надежности накопителей информации в data-центрах. Цифровая экономика. 2 (18): 33-37. DOI: 10.34706/DE-2022-02-04. EDN PVGOEX.
Насыров И.Н., Насыров И.И., Насыров Р.И. 2021. Метод многопараметрической оценки надежности жестких дисков. Приборы. № 2: 13-19. EDN LUFSJN.
Насыров И.Н., Насыров И.И., Насыров Р.И. 2021. Модель для многопараметрической оценки жестких дисков по риску отказа. Автоматизация в промышленности. № 1: 38-42. DOI: 10.25728/avtprom.2021.01.06. EDN EKUFDN.
Насыров И.Н., Насыров И.И., Насыров Р.И. 2022. Прикладные проблемы обеспечения эффективности хранения информации в data-центрах. Социально-экономические и технические системы: исследование, проектирование, оптимизация. № 1 (90): 67-76. EDN LEXFPM.
Филатов А.В. 2022. Подготовка данных и подбор гиперпараметров модели машинного обучения в задачах классификации. Новые информационные технологии в научных исследованиях: мат. XХVII всеросс. науч.-техн. конф. студентов, молодых ученых и специалистов. (Рязань, 07–09 декабря 2022). В 2-х томах. Том 1. Рязань: Рязанский государственный радиотехнический университет им. В.Ф. Уткина. 272-273. EDN PBQUSA.
Юрков А.А., Петров А.В. 2021. Мониторинг здоровья жестких дисков. Современные технологии в теории и практике программирования: сб. мат. науч.-прак. конф. (Санкт-Петербург, 22 апреля 2021). Санкт-Петербург: Федеральное государственное автономное образовательное учреждение высшего образования "Санкт-Петербургский политехнический университет Петра Великого". 228-229. EDN ORSHGC.
Cahyadi, Forshaw M. 2021. Hard disk failure prediction on highly imbalanced data using LSTM network. Proc. IEEE International Conference on Big Data (Big Data, 15-18 December 2021, Orlando, FL, USA). P. 3985-3991. DOI: 10.1109/BigData52589.2021.9671555.
Demidova L.A., Fursov I.A. 2021. Aspects of Feature Engineering in the Problem of Predicting the Service Life of Hard Drives. Proc. 3rd International Conference on Control Systems, Mathematical Modeling, Automation and Energy Efficiency (SUMMA 2021: 3. Lipetsk, 10–12 November 2021). Lipetsk. P. 1188-1191. DOI: 10.1109/SUMMA53307.2021.9632089. EDN QAXGJS.
Demidova L.A., Fursov I.A. 2022. Disk Drives Remaining Useful Life Prediction Using the Extreme Learning Machine. Hybrid methods of modeling and optimization in complex systems: Proc. International Workshop “Hybrid methods of modeling and optimization in complex systems” (HMMOCS 2022. Krasnoyarsk, 22–24 November 2022) / Krasnoyarsk Regional Science and Technology City Hall, Russia Siberian Federal University, Reshetnev Siberian State University of Science and Technology. London, United Kingdom: European Proceedings. P. 304-312. DOI: 10.15405/epct.23021.37. EDN FLGYEF.
Demidova L., Fursov I. 2022. Software Implementation of Neural Recurrent Model to Predict Remaining Useful Life of Data Storage Devices. Communications in Computer and Information Science. Vol. 1526. P. 391-400. DOI: 10.1007/978-3-030-94141-3_31. EDN YYPNEN.
Demidova L.A. 2020. Recurrent Neural Networks' Configurations in the Predictive Maintenance Problems. IOP Conference Series: Materials Science and Engineering: 2019 Workshop on Materials and Engineering in Aeronautics (Moscow, 16–17 October 2019). Vol. 714. Moscow: Institute of Physics Publishing. P. 012005. DOI: 10.1088/1757-899X/714/1/012005. EDN GSGYWN.
Diallo M.S., Mokeddem S.A., Braud A., Frey G., Lachiche N. 2021. Identifying benchmarks for failure prediction in industry 4.0. Informatics. 8(4). P. 68. DOI: 10.3390/informatics8040068.
Filatov A., Demidova L. 2022. Application of Recurrent Networks to Develop Models for Hard Disk State Classification. Communications in Computer and Information Science. Vol. 1526. P. 380-390. DOI: 10.1007/978-3-030-94141-3_30. EDN MPRDYP.
Kuznietsova N., Kuznietsova M. 2020. Data Mining Methods Application for Increasing the Data Storage Systems Fault-Tolerance. IEEE 2nd International Conference on System Analysis and Intelligent Computing (SAIC 2020: 2. Kyiv, 05–09 October 2020). Kyiv. P. 9239222. DOI: 10.1109/SAIC51296.2020.9239222. EDN ADWUKB.
Lan X., Feng M., Ng D., Liu Y., Liu J., Xu F., He C. 2021. Adversarial Domain Adaptation with Correlation-Based Association Networks for Longitudinal Disk Fault Prediction. Proc. International Joint Conference on Neural Networks (Virtual, Shenzhen, 18–22 July 2021). Virtual, Shenzhen, DOI: 10.1109/IJCNN52387.2021.9533383. EDN JKAIIY.
Nasyrov I.N., Nasyrov I.I., Nasyrov R.I., Khairullin B.A. 2021. Method for HDD Reliability Multiparametric Assessment. Revista San Gregorio. Is. 44, Special edition. P. 167-178. EDN JBJJRZ.
Peng Y., Wang Y., Wang G., Tsui K.-L. 2021. Doubly Stochastic Cumulative Damage Model for RUL Prediction of HDDs in Uncertain Operating Environments. IEEE Transactions on Industrial Electronics. Vol. 68, No. 9. P. 8743-8752. DOI: 10.1109/TIE.2020.3013777. EDN XQDZHR.
Shi C., Wu Z., Lv X., Ji Y. 2021. DGTL-Net: A Deep Generative Transfer Learning Network for Fault Diagnostics on New Hard Disks. Expert Systems with Applications. Vol. 169. P. 114379. DOI: 10.1016/j.eswa.2020.114379. EDN HGACRB.
Abstract views: 78
Share
Published
How to Cite
Issue
Section
Copyright (c) 2024 Economics. Information Technologies
This work is licensed under a Creative Commons Attribution 4.0 International License.
