Типичные ошибки в больших данных по надежности накопителей информации в data-центрах
DOI:
https://doi.org/10.52575/2687-0932-2024-51-2-479-488Ключевые слова:
data-центр, накопитель информации, показатель надежности, большие данные, ошибка, скорость накопленияАннотация
Цифровая экономика основана на сборе и использовании больших данных. Однако с течением времени их объем в централизованных хранилищах (data-центрах) становится настолько велик, что даже только сведения о состоянии накопителей информации сами начинают из себя представлять большие данные. Содержащиеся в них ошибки создают определенные проблемы при оценке надежности оборудования. Целью данного исследования является выявление и анализ указанных ошибок. Рассматривались находящиеся в открытом доступе значения параметров накопителей информации data-центров компании Backblaze за длительный период. В результате был выявлен ряд ошибок, типизация которых укладывается в пять крупных групп: по оформлению, по содержанию, по времени, корректируемые и некорректируемые. Показано, что число ошибок и скорость их прироста можно значительно снизить путем корректировки.
Скачивания
Библиографические ссылки
Демидова Л.А., Филатов А.В. 2021. Контроль и классификация состояния жестких дисков с применением рекуррентных нейронных сетей. Контроль. Диагностика. Т. 24, № 10(280): 36-43. DOI: 10.14489/td.2021.10. pp.036-043. EDN VOVAXJ.
Демидова Л.А., Филатов А.В. 2022. Разработка модели бинарной классификации состояний дисковых накопителей на основе алгоритма случайного леса с учетом критерия важности признаков. Актуальные проблемы прикладной математики, информатики и механики: сб. тр. межд. науч. конф. (Воронеж, 13–15 декабря 2021). Воронеж: ООО "Вэлборн", 1557-1563. EDN FLBIUQ.
Демидова Л.А., Филатов А.В. 2021. Разработка модели классификации состояния жёстких дисков на основе LSTM-нейронных сетей. Высокопроизводительные вычислительные системы и технологии. Т. 5, № 1: 37-42. EDN WGUDRH.
Демидова Л.А., Фурсов И.А. 2021. Разработка модели прогнозирования остаточного срока службы накопителей данных с использованием технологии рекуррентных нейронных сетей. Высокопроизводительные вычислительные системы и технологии. Т. 5, № 1: 43-48. EDN CXSKCF.
Елизова Н.А., Ефимов А.В. 2022. Анализ эффективности и функциональных возможностей программ по выявлению и обработке отказов SSD дисков. Инновации и научно-техническое творчество молодежи: мат. Российской науч.-техн. конф. (Новосибирск, 20–21 апреля 2022). Новосибирск: Сибирский государственный университет телекоммуникаций и информатики, С. 127-131. EDN CXFBAA.
Насыров И.Н., Насыров И.И., Насыров Р.И. 2022. Большие данные по надежности накопителей информации в data-центрах. Цифровая экономика. 2 (18): 33-37. DOI: 10.34706/DE-2022-02-04. EDN PVGOEX.
Насыров И.Н., Насыров И.И., Насыров Р.И. 2021. Метод многопараметрической оценки надежности жестких дисков. Приборы. № 2: 13-19. EDN LUFSJN.
Насыров И.Н., Насыров И.И., Насыров Р.И. 2021. Модель для многопараметрической оценки жестких дисков по риску отказа. Автоматизация в промышленности. № 1: 38-42. DOI: 10.25728/avtprom.2021.01.06. EDN EKUFDN.
Насыров И.Н., Насыров И.И., Насыров Р.И. 2022. Прикладные проблемы обеспечения эффективности хранения информации в data-центрах. Социально-экономические и технические системы: исследование, проектирование, оптимизация. № 1 (90): 67-76. EDN LEXFPM.
Филатов А.В. 2022. Подготовка данных и подбор гиперпараметров модели машинного обучения в задачах классификации. Новые информационные технологии в научных исследованиях: мат. XХVII всеросс. науч.-техн. конф. студентов, молодых ученых и специалистов. (Рязань, 07–09 декабря 2022). В 2-х томах. Том 1. Рязань: Рязанский государственный радиотехнический университет им. В.Ф. Уткина. 272-273. EDN PBQUSA.
Юрков А.А., Петров А.В. 2021. Мониторинг здоровья жестких дисков. Современные технологии в теории и практике программирования: сб. мат. науч.-прак. конф. (Санкт-Петербург, 22 апреля 2021). Санкт-Петербург: Федеральное государственное автономное образовательное учреждение высшего образования "Санкт-Петербургский политехнический университет Петра Великого". 228-229. EDN ORSHGC.
Cahyadi, Forshaw M. 2021. Hard disk failure prediction on highly imbalanced data using LSTM network. Proc. IEEE International Conference on Big Data (Big Data, 15-18 December 2021, Orlando, FL, USA). P. 3985-3991. DOI: 10.1109/BigData52589.2021.9671555.
Demidova L.A., Fursov I.A. 2021. Aspects of Feature Engineering in the Problem of Predicting the Service Life of Hard Drives. Proc. 3rd International Conference on Control Systems, Mathematical Modeling, Automation and Energy Efficiency (SUMMA 2021: 3. Lipetsk, 10–12 November 2021). Lipetsk. P. 1188-1191. DOI: 10.1109/SUMMA53307.2021.9632089. EDN QAXGJS.
Demidova L.A., Fursov I.A. 2022. Disk Drives Remaining Useful Life Prediction Using the Extreme Learning Machine. Hybrid methods of modeling and optimization in complex systems: Proc. International Workshop “Hybrid methods of modeling and optimization in complex systems” (HMMOCS 2022. Krasnoyarsk, 22–24 November 2022) / Krasnoyarsk Regional Science and Technology City Hall, Russia Siberian Federal University, Reshetnev Siberian State University of Science and Technology. London, United Kingdom: European Proceedings. P. 304-312. DOI: 10.15405/epct.23021.37. EDN FLGYEF.
Demidova L., Fursov I. 2022. Software Implementation of Neural Recurrent Model to Predict Remaining Useful Life of Data Storage Devices. Communications in Computer and Information Science. Vol. 1526. P. 391-400. DOI: 10.1007/978-3-030-94141-3_31. EDN YYPNEN.
Demidova L.A. 2020. Recurrent Neural Networks' Configurations in the Predictive Maintenance Problems. IOP Conference Series: Materials Science and Engineering: 2019 Workshop on Materials and Engineering in Aeronautics (Moscow, 16–17 October 2019). Vol. 714. Moscow: Institute of Physics Publishing. P. 012005. DOI: 10.1088/1757-899X/714/1/012005. EDN GSGYWN.
Diallo M.S., Mokeddem S.A., Braud A., Frey G., Lachiche N. 2021. Identifying benchmarks for failure prediction in industry 4.0. Informatics. 8(4). P. 68. DOI: 10.3390/informatics8040068.
Filatov A., Demidova L. 2022. Application of Recurrent Networks to Develop Models for Hard Disk State Classification. Communications in Computer and Information Science. Vol. 1526. P. 380-390. DOI: 10.1007/978-3-030-94141-3_30. EDN MPRDYP.
Kuznietsova N., Kuznietsova M. 2020. Data Mining Methods Application for Increasing the Data Storage Systems Fault-Tolerance. IEEE 2nd International Conference on System Analysis and Intelligent Computing (SAIC 2020: 2. Kyiv, 05–09 October 2020). Kyiv. P. 9239222. DOI: 10.1109/SAIC51296.2020.9239222. EDN ADWUKB.
Lan X., Feng M., Ng D., Liu Y., Liu J., Xu F., He C. 2021. Adversarial Domain Adaptation with Correlation-Based Association Networks for Longitudinal Disk Fault Prediction. Proc. International Joint Conference on Neural Networks (Virtual, Shenzhen, 18–22 July 2021). Virtual, Shenzhen, DOI: 10.1109/IJCNN52387.2021.9533383. EDN JKAIIY.
Nasyrov I.N., Nasyrov I.I., Nasyrov R.I., Khairullin B.A. 2021. Method for HDD Reliability Multiparametric Assessment. Revista San Gregorio. Is. 44, Special edition. P. 167-178. EDN JBJJRZ.
Peng Y., Wang Y., Wang G., Tsui K.-L. 2021. Doubly Stochastic Cumulative Damage Model for RUL Prediction of HDDs in Uncertain Operating Environments. IEEE Transactions on Industrial Electronics. Vol. 68, No. 9. P. 8743-8752. DOI: 10.1109/TIE.2020.3013777. EDN XQDZHR.
Shi C., Wu Z., Lv X., Ji Y. 2021. DGTL-Net: A Deep Generative Transfer Learning Network for Fault Diagnostics on New Hard Disks. Expert Systems with Applications. Vol. 169. P. 114379. DOI: 10.1016/j.eswa.2020.114379. EDN HGACRB.
Просмотров аннотации: 78
Поделиться
Опубликован
Как цитировать
Выпуск
Раздел
Copyright (c) 2024 Экономика. Информатика
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
