Имитационная модель распределенного процесса сбора данных
DOI:
https://doi.org/10.52575/2687-0932-2023-50-2-476-486Ключевые слова:
распределенный сбор данных, имитационная модель, сбор данных, распределенные системы, системы массового обслуживанияАннотация
В данной работе авторы рассматривают процесс сбора и обработки данных из различных веб-источников. Исследована простая модель сбора данных, основанная на циклическом переборе, определены её основные недостатки. Предложена модель распределенного сбора данных как многоканальной системы массового обслуживания с неограниченной очередью. Модель использует множество узлов для доступа к онлайн-ресурсу, а для хранения информации о задачах и их балансировке между узлами используется очередь сообщений. Распределенная модель также обладает свойством отказоустойчивости и горизонтального масштабирования. Авторы сравнивают обычную и распределенные модели при помощи средства имитационного моделирования AnyLogic. Также в процессе моделирования используются различные распределения времени отклика внешнего ресурса. Результаты имитационного моделирования показывают эффективность распределенного процесса сбора данных как по критерию времени, так и по критерию удельной стоимости.
Скачивания
Библиографические ссылки
Артамонов, Ю. С. 2016. Разработка распределенных приложений сбора и анализа данных на базе микросервисной архитектуры / Ю. С. Артамонов, С. В. Востокин // Известия Самарского научного центра Российской академии наук. – 2016. – Т. 18, № 4-4. – С. 688-693. – EDN YGSQTV.
Бочкарева Е.В. 2009. Применение имитационного моделирования для исследования процесса сбора и обработки данных микроконтроллерными устройствами / Е.В. Бочкарѐва, Л.И. Сучкова, А.Г.Якунин // Научно-технические ведомости СПбГПУ. - Санкт-Петербург: Изд-во СПбГПУ, 2009. - №3. c. 158-166.
Государев И. Б. 2020. WEB SCRAPING как программный процесс извлечения и обработки данных в вебе / И. Б. Государев, Н. Н. Жуков, П. А. Бабарицкий // Современное образование: традиции и инновации. – № 1. – С. 146-152. – EDN THLLEG.
Карпов, Ю. Г. 2005. Имитационное моделирование систем : введение в моделирование с AnyLogic 5 / Ю. Г. Карпов ; Юрий Карпов. – СПб. : БХВ-Петербург, 2005. – ISBN 5-94157-148-8. – EDN QMPBSH.
Лейман, А. В, Сучкова Л. И. 2015. Имитационная модель сбора и обработки данных в распределенной системе / А. В. Лейман, Л. И. Сучкова // Ползуновский альманах. – № 1. – С. 45-47. – EDN VLAHSH.
Лейман А.В., Бочкарева Е.В., Сучкова Л.И. 2015. Имитационная модель распределенных систем сбора и обработки данных / Лейман А.В., к.т.н. Бочкарева Е.В., д.т.н. Сучкова Л.И. // Научный журнал «БЪДЕЩИТЕ ИЗСЛЕДВАНИЯ - 2015». София: «Бял ГРАД-БГ» ООД - 96 стр.
Мащенко, Е. Н. 2012. Исследование автоматизированных процессов управления качеством ИТ-сервисов с использованием имитационного моделирования / Е. Н. Мащенко, В. И. Шевченко //. – № 125. – С. 142-147. – EDN TPHAFX.
Оболенский Д.М., Шевченко В.И. 2020. Концептуальная модель интеллектуальной образовательной экосистемы. Экономика. Информатика. 47(2): 390–401. DOI: 10.18413/2687-0932-2020-47-2-390-401.4е4е
Правила тарификации для Yandex Compute Cloud. 2023. URL:https://cloud.yandex.ru/docs/compute/pricing
Benfield, J. A., & Szlemko, W. J. 2006. Internet-based data collection: Promises and realities. Journal of Research Practice, 2(2), Article D1. Retrieved [date of access] from, http://jrp.icaap.org/index.php/jrp/article/view/30/51
Cooper, Charles & Cooper, Sharon & del Junco, Jesús & Shipp, Eva & Whitworth, Ryan & Cooper, Sara. 2006. Web-based data collection: Detailed methods of a questionnaire and data gathering tool. Epidemiologic perspectives & innovations : EP+I. 3. 1. 10.1186/1742-5573-3-1.
Eyzenakh, D. S. 2021. High performance distributed web-scraper / D. S. Eyzenakh, A. S. Rameykov, I. V. Nikiforov // Proceedings of the Institute for System Programming of the RAS. – Vol. 33, No. 3. – P. 87-100. – DOI 10.15514/ISPRAS-2021-33(3)-7. – EDN SIPWXY.
Lopez C., Morato D., Magana E., Izal M. 2019. Effective analysis of secure web response time / C. Lopez, D. Morato, E. Magana, M. Izal // TMA 2019 - Proceedings of the 3rd Network Traffic Measurement and Analysis Conference : 3, Paris, 2019. – P. 145-152. – DOI 10.23919/TMA.2019.8784652. – EDN VBOMXZ.
Tkachyk, D. A. 2018. Software development for collection financial historical data using Web-scraping / D. A. Tkachyk, Yu. P. Noskovenko, O. V. Zaharchuk // 3rd International Conferenceon Innovations and development patterns in Technical and Natural Sciences, Berlin, 20 апреля 2018 года. – Berlin: Premier Publishing s.r.o. – P. 6-8. – EDN YVPGDJ.
Просмотров аннотации: 91
Поделиться
Опубликован
Как цитировать
Выпуск
Раздел
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
