Распознавание паттернов двигательной активности нейронной сетью по непрерывным данным оптической томографии fNIRS
DOI:
https://doi.org/10.52575/2687-0932-2021-48-4-735-746Ключевые слова:
интерфейс мозг-компьютер, остаточная нейронная сеть, оптическая томография, рекуррентная нейронная сеть, сверточная нейронная сеть, нейронная сеть с длинной краткосрочной памятьюАннотация
Статья посвящена разработке и апробации архитектуры нейронной сети для классификации паттернов двигательной активности по входным данным с оптического томографа. Целью данной работы является создание нейронной сети, способной осуществлять поиск паттернов двигательной активности в непрерывно поступающем сигнале с оборудования. В работе были проанализированы три типа архитектур нейронных сетей NN_LSTM, NN_ConvLST, NN_ResNet, каждая из которых представляет оригинальный подход для поиска логики в данных временных рядов. Подготовлен набор нейрофизиологических данных, полученных с оптического томографа, на основании которого проводилась апробация и качественная оценка нейронных сетей. Для этого был разработан план проведения эксперимента с учетом специфики физических основ получаемого сигнала, в частности запаздывание и инерция окси- и деокси- гемоглобина в крови. Построенный тайминг эксперимента позволяет однозначно идентифицировать события во время проведения эксперимента с целью выявления факта выполнения целевых команд испытуемым. Проведено обучение моделей нейронных сетей на двух целевых классах (сжать и разжать кисть руки). В результате показано, что модель NN_ResNet, адаптированная для обработки временных рядов, дает наилучший результат точности. Следующим этапом стало обучение моделей на трех классах (добавился класс иной двигательной активности). В результате достигнута наилучшая точность для модели NN_ResNet (accuracy 91 %). Таким образом, получена модель нейронной сети глубокого обучения, способная идентифицировать двигательные паттерны мозговой активности по данным fNIRS, в которых записан сторонний сигнал помимо целевых команд.
Благодарности: работа выполнена при финансовой поддержке РФФИ в рамках научного проекта № 20-08-01178.
Скачивания
Библиографические ссылки
Гагарин А.П. 1988. Бугера – Ламберта – Бера закон. В кн.: Физическая энциклопедия (в 5 т.). М., Советская энциклопедия: 232–233.
Добро пожаловать в Colaboratory! 2021. URL: https://colab.research.google.com/?utm_ source=scs-index (дата обращения 13.10.2021).
He K., Zhang X., Ren S., Sun J. 2015. Deep Residual Learning for Image Recognition. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), DOI:10.1109/cvpr.2016.90: 12p.
Ma T, Chen W, Li X, Xia Y, Zhu X, He S. 2021. fNIRS Signal Classification Based on Deep Learning in Rock-Paper-Scissors Imagery Task. Applied Sciences, 11(11): 18p.
Naseer N., Hong K-S. 2015. fNIRS-based brain-computer interfaces: a review. Frontiers in Human Neuroscience, 9: 15p.
NIRx fNIRS Technology & Service Overview. 2015. URL: https://nirx.net (дата обращения 13.10.2021).
S. Hochreiter; J. Schmidhuber. 1997. Long short-term memory. Neural Computation, 9(8): 1735-1780.
Shi X., Chen Z., Wang H., Yeung D.-Y., Wong W., Woo W. 2015. Convolutional LSTM Network: a machine learning approach for precipitation nowcasting. NIPS'15: Proceedings of the 28th International Conference on Neural Information Processing Systems, 1: 802–810.
Sung C. Jun. 2018. A Ternary Hybrid EEG-NIRS Brain-Computer Interface for the Classification of Brain Activation Patterns during Mental Arithmetic, Motor Imagery, and Idle State. Frontiers in Neuroinformatics, 12A(5): 9p.
TensorFlow Federated: машинное обучение на децентрализованных данных. 2020. URL: https://www.tensorflow.org/federated (дата обращения 14.10.2021).
Tomita Y., Vialatte F. B., Dreyfus G., Mitsukura Y., Bakardjian H., Cichocki A. 2014. Bimodal BCI using simultaneously NIRS and EEG. IEEE Trans. Biomed Eng., 61: 1274–1284.
Wang Y., WuReal D. 2018. Real-time fMRI-based Brain Computer Interface: A Review. IEEE. Computer Science, 1: 10p.
Просмотров аннотации: 79
Поделиться
Опубликован
Как цитировать
Выпуск
Раздел
Copyright (c) 2021 Экономика. Информатика
![Лицензия Creative Commons](http://i.creativecommons.org/l/by/4.0/88x31.png)
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.