Распознавание паттернов двигательной активности нейронной сетью по непрерывным данным оптической томографии fNIRS

Аннотация

Статья посвящена разработке и апробации архитектуры нейронной сети для классификации паттернов двигательной активности по входным данным с оптического томографа. Целью данной работы является создание нейронной сети, способной осуществлять поиск паттернов двигательной активности в непрерывно поступающем сигнале с оборудования. В работе были проанализированы три типа архитектур нейронных сетей NN_LSTM, NN_ConvLST, NN_ResNet, каждая из которых представляет оригинальный подход для поиска логики в данных временных рядов. Подготовлен набор нейрофизиологических данных, полученных с оптического томографа, на основании которого проводилась апробация и качественная оценка нейронных сетей. Для этого был разработан план проведения эксперимента с учетом специфики физических основ получаемого сигнала, в частности запаздывание и инерция окси- и деокси- гемоглобина в крови. Построенный тайминг эксперимента позволяет однозначно идентифицировать события во время проведения эксперимента с целью выявления факта выполнения целевых команд испытуемым. Проведено обучение моделей нейронных сетей на двух целевых классах (сжать и разжать кисть руки). В результате показано, что модель NN_ResNet, адаптированная для обработки временных рядов, дает наилучший результат точности. Следующим этапом стало обучение моделей на трех классах (добавился класс иной двигательной активности). В результате достигнута наилучшая точность для модели NN_ResNet (accuracy 91 %). Таким образом, получена модель нейронной сети глубокого обучения, способная идентифицировать двигательные паттерны мозговой активности по данным fNIRS, в которых записан сторонний сигнал помимо целевых команд.

Благодарности: работа выполнена при финансовой поддержке РФФИ в рамках научного проекта № 20-08-01178.