Метод эмоционального прогнозирования в онлайн-собеседовании

Авторы

  • Сергей Андреевич Алейников Федеральное государственное автономное образовательное учреждение высшего образования «Национальный исследовательский университет ИТМО»
  • Софья Андреевна Сорокина Федеральное государственное автономное образовательное учреждение высшего образования «Национальный исследовательский университет ИТМО»
  • Александр Иванович Офицеров Академия Федеральной службы охраны Российской Федерации

DOI:

https://doi.org/10.52575/2687-0932-2021-48-1-178-187

Ключевые слова:

мультимодальность, онлайн-интервьюирование, анализ психоэмоционального состояния, эмоциональное прогнозирование, машинное обучение

Аннотация

В настоящее время наблюдается значительный рост интереса к цифровым технологиям со стороны бизнеса. Многие компании, в основном малого и среднего бизнеса, переносят интервью и переговоры в системы аудио- и видеоконференцсвязи, руководители крупных компаний также заявляют о необходимости трансформации функции HR в онлайн-формат путем внедрения новых технологий. СМИ публикуют все больше информации о широких возможностях инструментов для реализации данных технологий и невероятных результатах их внедрения. Так, с 2021 года ряд ведущих банков России планирует внедрить в свою деятельность программы, которые будут считывать эмоции клиентов во время телефонного разговора и при посещении им офиса кредитной организации. Однако исследования показывают, что пользователи нередко оказываются разочарованными полученными результатами в связи с ощутимой потерей легкости восприятия мультимодальности информационных потоков. Наличие указанных противоречий требует исследования и разработки новых подходов к проведению онлайн-интервьюирования. Рассмотренный в статье принципиально новый метод эмоционального прогнозирования позволит предсказать успех результата собеседования, определяемого интерактивно задаваемыми пользователем параметрами, что в конечном итоге должно привести к полному снятию проблемы трансформации функции HR в онлайн-формат.

Скачивания

Данные скачивания пока недоступны.

Биографии авторов

Сергей Андреевич Алейников , Федеральное государственное автономное образовательное учреждение высшего образования «Национальный исследовательский университет ИТМО»

инженер, аспирант ИКТ, Университет ИТМО, г. Санкт-Петербург, Россия; разработчик интерфейсов ООО «Яндекс.Технологии» г. Москва, Россия ORCID ID: 0000-0002-6884-2322

Софья Андреевна Сорокина, Федеральное государственное автономное образовательное учреждение высшего образования «Национальный исследовательский университет ИТМО»

Инженер НЦКР, магистрант ФЦТ Университет ИТМО, г. Санкт-Петербург, Россия

ORCID ID: 0000-0001-9159-5203

Александр Иванович Офицеров , Академия Федеральной службы охраны Российской Федерации

кандидат технических наук, сотрудник Академии Федеральной службы охраны Российской Федерации

ORCID ID: 0000-0002-4379-6948

Библиографические ссылки

HR партнер, 2019. Выпуск Цифровизация HR: эволюция или революция? 3. URL: https://universitetrzd.ru/wp-content/uploads/2019/12/1-2019_HR-partner_-1-1.pdf (дата обращения: 18.12.2020)

Бондаренко В.А., Максаев А.А., Шумакова И.А. 2020. Инновационный подход к управлению деятельностью вуза на основе применения HR-брендинга. Экономика. Информатика. 47 (1): 47–54.

Васильев Р.А. 2020. Применение методов фонетического анализа речи для выявления эмоционально устойчивых и нестабильных студентов университета. Научный результат. Информационные технологии. 5 (2).

Рубцова О.В., Панфилова А.С., Смирнова В.К. 2018. Исследование взаимосвязи личностных особенностей подростков с их поведением в виртуальном пространстве (на примере социальной сети «ВКонтакте»). Психологическая наука и образование. 23 (3): 54–66.

Смирнов А.В., Безручко В.В., Басов О.О. 2019. Теоретические основы построения социокиберфизических систем. Научные ведомости Белгородского государственного университета. Серия: Экономика. Информатика. 46 (3): 532–539.

Batbaatar E., Li M., Ryu K.H. 2019. Semantic-emotion neural network for emotion recognition from text. IEEE Access. 7: 111866–111878.

Calefato F., Lanubile F., Novielli N. 2017. EmoTxt: a toolkit for emotion recognition from text. 2017 seventh international conference on Affective Computing and Intelligent Interaction Workshops and Demos (ACIIW). IEEE. 79–80.

Fan Y. et al. 2016. Video-based emotion recognition using CNN-RNN and C3D hybrid networks. Proceedings of the 18th ACM International Conference on Multimodal Interaction. 445–450.

Fayek H.M., Lech M., Cavedon L. 2017. Evaluating deep learning architectures for Speech Emotion Recognition. Neural Networks. 92: 60–68.

Jones S.E., LeBaron C.D. 2002. Research on the relationship between verbal and nonverbal communication: Emerging integrations. Journal of communication. 52 (3): 499–521.

Jurafsky D. 2000. Speech & language processing. Pearson Education India.

Korenevskiy N. et al. 2013. Fuzzy determination of the human’s level of psycho-emotional. 4th International Conference on Biomedical Engineering in Vietnam. Springer, Berlin, Heidelberg. 213–216.

Kort B., Reilly R., Picard R. W. 2001. An affective model of interplay between emotions and learning: Reengineering educational pedagogy-building a learning companion. Proceedings IEEE International Conference on Advanced Learning Technologies. IEEE. 43–46.

Lim W., Jang D., Lee T. 2016. Speech emotion recognition using convolutional and recurrent neural networks. 2016 Asia-Pacific signal and information processing association annual summit and conference (APSIPA). IEEE. 1–4.

Liu C. et al. 2018. Multi-feature-based emotion recognition for video clips. Proceedings of the 20th ACM International Conference on Multimodal Interaction. 630–634.

Noroozi F. et al. 2017. Audio-visual emotion recognition in video clips. IEEE Transactions on Affective Computing. 10 (1): 60–75.

Plutchik R. 1991. The emotions. University Press of America.

Sailunaz K. et al. 2018. Emotion detection from text and speech: a survey. Social Network Analysis and Mining. 8 (1): 28

Vryzas N. et al. 2018. Speech emotion recognition adapted to multimodal semantic repositories. 2018 13th International Workshop on Semantic and Social Media Adaptation and Personalization (SMAP). IEEE. 31–35.

Williams J. et al. 2018. Recognizing emotions in video using multimodal DNN feature fusion. Proceedings of Grand Challenge and Workshop on Human Multimodal Language (Challenge-HML). 11–19.

Yoon S., Byun S., Jung K. 2018. Multimodal speech emotion recognition using audio and text. 2018 IEEE Spoken Language Technology Workshop (SLT). IEEE. 112–118.

Zuckerman M., DePaulo B.M., Rosenthal R. 1981. Verbal and nonverbal communication of deception. Advances in experimental social psychology. Academic Press. 14: 1–59.


Просмотров аннотации: 67

Поделиться

Опубликован

2022-09-19

Как цитировать

Алейников , С. А., Сорокина, С. А., & Офицеров , А. И. (2022). Метод эмоционального прогнозирования в онлайн-собеседовании. Экономика. Информатика, 48(1), 178-187. https://doi.org/10.52575/2687-0932-2021-48-1-178-187

Выпуск

Раздел

ИНФОКОММУНИКАЦИОННЫЕ ТЕХНОЛОГИИ