作为心理学的核心研究领域之一,情绪识别在人机交互(Human-computer interaction)中起到了很重要的作用。如果计算机可以有效感知人类的情绪,那么人机交互将会变得更加智能高效。既有研究表明情绪会体现在人的步态中,而智能手环(内置加速度计)可以采集到人在行走时的步态加速度数据,因此如果根据加速度数据进行情绪识别,会使得情绪识别更生态方便。
鉴此,中国科学院行为科学重点实验室朱廷劭研究组展开研究,旨在借助智能手环客观记录用户行走时的加速度数据,以预测其情绪。我们利用定制的智能手环,下图中展示的实物图及其在一般步速和跑步情况下的记录数据,可以看出它记录的加速度数据有明显的区别。
该研究招募了123名被试,利用高兴、愤怒视频诱发用户情绪,然后按照路线自然行走3-5分钟,利用智能手环记录用户在不同情绪下的手腕和脚踝处的加速度数据。我们根据加速度数据提取了时域、频域和时频等114个特征。利用支持向量机(SVM)、决策树、随机树和随机森林建立情绪分类预测模型,并利用十折交叉验证模型的可靠性。结果表明,基于加速度数据的情绪识别模型拥有良好的测量属性,如图1所示,其中SVM模型在情绪识别准确率较其他的模型较好。SVM模型在中性(N)和愤怒(A)、中性和高兴(H)、高兴和愤怒两类情绪识别准确率分别到达了91.3%、88.5%、88.5%。SVM模型在中性、高兴和愤怒三类情绪识别准确率达到81.2%。在情绪分类预测模型中,步态行为与情绪之间的预测关系具有一定的可解释性。结论表明,通过加速度数据来预测用户的情绪是完全可行的。
图1.手腕和脚踝数据的三类情绪分类准确率
该研究采用可穿戴设备,通过机器学习训练得到的预测模型,对个体的运动加速度数据进行分析,能够实现实时情绪预测,可广泛应用于特定场合下个体的情绪实时监测。
该研究是朱廷劭研究组在“大数据与心理学”研究领域的系列成果之一。此项研究得到中国科学院重点部署项目(KJZD-EW-L04)、国家重点基础研究发展计划(973项目, 基于生物、心理多模态信息的潜在抑郁风险预警理论与生物传感关键技术的研究,2014CB744600)、中国科学院战略性先导科技专项(面向感知中国的新一代信息技术研究,XDA06030800)等课题资助。
该研究成果已被国际学术期刊PeerJ录用并公开发表。
Zhan Zhang, Yufei Song, Liqing Cui, Xiaoqian Liu, Tingshao Zhu. (2016) Emotion recognition based on customized smart bracelet with built-in accelerometer. PeerJ 4:e2258 https://doi.org/10.7717/peerj.2258