王延江教授团队在脑电情绪识别研究领域取得新进展

近日，我院王延江教授团队在脑电情绪识别研究领域取得新进展，相关研究论文《Convolutional gated recurrent unit-driven multidimensional dynamic graph neural network for subject-independent emotion recognition》 (卷积门控递归单元驱动的多维动态图神经网络用于被试独立的情绪识别)在线发表于国际权威期刊Expert Systems With Applications。我院2020级博士研究生郭文慧为第一作者，王延江教授为通讯作者，中国石油大学（华东）为唯一署名单位。

 由于脑电图（EEG）可以更客观和真实地反映一个人的情绪状态并能记录大脑神经活动，因此如何通过EEG信号来对人脑不同情绪状态进行准确识别，在疲劳驾驶监测、抑郁疾病诊断等领域具有重要的应用价值。近年来，尽管现有的大多数方法能够提取EEG信号的时序和空间特征，但时间序列信息和空间特征的提取过程彼此是分离的。在提取时间序列信息时，一些空间特征可能会丢失，反之亦然。此外，由于电极在头皮上的位置决定了它们记录到的脑电信号，不同位置的电极会受到不同脑区活动的影响，因此电极之间构成的空间布局对于理解和解释脑电信号至关重要。同时，通过考虑电极之间空间关系的非欧性，可以帮助我们理解不同脑区之间的相互作用和功能连接，从而揭示脑网络的结构和功能特性。因此，EEG电极之间的非欧几里得空间表示不能被忽略。针对上述问题，该团队构建了一个卷积门控递归单元驱动的多维动态图神经网络（CGRU-MDGN），如图1所示，该网络在学习时间信息的同时能够挖掘其EEG信号的局部空间特征，并能捕获EEG电极之间的非欧几里得空间特征，有助于更准确地对情绪状态进行识别。特别是，这一模型在面对被试独立的实验设计下也能很好地捕获不同情绪状态的特征表达，且在三个基准数据集的实验中达到了目前最好（ SOTA）性能。除此之外，这一模型有利于对患有面瘫、面部烧伤或肌萎缩侧索硬化症（ALS）和抑郁症等疾病患者的情绪状态的学习和提取，并可为相应患者实现脑机交互提供技术支撑。

图1. 卷积门控递归单元驱动的多维动态图神经网络

图2. 不同情绪状态在不同脑区电极下的响应图

 审稿专家对该成果给予高度评价，认为该研究成果有突出的创新性，对理解脑疾病患者情绪状态和意图有重要意义。

近年来，王延江教授团队致力于以交叉学科为突破口，将智能信息处理与脑电信号相结合，用于理解大脑功能、探索类脑智能以及脑机接口技术的研究。先后以第一作者或通讯作者在Expert Systems With Applications、Knowledge-Based Systems、Journal of Neural Engineering、Biomedical Signal Processing and Control等国内外重要期刊发表多项相关研究成果，为我院控制科学与工程学科在脑电与机器学习相结合领域开辟了一个新的研究方向。

全文链接：https://doi.org/10.1016/j.eswa.2023.121889