我院2021级研究生蔡洪华等在SCI期刊Pattern Recognition Letters上发表研究成果

近日，脑机交互与混合智能研究团队成员蔡洪华、金家瑞等在潘家辉教授指导下，在SCI期刊Pattern Recognition Letters（SCI，JCR Q2，IF=5.1）发表研究成果“AITST–Affective EEG-based Person Identification via Interrelated Temporal-Spatial Transformer”。本论文于2023年4月10日投稿，2023年8月23日录用。

与容易被规避的传统识别方法如证书识别、签名识别和密码识别，或其他生物识别方法如指纹、人脸和虹膜相比，基于脑电（electroencephalography, EEG）的身份识别（Person Identification）因其更高的准确性、安全性和稳健性而受到广泛关注。目前相关研究已经证实每个人的脑电信号是独特的，因此它们可以作为独特的生物特征用于身份识别。大多数现有方法只是单独从单一领域提取特征，或者将它们进一步组合在一起，这并没有考虑这三个领域之间的相互关系。此外，基于Transformer的方法是否具有适用于脑电身份识别并克服情绪状态影响的能力，仍然不清楚。

为了解决上述问题，蔡洪华等提出了一种基于情感相关的时空注意力机制的Transformer的脑电身份识别方法（AITST），以克服不同情绪状态的影响。该方法包含了相关联的时空注意机制，旨在提取时空特征的同时保留时域和空间域的相互关系。该研究在DEAP数据库上对AITST进行了评估，实验结果表明，AITST在情感脑电身份识别任务中实现了SOTA性能，并克服了不同情绪状态的影响。此外，作者还研究了哪种类型的特征和情绪状态对于身份识别更有帮助，旨在为后续的身份识别研究提供特征选择和情绪状态关注的指导。该研究的贡献如下：

1）设计了一种基于情感相关的时空注意力机制的Transformer的脑电身份识别方法（AITST）用于情感脑电身份识别，可以克服不同情绪状态的影响。

2）设计了一种时空相互关注机制，用于在从脑电的时空领域提取特征时保持时域和空间域之间的相互关系。

3）探索了不同情绪状态、不同频带以及不同特征对脑电身份识别的贡献，发现γ频带、高唤醒状态和功率谱密度（Power Spectral Density, PSD）特征更有助于情感脑电身份识别。

AITST的架构概述如图1所示。AITST包括空间编码器、时域编码器、图块划分和位置嵌入，以及跟随在Transformer编码器之后的多层感知器（MLP）。由于脑电图中不同电极的信号存在显著差异，因此专注于不同电极之间的空间信息至关重要。在空间注意子模块中，该研究使用两个卷积层进行空间信息融合，以便聚焦于不同电极之间的空间信息。我们使用大小为7×7卷积核对每个图块进行下采样，并使用反卷积将特征图上采样至原始大小。该方法允许在每个图块中融合来自不同电极的信息。在时间注意子模块中，由于每个时间段包含特定的特征响应，我们使用时间注意力来关注时间段内的关键时间点。时间注意子模块使用3D排列来保留三个维度上的信息。我们使用一个具有多个隐藏层的多层感知器进行类似空间注意力上下采样的操作。为了简单起见，多层感知器的缩减比例r与空间注意子模块的缩减比例r相同。

本研究可以在提取脑电数据中的时空特征的同时，重构空间和时域之间的相互关系。我们在DEAP情感数据库上对AITST进行了评估，实验结果显示AITST实现了SOTA性能，而Transformer结构有助于克服不同情绪状态和不同频带的影响。消融研究显示，我们的相关联的时空注意力机制可以提升AITST的性能，空间和时域信息对情感脑电身份识别都是不可或缺的。此外，功率谱密度、高唤醒状态和脑电图信号的γ频带更有助于情感脑电图身份识别。

论文网址：https://www.sciencedirect.com/science/article/abs/pii/S0167865523002301 

撰稿：蔡洪华

审稿：潘家辉