基于EEG的情感识别：机器人是否有情绪反应呢？

情绪 作为人类的一种生理和心理状态，是我们的本质和行为方式的重要组成部分，在日常生活中影响着我们的身心健康及理性决策的制定。

想想你

在购买新手机、新笔记本电脑、小汽车，

或选择大学、新公司的新工作等时

所做的决策。

1、情绪识别的意义

情感科学的进步对于人类心理学的发展对于社会的利益和应用至关重要。当情绪识别模型被集成到系统时，它将以多种方式提高生产率并降低支出成本：

? 将情绪识别整合到教育等社会中，可以检测到学生对教材内容的心理状态。

? 医生将能够评估患者的精神状况并提供更好的建设性反馈以改善他们的健康状况。

? 一款视频游戏知道您的参与度或兴奋程度，它可以调整难度级别。

? 军方将能够在模拟环境中训练受训人员，并能够评估受训人员在战斗情况下的心理状况。

? 在电子学习情况下，可以定制适合用户的演示方法，防止他们感到无聊或在困惑时放慢速度。

? 使数字宠物和伙伴具有同情心，它们将变得更加普遍和栩栩如生。

? 安全公司可以使用该技术将人群中看起来紧张的个人识别为潜在威胁。

? 您的计算机甚至可能会在您发送愤怒的电子邮件之前警告您暂停、更改音乐曲目以适应您的心情，或者如果您处于情绪不稳定的状态则关闭您的汽车。

? 该技术还被用于帮助患有自闭症和其他残疾的人与世界其他地方互动。

显然，这项技术可能有许多潜在的应用。但是，与任何技术进步一样，也可能存在缺陷。当他或她容易紧张并自我代入情景中时，会让技术人员感觉很可疑。并且不要被捕捉到你在与老板会面后做出的愤怒或嘲笑的表情。

2、如何评价情绪

情绪评价模型一般是建立于自我评估的主观报告上，可分为离散模型和维度模型。前者将情绪分为离散的实体，如Ekman理论中的愤怒、厌恶、恐惧、快乐、悲伤和惊讶。后者通常通过测量三个独立的双极维度来评估一个人的精神状态 ，通过反映愉快 - 不愉快，唤醒程度和支配 - 顺从的图像直观地呈现给人们（图1）。

图1

医学专业人员需要全面的培训和经验才能了解患者的心理健康状况，然而，鉴于许多人难以诚实地表达自己或缺乏对自己心理状态的了解或把握，使用自我评估报告的患者提供的信息的有效性和佐证性是不可靠的。由于识字能力的限制，对年幼的儿童或老年人进行自我评估报告也不可行。因此，医疗专业人员可以通过难以隐藏的生理信号直接从患者那里获得健康信息，并几乎立即评估他们的状况。

人类的脑电图信号（EEG）是神经元产生的无法抑制的电信号，这些信号控制着身体的所有功能。人脑储存了一生中积累的情感体验，通过直接利用脑电信号，我们可以检查一个人在暴露于特定环境时的情绪反应。根据脑电信号提供的这些信息，它可以帮助加强和证明该人身体健康或可能患有精神疾病。

脑电图被认为是一种生理线索，其中神经细胞的电活动聚集在人类大脑皮层中。脑电图用于记录此类活动，由于与非生理线索（面部表情、手势等）相比，脑电图对情绪的评价相对客观。

3、情绪的产生

大脑中的边缘系统在很大程度上牵涉到情感，边缘系统由下丘脑、杏仁核和海马体组成（图2）。下丘脑处理情绪反应，而杏仁核处理外部刺激，这些外部刺激处理来自情境识别和潜在威胁分析的情绪信息。研究表明，杏仁核是储存恐惧和焦虑情绪的生物学基础。最后，海马体将情感体验与认知结合起来。

图2（图片来源：Suhaimi, N. S., Mountstephens, J., & Teo, J. (2020). EEG-based emotion recognition: A state-of-the-art review of current trends and opportunities. Computational intelligence and neuroscience, 2020.）

在EEG与FMRI的医学影像研究中，情绪是大脑偏侧化的反应，特别是在外侧额叶皮层。在一种表述中，左半球主导积极情绪，右半球主导消极情绪Davidson 1992 年，Gur 等人 1994 年，Robinson 和 Starkstein 1989 年，Sackeim 等人 1978 年，Sackeim 等人 1982 年。左额叶，特别是外侧前额叶皮层或基底神经节遭受创伤的患者中有不成比例的人会变得抑郁（例如，Morris 等人 1996 年，Paradiso 等人 1999 年，Sackeim 等人 1982 年。然而，右额叶受损的患者更可能表现出不适当的快乐和狂躁的迹象（Starkstein 等，1989）。行为研究强化了这一观点，表明当情绪刺激呈现给左半球时，积极情绪的处理得到增强，而当呈现给右半球时，消极情绪得到增强Burton 和 Levy 1989， Davidson 等人 1987。

一些EEG实验为积极和消极情绪被侧化的观点提供了一些支持，特别是在额叶皮质Davidson 和 Fox 1982 年，Tucker 等人 1981 年，以及人类早期成长Davidson 和 Fox 1982 年，Fox 和戴维森1986 年。戴维森及其同事提出，偏侧化，特别是在前额叶皮层中，可能取决于瞬时诱发的情绪或稳定的人格特征，称为“情感风格”。 尽管效价和趋近、回避维度都是被用于概念化这些差异，但这些研究倾向于支持更基于生物学的趋近和回避概念。这两个维度有很大的重叠，在愤怒的分类上差异最大。传统上被认为是一种消极情绪，愤怒通常与接近行为有关。图3显示了激活焦点的相对密度在回避（红色）和趋近（绿色）比较时更大的区域。

图3（图片来源：Wager, T. D., Phan, K. L., Liberzon, I., & Taylor, S. F. (2003). Valence, gender, and lateralization of functional brain anatomy in emotion: a meta-analysis of findings from neuroimaging. Neuroimage, 19(3), 513-531.）

然而，这并不意味着右半球或左半球参与处理情绪，而是它们在情绪体验发展中的贡献不同。研究发现，人们倾向于以被激活的大脑一侧解释积极和消极的情况。但情绪体验由三个参数决定：感官信息的处理、记忆过程和处理信息的社会环境。这三个参数共同作用，为每个人创造独特的情感体验，情绪反应过程的偏侧化反映了这些参数在情感体验中的重要性。

4、情绪识别模型

在基于脑电图的情绪识别研究领域，基于深度学习（DL）的人工智能（AI）技术取得了巨大的成功。传统的DL方法有使用皮尔逊相关系数重新排序脑电图并将它们输入到卷积神经网络（CNN）；还有通过调整 CNN 卷积滤波器的超参数在脑电图和皮肤电反应信号的多模态数据对情绪进行分类；以及结合计算机视觉领域（CV）建立了基于短时傅立叶变换的电极频率分布图，然后通过带有残差模块的 CNNs 识别情绪。

目前，新的DL模型大多都是建立在神经影像学与脑神经学的偏侧化研究上，如双半球差异模型（BiHdm），正则化图神经网络（RGNN)， 区域非对称卷积神经网络（RACNN）。它们在公开情感数据集上已经达到了相当高的识别精度，但是由于使用的采集电极较多，还是难以实现让科研走进生活。

我们团队提出了一个对称通道卷积神经网络模型（SCEEGNet，图4），在使用相同的数据集下，只使用8个采样电极的数据对正、负、中三种情绪识别的准确率达到98.37%。

图4

基于神经影像学与脑神经学与情感相关的研究，选择了与情绪反应密切相关的8个电极的放置位置，然后通过重建数据拓扑与设置特殊的卷积核实现情绪识别功能（图5），避免了不存在偏侧特征的电极之间产生权值共享，将感受野都集中在捕获偏侧特征中。我们正在努力将模型集成到便携式的EEG设备中。

图5

5、机器人是否有情绪？

最近，OpenAI提出的人工智能聊天机器人程序ChatGPT让人们感叹科技进步之快的同时，也让许多人对机器人是否有情感产生了疑问。

计算机不太可能像人类具有复杂的情绪反应，因为情绪反应涉及大脑中某些化学物质的释放。虽然计算机能够通过编程模拟某些人类情感，但它们无法像人类一样体验情感。ChatGPT的本质是一个专家系统，是将大量的知识进行压缩，实现问询机制。模拟情绪、调节情绪是一个复杂的生物过程，难以复现该过程，并将其复制到计算机中。

即使在未来，数据与材料科学快速发展，可能能实现让聊天机器人具有情感，但当这样的场景发生时，一些伦理问题也随之出现了：

让痴呆症患者依赖机器人伴侣并相信它有情感生活而实际上没有，这在道德上是否正确？你能根据将某人归类为有罪的 AI 对某人定罪吗？绝对不能。

虽然一旦该系统得到进一步改进并由法律参与者进行全面评估，它可能会成为一种有用的预防工具，可以触发对软件认为“可疑”的个人进行进一步检查。

（供稿：张猛）