情绪识别前沿技术介绍

情绪识别技术概述
情绪是一种复杂的状态，是人们在面对不同刺激时产生的本能反应，是人类情感的一种具体体现，它会因为在生理和心理上有不同的内在或外在的刺激而有不同的表现。情绪在人们的生活、工作和学习中扮演着重要的角色。
情绪是多维的，它不仅跟人体的生理状态有关，更是综合了生活环境、自身性格以及人际关系等多方面因素的影响。每个人在同一种情绪刺激下会有不同程度的反应。因此，情绪是一种复杂的存在，想要了解情绪的特征，就需要从多种角度进行研究。
情绪识别一种用来提取人类情感的技术。多年来，人们采用了各种各样的方法来研究人类的情绪。这些技术大致分为三类，即：自我报告与量表，行为研究和生理研究。
传统的情绪测量方法主要依赖于自我报告和量表，然而这些方法存在显著的局限性。自我报告容易受到个体主观意识的影响，如认知偏差、记忆不准确以及社会期望等因素，导致信息的不客观和不可靠。量表测量同样难以避免被试者主观作答态度的干扰，被试者可能会为了迎合测试目的或自身期望而故意选择某些答案，从而使测量结果失真。
随着科技的不断进步，创新的情绪测量方法逐渐涌现，行为信号和生理信号的测量成为情绪识别研究的热点，其中：
行为信号包括人的面部表情（宏观表情与微表情）、语音、动作等，其中面部表情是人类表达情绪最自然、最普遍的方式。面部微表情是自发的、不受控制的面部动作，持续时间仅为1/25-1/2秒，能够真实地反映个体的情绪状态。语音的语速、语调、词汇选择等也能提供情绪状态的线索。动作如肢体语言和姿势也能反映个体的情绪和心理状态。
生理信号的测量则包括脑电（EEG）、心率、呼吸、眼动等。脑电信号直接反映了大脑神经元的活动状态，且由人体自发产生，人们无法进行主观控制，因此更能捕捉真实的情绪状态。心率和呼吸的变化也能反映情绪的波动，眼动模式则与注意力和认知加工有关，间接反映情绪状态。
图：情绪识别的主要方法
情绪识别主要技术介绍
在情绪识别研究中，面部微表情和脑电信号EEG是情绪识别的最主要的技术手段。面部微表情则能够反映个体在特定情境下的真实情绪反应，即使个体试图掩饰，微表情也会不由自主地流露出来。脑电信号EEG客观且不易受人为干扰，能够精确反映个体情绪状态的变化。因此，面部微表情和脑电信号EEG在情绪识别研究中具有独特的优势，能够提供客观、真实的情绪测量结果，是情绪识别中的最主要的技术手段。
2.1面部微表情方法介绍
区别于普通面部表情，即宏表情，微表情是一种转瞬即逝的自发人类脸部表情。心理学家Paul Ekman定义微表情（micro-expression）为人类试图压抑或隐藏真实情感时所泄漏的极其短暂的、无法自主控制的、无意识的面部表情。
面部微表情识别技术是一种通过捕捉和分析人类脸上瞬间闪现的细微表情来判断其真实情绪的方法。该技术使用摄像机记录面部视频，捕捉细微的表情动作。然后，通过计算机视觉技术对视频进行处理，定位面部关键区域，并提取与情绪相关的特征，然后利用机器学习算法对这些特征进行分析和分类，从而识别出个体的情绪状态，如快乐、悲伤、愤怒等。
2.2脑电EEG情绪识别方法介绍
脑电EEG测量是通过在大脑皮层特定神经中枢对应的头皮位置上布置电极，记录一段时间内各区域神经元放电现象，绘制成随时间变化的动态曲线的过程。脑电EEG信号的采集设备包括电极、数据存储单元、放大器以及显示单元。
脑电EEG情绪识别方法核心是分析大脑活动与情绪状态之间的关联。情绪变化时，大脑的生理活动会随之改变，这些变化可以通过EEG信号捕捉。通过分析EEG信号的特征，可以推断个体的情绪状态。譬如，alpha波在低唤醒平静状态下增强，而beta波在高唤醒兴奋状态中更活跃。


图：EEG信号与情绪状态的关系
2.3、两种情绪识别技术对比
面部微表情识别技术和脑电EEG是情绪识别领域的两种重要方法，各自具有独特的优势和局限性。
使用便捷性
面部微表情识别技术在非接触性与便捷性方面具有显著优势，仅需摄像设备即可采集数据，无需任何物理接触，这使得被测者在自然状态下进行表情表达不会因设备的接触而产生不适或影响情绪状态。具体而言，通过普通的移动设备、安防监控摄像头等摄像设备，即可采集数据进行分析，适用于各种自然场景，如安防监控、人机交互、产品感官测试等，能够轻松部署且不会影响用户的自然行为。
脑电（EEG）需要佩戴脑电帽等设备，虽然设备不断进步市场上已经推出了便捷式的脑电设备，但满足情绪测量专业性要求的脑电仪至少需要32通道。这些专业脑电仪在使用过程中较为复杂，包括设备的佩戴、调试以及数据的采集和分析等步骤，都需要一定的专业操作和时间成本。此外，即使设备不断进步，接触式的可穿戴设备如脑电帽等，在自然场景中的应用仍然受到限制。例如，在公共场合或日常生活中，佩戴脑电设备可能会让用户感到不适，甚至影响情绪状态的自然表达。同时，脑电设备的佩戴还可能引起受试者的生理与心理不适，包括电极帽的物理压力、过敏反应、皮肤发红或瘙痒，以及心理上的异物感和紧张感等。

信息真实性
微表情是边缘系统直接触发的无意识面部动作（如杏仁核激活引发的AU4皱眉肌收缩），其短暂性（1/25-1/2秒）和低强度特性（肌肉运动幅度<0.5毫米）使其难以被主观意志完全抑制或伪装，能够更真实地反映潜在情绪。研究表明，即使经过专业训练的人士，其伪装微表情的准确率仍低于30%，远低于EEG信号中因肌肉活动导致的伪迹发生率（如眨眼干扰可达50%以上）。面部微表情的真实性使其在心理学研究、司法审讯、边境安检等场合具有重要价值。例如，在司法审讯中，微表情识别技术能够帮助识别谎言和潜在威胁，提升监测的效率和准确性。在边境安检中，微表情识别技术可以用于识别潜在的威胁和欺诈行为，增强安全防范能力。
脑电EEG信号客观且不易受人为干扰，能够精确反映个体情绪状态的变化，因此脑电EEG技术在情绪识别中具有较高的专业性，能够提供大脑活动的详细信息，尤其适用于需要深入理解情绪神经机制的研究。例如，在神经科学和心理学研究中，EEG技术可以用来探索情绪产生的神经基础和大脑网络的动态变化，找出不同的情绪状态引发大脑不同区域的电活动变化，这些变化可以作为情绪识别的依据。但是，脑电EEG信号极容易受噪声干扰。一般来讲，放置在头皮表面的电极所检测到的脑电信号基本上以几十微伏计，而肌肉细胞同样也会释放肌电信号，尤其是频率在20赫兹以上的脑电信号，受到肌电信号的干扰后的测量值甚至能出现数量级上的差异，另外，眼动和眨眼产生的电活动也是EEG信号中的常见干扰源，因为眼睛周围的电活动非常强，还有设备噪音、环境噪音、受试者的头部或身体运动引入的运动伪迹等，均会对脑电EGG信号产生较大的噪音干扰。这些噪声的存在严重影响了EEG信号的质量和分析结果的准确性。因此，脑电EGG信号的需要专业的采集设备（至少需要32个通道及以上采集器），在安静、低电磁干扰、光线可控、温湿度适宜的环境中进行，以确保信号的准确性和可靠性。
实时性与低成本
结合计算机视觉技术（如光流法、卷积神经网络CNN等），微表情识别系统通过普通摄像头即可实现视频流的实时解析，硬件成本相对较低。这种实时性和低成本的优势使其在多个领域具有广阔的应用前景，例如教育、零售、娱乐等。例如，在教育领域，微表情识别技术可以帮助教师实时了解学生的情绪状态，从而适时调整教学方法和策略。在零售领域，商家可以利用微表情识别技术分析顾客对产品的即时反应，进而优化产品展示和销售策略。在娱乐领域，微表情识别技术可以用于评估观众对内容的喜好程度，为内容创作者提供有价值的反馈。
脑电EEG信号技术在实际应用中则面临多维挑战：首先，其高昂的设备成本（高质量的EEG设备价格昂贵，专业级系统单价需要数十万元）需要专业的技术人员进行操作和维护，限制了其应用的普及性，尤其是在自然场景的规模应用；其次，脑电原始信号需经历基线校正、带通滤波、ICA伪迹去除等至少5层预处理流程，单次处理耗时超30秒，难以满足教育、医疗等场景的即时交互需求。另外，EEG信号幅值微弱，易受环境噪声及生理伪迹污染，需要依赖深度学习提升分类准确率的同时，又需要高算力消耗，进一步提高应用的成本。
综上分析，微表情分析技术在情绪识别领域具有显著优势，凭借其数据获取的便捷性、非侵扰性与隐蔽性，以及情绪识别的实时反馈能力，特别适合在自然场景中的大规模应用。随着人工智能和大数据技术的不断发展，该技术的应用场景将会不断拓展，商业应用前景广阔，值得持续关注和期待。
（梁玉成）中国计算机协会社会计算与智能专委会副主任