理论层面，基于积极情绪的拓展-建构理论，开展面向多种积极情绪状态的神经生理基础研究，采用视频材料诱发目标情绪的方式，建立适用于中国社会和文化背景的、具有高生态效度的华语电影和视频材料库；技术层面，重点针对脑电信号研究非植入式的无创脑机接口技术，采用机器学习和模式识别领域的最新研究成果，通过建立高效脑电信号去噪、特征分类和机器学习的手段，突破脑电信号空间分辨率低、易受干扰等自身限制，构建实时在线的高精度情绪识别模型；应用层面，实现基于情绪识别的产品体验评估系统和面向情绪调节与干预的人机交互系统，在产品可用性测试、情感体验、心理健康咨询和辅助诊疗等应用领域开展实践验证和成果转化。
视频播放过程中对用户情绪状态的实时、连续预测
（三种颜色的个数0-10代表三种情绪的占比；颜色深浅1-9代表三种情绪的强烈程度）
代表性成果：基于脑机接口的情绪识别系统（IEEE Trans. Affective Computing, 2018; Cognition and Emotion, 2018; IEEE Trans. Affective Computing, 2020）
创新点：建立了标准化的华语电影情绪视频库（左图），采集了用户在观看这些华语电影视频过程中的脑电、外周生理和面部表情数据，建立了标准化的多模态生理数据库，实现对传统效价-唤醒度二维空间上相似情绪的精细识别（右图）。视频库和生理数据库将免费对研究人员开放，供非商业用途的个人学习和交流使用。
22段标准化华语情绪电影库（左），对效价-唤醒度二维空间上相似情绪（如5类正性情绪）的精细识别（右）
建立用于认知能力与心理状态监测与评估的生理-生化-心理-行为指标体系，利用便携可穿戴的心理生理测量技术，建立认知能力和心理状态的实时识别算法和原型系统。2014年主持一项国家自然科学基金委青年科学基金项目“驾驶员认知分心检测”，并参与一项总装预研项目“特殊岗位人员认知能力增强”，该项目在结题时获评优秀。
认知与心理状态识别的研究框架
代表性成果：驾驶员警觉性检测系统（IEEE Trans. Reliability, 2018）
创新点：在传统基于脑电信号的驾驶员警觉性检测系统的基础上，研究了驾驶环境对驾驶员反应时间和警觉性水平的影响。引入驾驶环境变量的警觉性检测准确率提高了2-5%，误差减少了30-80毫秒。
驾驶员警觉性检测系统的工作流程图
在传统的基于排队网络的人类信息处理模型（如下图所示）中增加了决策场理论、动作控制和个体差异三个计算单元，用于预测人机交互过程中复杂、动态的学习和决策过程、运动控制过程、群体和个体的操作绩效和工作负荷。曾参与科技部国家重点基础研究发展计划973计划项目子课题“可视媒体的认知计算模型”，作为项目主要参与人员负责认知负荷的计算建模，该项目在结题时获评优秀。
基于排队网络的人类信息处理模型
代表性成果：驾驶员速度控制的计算建模（IEEE Trans. ITS, 2013; IEEE Trans. SMCA, 2013）
创新点：基于排队网络的信息加工理论对驾驶员的速度感知、速度选择和速度控制过程进行数学建模，成功实现了对驾驶员超速行为的实时、连续、准确预测。IEEE-SMCA的主编认为这项研究“首次对人类驾驶中的速度控制进行了全面建模”，2012年底应邀在哈佛大学做特邀报告。
驾驶员速度控制的计算模型
在模拟驾驶环境中，研究超速行驶、分心、疲劳驾驶、路怒症等不安全驾驶行为的规律，产生原因，构建不安全驾驶行为的监测方法和评估体系；通过道路监控视频记录行人的不安全过街行为，自行车/电动自行车的不安全骑行行为，以及职业驾驶员的危险驾驶行为；通过便携式的个体穿戴设备、智能车载系统、道路交通标识等人-机-环要素的设计和改进，提高道路驾驶安全性和整体通行效能。
模拟驾驶场景（左）, 行人过街监测（中）, 智能车载系统（右）
代表性成果：攻击性驾驶行为（Accident Analysis & Prevention, 2016）
创新点：在模拟驾驶环境中，通过持续按喇叭、加塞并道的方式不断地激怒驾驶员，并持续记录驾驶员被激怒后的行为反应，分析其驾驶绩效。我们发现：1）攻击性驾驶特质高的驾驶员更容易被激怒，表现为不减速避让行人，超车时保持的间隔距离小；2）当驾驶员被不停的激怒时，其危险驾驶行为会不断的恶化。
驾驶员被激怒后表现出更多危险驾驶行为
运用多种生理心理测量和传感技术，对用户体验产品过程中的脑电、外周生理、眼动轨迹、行为绩效、面部表情、语音、问卷等多模态数据的同步采集和融合分析。构建基于视频内容分析技术的事件标记系统，提出产品体验过程中对用户主观感受进行连续评价的有效方法，设计高效鲁棒的机器学习算法建立多模态生理和行为信息与情绪状态之间的关联模型，实现对产品可用性的综合评价和实时识别。
合作单位来自国内外知名企业和研究机构
代表性成果：一种多模态生理和行为数据融合采集系统（发明专利，专利号：201720738585.6）
创新点：多模态生理和行为数据融合采集系统将后台处理器、数据采集单元和数据显示单元集成于一台服务器中，将所采集到的不同模态的生理和行为数据同步传输到同一后台处理器中，直接对采集数据进行同步融合，大大减少了系统设备的成本，提高了数据融合分析的准确率。
多模态生理和行为数据融合采集系统
