随着5G时代的到来，各类智能化产品相继踊跃出现，为我们的生活提供了很大的便利。其中，作为人类交流沟通的桥梁之一的面部表情的识别技术日渐完善，更是大大方便了人们的生活。而相比于在日常中能轻易观察到的宏表情，还有一种转瞬即逝、难以察觉且又无法完全控制的表情，那就是反映人类真实情感的微表情。

微表情的周期犹如昙花一现，通常仅在20毫秒到40毫秒之间，其面部肌肉的变化通常要比普通表情的变化细微很多。当人类在撒谎时，面部更容易出现不自然的轻微变化，它表达出了人类想要隐藏的真实内心活动和情感，因此在多个领域都具有巨大的研究价值。在国防安全领域，公安机关可以通过识别视频监控中可疑人员的微表情来判断其是否有犯罪意图。在司法刑侦领域，微表情识别技术是测谎利剑，公安人员可以通过此技术来了解当事人的内心活动，有利于侦破案件。在医疗健康领域，可以通过微表情识别判断病人是否具有精神方面的疾病，以提前预防治疗等。

本项目的研究内容包括：

（1）微表情自建数据库的建立

本项目通过调查研究后发现，人类的情绪变化时，身体某些部位的温度也会随之波动。与老师商讨后决定利用红外测温仪和手机摄像头一起同时拍摄微表情周期，创建新的数据集。测温仪的精度要达到0.1，测温范围要在-10℃-50℃。在市场上调研后，我们选取了海康威视红外测温仪，其精度在±2℃，测温范围在-20℃-350℃。这是现阶段对我们来说，最具性价比的一款产品。

（2）基于局部二值模式的微表情识别算法

LBP是一种提取图像纹理特征的算子。本项目采用LBP算法对CASME II 微表情数据库的训练样本进行训练，实现基于LBP算法的微表情识别，并对实验结果进行分析后与其他微表情识别算法对比。

（3）基于深度学习的CNN+LSTM微表情识别算法

基于深度学习的面部微表情识别的主要过程包数据预处理、特征提取、设计分类器三个步骤。采用卷积神经网络（CNN）和长短时记忆网络（LSTM）算法对网上的微表情数据库的训练样本进行训练，实现微表情识别。

（4）基于多模态特征融合的微表情识别算法

多模态是指多元化信息包括但不限于，生理信号、声音、动作、视频、文本的融合，只要是能辅助网络更精确判断出当事人的心理活动的信息，都可进行融合。并设计多模态微表情识别算法在自建数据库上实现微表情识别。通过实验，得出CNN+LSTM在自建数据库上的识别率，从而对多模态特征融合的微表情识别算法的有效性进行检验。

微表情一词在1996年由Haggard和Isaacs深入研究后提出。随后，为了能用肉眼观察微表情，Ekman等人研发出了METT，这是一个微表情训练工具。然而，在此工具的帮助下，面部微表情的识别率最多只能在50%左右徘徊，并且识别效果得不到保证。在以往，由于硬件的限制，微表情的研究多为以传统方法进行实验。例如，局部二值模式法、光流法等。

基于局部二值模式简称LBP算法，其原理主要是将微表情图像由RGB转换为LBP图像，能小范围减弱光照的影响。姜万等人设计了一种浅层的双时空多尺度神经网TSTNet模型，利用局部二值模式提取SMIC和CASME Ⅱ微表情数据库的纹理特性，将其输入到3维卷积神经网络与卷积的长短期记忆网络（ConvLSTM）中同时提取时间和空间信息，在模型中加入丢弃算法并多路提取特征，减小过拟合风险的同时学习更丰富的特征。在SMIC和CASME Ⅱ微表情数据库上的识别率分别达到了67.30%和65.34%，与现有的深度学习方法相比，该模型提高了网络的训练速度与微表情的识别率。

基于光流法的核心思想是提取微表情片段中顶点帧和起始帧中光流的信息，再进行比较分析。温杰彬等人针对跨库微表情识别率不高的问题，提出了一种结合传统方法与深度学习方法，在图像预处理部分进行Apex帧定位；在特征提取部分首先计算Apex帧的TVL1信息，然后将水平和竖直的光流分量特征融合；最后采用SVM对特征进行分类。该方法较LPB-TOP方法有较大的提高。

进入21世纪年以来，计算机算力快速发展，微表情的研究逐渐转向了CV领域。研究内容的侧重点也逐步从传统方法向深度学习方向转型。目前，国内外研究方法与方向主要如下：

李思宁通过对目前国内外微表情研究算法的分析，改进了光流法和卷积神经网络，完成了面部微表情识别原型系统的设计，通过实验结果对比，证明了该方法的可行性和有效性。苏育挺等人分析了微表情的运动特征图，提出了对多种运动特征图进行特征的再提取以及融合的方法，使用多通道CNN和LSTM提取不同的特征和时间特征，在CASME数据库下测试，取得了优秀的成绩。H. Khor等人提出了一种可以处理长序列的网络（ELRCN），微表情图片段经过CNN网络时被编码微表情周期内的每一帧图像，然后使用长短时记忆网络（LSTM）预测微表情类别。最终，实验结果表明该方法能够在不增加数据的情况下获得相当好的性能。Liu Y等人提出了一种基于局部的深度神经网络，采用了两种域自适应技术(对立域自适应和运动放大与缩小)，可以自动学习提取与面部相关的区别特征，实验表明该方法在第二届微表情大赛(MEGC)上取得了非常有竞争力的成绩。

综上所述，在微表情识别领域，深度学习方法已经占据了大半江山。但是由于数据样本不足等问题，深度学习难以发挥出其真正的实力。如何解决这一系列问题成为了微表情识别领域一项挑战难度极高的工作。

创新点：

（1）本项目所出现的温度模态特征是由测温仪拍摄的一段与微表情片段同步的视频，以文本的形式作为输入量传入到网络经过网络卷积后得到的特征向量，温度数据作为一个新的特征量输入到网络中，再将微表情特征与温度数据特征融合经过反复迭代后，网络会分类出一个新的特征向量区间。

（2）本项目提出了一种将温度数据与微表情图像相结合的多元化信息耦合系统，并设计算法框架进行了多模态融合的微表情识别算法研究。将多模态信息耦合的方法应用到微表情识别领域，是一种新的尝试。人体的生理信号、动作等都可以耦合起来做判断，但还需经过反复实验，才能证明方法的可行性。

项目特色：

本项目针对目前微表情识别任务中识别准确率低和模型泛化能不足等问题，设计了一个基于多模态特征融合的微表情识别系统。该方法能够在自建数据库下采用CNN+LSTM算法提取每种微表情的特征值，并与在微表情变化周期内体温数据特征进行串联融合，提取每种微表情的多模态的标准特征值，再选取测试样本，根据不同种类微表情的标准特征值进行微表情特征分类，极大提高识别准确率。

技术路线：

                                 图1 基于多模态的微表情识别系统框架图
                                                                                           

本项目经过调查及实验研究后提出了一种基于多模态特征融合的微表情识别系统，自行建立了微表情数据库与辅助数据库，并在自建数据库中利用自己设计的识别算法系统与成熟的算法分别实现微表情识别，然后通过实验验证所设计的微表情识别系统及算法的可行性和合理性。首先在采集微表情片段的同时利用红外测温仪同步记录下当事人的体温，整理好数据后建立自己的数据库，然后进行数据预处理；再按照6:4划分训练集和测试集后，将数据送入到成熟算法和自己设计的多模态融合算法系统中训练，并将多模态的特征向量进行特征串联融合再运用k近邻分类法分类实验结果后进行分析比较。

拟解决的问题：

1.刚采集的数据都是杂乱无章的，需对数据集进行预处理；

2.人脸以外区域的干扰，影响训练效果，导致影响实验结果的准确率；

3.特征提取的方法的选择，不同方式提取的特征对计算机的图像识别影响。

4.基于多模态的微表情识别系统需要将多特征信息进行串联融合并进行特征分类

预期成果：

1.利用红外测温仪和手机摄像头一起同时拍摄微表情周期，创建新的数据集。

2.采用LBP算法对网上的微表情数据库的训练样本进行训练，实现微表情识别，并对实验结果进行分析后与其他微表情识别算法对比。

3.用卷积神经网络（CNN）和长短时记忆网络（LSTM）算法对网上的微表情数据库的训练样本进行训练实现微表情识别，并将实验结果与LBP算法作对比，对实验结果进行分析。

4.通过实验，得出CNN+LSTM在自建微表情数据库及其他数据库上的识别率，从而对所提出的多模态特征融合的微表情识别技术的高效性和可行性进行检验。

1.微表情自建数据库的建立，利用红外测温仪和手机摄像头一起同时拍摄微表情周期，创建新的数据集；

2.对采集的数据进行预处理：第一步需要适当的延长微表情周期并将微表情片段由视频片段转换为一帧一帧的图片；第二步工作是需要对人脸进行检测以及对脸部区域进行划分，对人脸特征点定位。温度数据则需要先计算出每类情绪标签对应的头部、胸腔、双手温度的均值。最后按照6:4将数据集划分训练集和测试集。

3.利用CNN和LSTM网络对数据进行特征提取并用k近邻算法将特征进行分类。串联融合是将每一张图片的特征向量和温度数据（文本形式）的特征向量相加，在进行特征分类时，每种情绪对应着不同的特征向量值。

4.对训练好的模型做测试，并不断调优。