简介本资源为Springer出版的学术专著《Emotion Recognition and Understanding for Emotional Human-Robot Interaction Systems》中文译名《情感识别与理解用于情感人机交互系统》面向人工智能、机器人学及认知科学领域的研究者与高年级研究生聚焦多模态情感识别如何支撑更自然、可解释的人机协同。书中系统构建了emotional HRI系统架构深入解析面部表情、语音与手势等多通道特征融合方法并提出深度稀疏自编码网络、两层模糊随机森林及支持向量回归等创新模型辅以仿真实验验证有效性。资源为单文件PDF共1个21.27MB高清学术专著内容涵盖理论建模、算法设计与系统集成适合作为情感计算方向的进阶研读材料与科研参考底本。目前已有54人学习下载结构完整、公式详实、案例扎实是少有的兼顾深度学习前沿与HRI工程落地的权威文献。1. 情感人机交互系统不是“给机器人加个笑脸”它是把面部微表情、语音基频抖动、手势加速度三路信号拧成一股绳让机器人在300ms内判断你是在生气还是只是累了很多人第一次听说“情感人机交互系统”下意识觉得是给服务机器人加个拟人化UI——比如屏幕弹出个眨眼动画或者语音回复带点“哎呀您别着急呀”的语调。这完全跑偏了。这本书讲的是实打实的工程系统它要求机器人在真实光照、背景噪音、用户边走边说的动态场景下同步处理三路异构信号——摄像头捕获的面部肌肉运动AU25AU43组合代表“压抑怒意”、麦克风采集的语音梅尔频谱图中F0抖动率8.2Hz常对应焦虑、Kinect或IMU测得的手势角加速度峰值12.7 rad/s²且持续320ms大概率指向拒绝意图。三路信号不是简单拼接而是用Dempster-Shafer证据理论做冲突消解再经两层模糊支持向量回归映射到“愉悦度-唤醒度-支配度”三维PAD空间。全链路端到端延迟压到287ms实测均值比人类平均情绪反应时间320ms还快。它不面向实验室静音舱里的标准数据集而是直指养老陪护、康复训练、工业巡检等强干扰现场——当老人对着康复机器人突然提高音量说“我不练了”系统必须区分这是生理疲劳引发的声带紧张还是认知障碍导致的执行功能崩溃。这本书的13章结构本质是一份可拆解、可替换、可部署的工程蓝图第2章告诉你怎么从原始视频帧里抠出真正携带情绪信息的ROI区域不是整张脸而是眉间三角区下眼睑嘴角弧度三点构成的动态三角第6章的两层模糊多重随机森林专治语音情感识别里“同一段‘好’字被帕金森患者说出口时基频紊乱但情绪仍是积极”这种医学级难题第12章给出的系统架构图里所有模块都标注了实时性约束如特征提取≤15ms/帧和内存占用ARM Cortex-A72平台实测83MB。如果你正在做医疗陪护机器人、教育类具身智能体或者需要让工业机器人理解操作员手势意图的产线升级这本书不是参考文献是能直接抄作业的硬件选型清单模型剪枝参数表多模态时间对齐校准脚本合集。2. 多模态情感特征提取从原始传感器数据到可建模特征向量的四步硬转换2.1 为什么不能直接用OpenCV的Haar级联检测器截取人脸——ROI动态裁剪的物理意义很多初学者直接套用OpenCV的cv2.CascadeClassifier检测人脸然后粗暴截取整个矩形框作为输入。这在FER2013这类干净数据集上可能达到92%准确率但在真实场景中会崩盘。原因在于人类情绪表达的核心区域高度局部化且动态变化。例如“轻蔑”情绪主要通过单侧上唇提升AU10和同侧眉毛下压AU4协同体现而“惊讶”则依赖额肌全面收缩AU1和眼轮匝肌松弛AU5。固定尺寸的Haar检测框会把无关背景如衣领反光、眼镜镜片眩光强行纳入污染后续CNN特征图。本书第2.3节提出的ROI动态裁剪法核心是三步物理约束关键点驱动先用dlib的68点关键点检测器定位但只保留17个基础轮廓点眉心点左右瞳孔中心点共19点剔除易受遮挡影响的嘴唇内部点生理分区将19点划分为三个子区域——眉眼区眉心双眉尾双瞳孔内眼角、鼻唇区鼻翼人中嘴角、下颌区下颌角颏点每个区单独计算LBP-TOP纹理特征动态缩放对每个子区域按该区域关键点间欧氏距离的均值进行自适应缩放非全局缩放确保不同脸型下肌肉运动幅度具有可比性。提示书中Table 2.1明确给出各子区域缩放系数范围——眉眼区缩放系数为0.85±0.03因该区肌肉运动幅度小需放大细节鼻唇区为1.0±0.05基准区下颌区为0.72±0.04避免吞咽动作干扰。这个系数不是超参是基于FACS面部动作编码系统中AU运动幅度统计得出的物理约束。2.2 语音情感特征抛弃MFCC用Log-Mel谱图差分谱伽马通滤波器组的三重增强传统语音情感识别SER常用MFCC梅尔频率倒谱系数作为特征但MFCC在噪声环境下鲁棒性极差——当信噪比低于15dB时其一阶差分系数误差率飙升至37%。本书第2.3节彻底放弃MFCC构建三层特征增强流水线Log-Mel谱图基础层采样率16kHz帧长25ms帧移10msMel滤波器组数80非常规的40对短时傅里叶变换结果取对数后插值到80维差分谱强化层不仅计算一阶差分Δ更引入二阶差分ΔΔ与伽马通滤波器组Gammatone Filterbank输出的包络能量Envelope Energy形成[Log-Mel, Δ, ΔΔ, Envelope]四通道输入时序切片层将连续语音流按1.2秒窗口滑动重叠率50%每个窗口提取64×80的Log-Mel图最终输入CNN的是三维张量64, 80, 4。import librosa import numpy as np from gammatone import fftweight def extract_speech_features(y, sr16000): # Step 1: Log-Mel Spectrogram (80 bands) mel_spec librosa.feature.melspectrogram( yy, srsr, n_fft2048, hop_length160, n_mels80, fmin0.0, fmax8000.0 ) log_mel librosa.power_to_db(mel_spec, refnp.max) # Step 2: Delta Delta-Delta delta librosa.feature.delta(log_mel) delta2 librosa.feature.delta(log_mel, order2) # Step 3: Gammatone Envelope Energy (using precomputed weights) # Note: Real implementation uses gammatone.fftweight.gtgram() # Here simplified for clarity gt_weights fftweight.gtgram_weights(sr, 2048, 80, 0.0, 8000.0) envelope_energy np.sum(np.abs(np.fft.fft(y[:2048])) * gt_weights, axis1) # Stack into 4-channel tensor (64, 80, 4) # Actual code pads/crops to fixed 64 frames features np.stack([log_mel, delta, delta2, envelope_energy], axis-1) return features # Usage: features extract_speech_features(your_audio_array)这段代码的关键在于envelope_energy的计算逻辑——它不是简单的RMS能量而是伽马通滤波器组在频域对语音包络的加权积分能有效抑制空调噪声集中在100-300Hz对情绪判别依赖1-4kHz高频能量分布的干扰。书中Figure 2.5对比显示在SNR10dB的工厂环境录音中该特征使愤怒/中性分类F1-score从0.63提升至0.89。2.3 手势特征用IMU角加速度的“过零率-峰度-符号变化”三元组替代传统HOG手势识别常被简化为静态姿态估计如MediaPipe Hand但这对情绪意图理解是灾难性的。人类表达“拒绝”时挥手动作的动力学特征加速度曲线形态比几何特征手部关键点坐标更具判别力。本书第2.4节提出基于IMU惯性测量单元的三元组特征过零率Zero-Crossing Rate, ZCR角加速度信号在±0.5 rad/s²阈值内穿越零点的次数/秒。高ZCR12.5对应急停急启式拒绝如“停下”低ZCR3.2对应缓慢摆手如“算了”峰度Kurtosis衡量加速度脉冲尖锐程度。峰度4.8表明存在冲击性动作愤怒拍桌峰度2.1对应平滑弧线疲惫挥手符号变化数Sign Change Count, SCC单位时间内加速度正负号切换次数。SCC8.3意味着高频振荡焦虑搓手SCC1.5为单向运动坚定指向。import numpy as np from scipy import signal def extract_gesture_features(acc_x, acc_y, acc_z, gyro_x, gyro_y, gyro_z, fs100): Input: Raw IMU signals (arrays of length N) Output: 3x1 feature vector [ZCR, Kurtosis, SCC] # Use angular acceleration from gyroscope (integrated once) # Simplified: assume gyro_x/y/z are angular velocities # Real implementation computes derivative using Savitzky-Golay filter alpha_x np.gradient(gyro_x, 1/fs) # rad/s² alpha_y np.gradient(gyro_y, 1/fs) alpha_z np.gradient(gyro_z, 1/fs) # Combine into resultant angular acceleration alpha_res np.sqrt(alpha_x**2 alpha_y**2 alpha_z**2) # ZCR: count zero-crossings with hysteresis threshold 0.5 zcr 0 for i in range(1, len(alpha_res)): if (alpha_res[i-1] -threshold and alpha_res[i] threshold) or \ (alpha_res[i-1] threshold and alpha_res[i] -threshold): zcr 1 zcr / (len(alpha_res)/fs) # per second # Kurtosis (excess kurtosis) kurt signal.kurtosis(alpha_res, fisherTrue) # SCC: sign changes of alpha_res signs np.sign(alpha_res) sc_count np.sum(np.abs(np.diff(signs)) 0) sc_count / (len(alpha_res)/fs) return np.array([zcr, kurt, sc_count]) # Example usage: # features_3d extract_gesture_features(acc_x, acc_y, acc_z, # gyro_x, gyro_y, gyro_z)注意signal.kurtosis的fisherTrue参数——它计算的是超值峰度excess kurtosis即减去正态分布的峰度值3这样0才表示比正态分布更尖锐。书中Table 2.4验证在UR5机械臂末端IMU采集的1200组手势中该三元组特征使“接受/拒绝/犹豫”三分类准确率从71.3%仅用HOG提升至89.7%。2.4 多模态时间对齐用DTW动态时间规整解决传感器采样率不一致的硬伤面部视频30fps、语音16kHz、IMU100Hz三路信号天然存在采样率鸿沟。若强行统一到最低帧率30fps语音会丢失关键瞬态特征如爆破音/p/的起始冲击若统一到最高采样率16kHz视频特征会因插值产生虚假运动。本书第2.5节采用分层DTWHierarchical DTW底层对齐对每路信号提取时序特征向量视频→LBP-TOP序列语音→Log-Mel帧序列IMU→三元组序列用DTW计算两两间的最优路径中层融合将三路DTW距离矩阵输入一个轻量级Siamese网络学习跨模态相似性度量顶层约束强制所有模态在“情绪事件起始点”对齐——该点由语音端点检测EPD面部AU激活检测AU1/AU2同时出现联合标定。注意书中Algorithm 2.1明确要求DTW的约束窗口设为w int(0.3 * min(len(seq1), len(seq2)))这是基于人类情绪表达的生理延迟实验确定的——面部AU激活平均滞后语音起始210ms超窗会导致错误对齐。2.5 避坑多模态特征提取的四个血泪经验现象在强背光环境下面部ROI提取的眉眼区特征严重失真导致“悲伤”误判为“惊讶”。原因dlib关键点检测器在低对比度区域失效瞳孔中心点漂移到高光反射点。解决在ROI裁剪前插入CLAHE限制对比度自适应直方图均衡化预处理且CLAHE的clip limit严格设为2.0书中Section 3.3实验证明2.5会放大噪声1.5无法恢复细节。现象语音特征提取时Log-Mel谱图出现明显条纹伪影尤其在1-2kHz频段。原因STFT的hop_length设置不当原用512导致帧移过大且未启用centerTrue参数导致边界效应。解决强制hop_length160对应10msn_fft2048centerTrue并在librosa加载时指定res_typekaiser_fast抗混叠。现象IMU手势特征中ZCR值异常高50/s但实际动作缓慢。原因IMU未做硬件低通滤波高频振动如机器人底盘电机噪声被误计入角加速度。解决在固件层添加二阶巴特沃斯低通滤波器截止频率设为25Hz书中Appendix B提供具体RC电路参数。现象DTW对齐后三模态特征序列长度差异仍达±15%导致后续CNN输入维度不匹配。原因DTW仅优化距离未约束对齐后的序列长度一致性。解决在DTW代价函数中加入长度惩罚项cost λ * |len1 - len2|λ设为0.8通过网格搜索在RAVDESS数据集上确定。3. 基于Softmax回归的深度稀疏自编码器面部表情识别的轻量化落地方案3.1 为什么不用ResNet-50——嵌入式端侧推理的功耗墙与内存墙看到“深度学习用于面部表情识别”第一反应往往是搬来ResNet-50或ViT-Large。但本书第3章开篇就泼冷水在Jetson Nano10W TDP上运行ResNet-50单帧推理耗时210ms功耗达8.7W且显存占用1.2GB——这直接扼杀了其在移动机器人上的应用可能。作者团队实测发现当模型参数量3.2M、浮点运算量FLOPs1.8G时ARM Cortex-A72平台的能效比断崖式下跌。因此第3.2节提出的深度稀疏自编码器DSAE是一条务实的技术路径它用稀疏约束sparsity constraint替代深层堆叠在保持精度的同时将参数量压到1.07MFLOPs降至0.42G且支持INT8量化后在NPU上达38FPS。3.2 网络结构详解编码器-解码器-Softmax三级流水线DSAE并非简单堆叠Autoencoder而是三级耦合设计编码器Encoder3层卷积323×3, 643×3, 1283×3每层后接BatchNormLeakyReLUα0.2最后接全局平均池化GAP解码器Decoder3层转置卷积1283×3, 643×3, 323×3每层后接BatchNormLeakyReLU最终输出重建图像Softmax分类头将Encoder的GAP输出128维接入2层全连接128→64→7最后一层用Softmax输出7类表情概率。关键创新在于稀疏约束的注入位置不是在隐藏层激活上加L1正则易导致死神经元而是在Encoder最后一层卷积核上施加Group Lasso约束——将128个卷积核按功能分组如32个负责眉毛运动32个负责嘴角变形64个负责眼部纹理每组内核权重满足∑|w| ≤ λ_group。书中Figure 3.2的t-SNE可视化证明该约束使同类表情如“愤怒”的特征向量在隐空间中聚类更紧密类间距离扩大23%。3.3 ROI预处理不只是裁剪更是物理驱动的归一化第3.3节强调DSAE的输入不是原始ROI图像而是经过物理归一化的灰度图光照归一化用Retinex算法而非简单直方图均衡分离反射分量公式为I_retinex(x,y) log(I(x,y)) - log(G * I)(x,y)其中G为高斯核σ15几何归一化以瞳孔中心为原点将眉心点、嘴角点坐标转换为极坐标ρ, θρ值按面部宽度标准化ρ_norm ρ / face_width动态范围压缩将像素值映射到[0.1, 0.9]区间非[0,1]避免Sigmoid激活饱和。import cv2 import numpy as np def retinex_preprocess(img): Retinex-based illumination normalization # Convert to float32 img_float img.astype(np.float32) # Gaussian blur for low-frequency illumination estimation blur cv2.GaussianBlur(img_float, (0,0), 15) # Retinex: log(I) - log(blur) retinex np.log(img_float 1e-6) - np.log(blur 1e-6) # Scale to [0.1, 0.9] retinex_norm (retinex - retinex.min()) / (retinex.max() - retinex.min()) retinex_norm retinex_norm * 0.8 0.1 # Map to [0.1, 0.9] return retinex_norm.astype(np.float32) # Usage: processed_img retinex_preprocess(roi_gray)这段代码的1e-6防零除和0.80.1映射是硬性要求——书中Table 3.1显示跳过此步会使“恐惧”类识别率下降19.3%因恐惧表情的瞳孔放大导致原始图像动态范围过大。3.4 编码器-解码器扩展用残差连接解决梯度消失标准自编码器在3层卷积后易出现梯度消失导致重建图像模糊。第3.4节提出残差编码器-解码器Res-ED在Encoder每层卷积后添加跳跃连接skip connection将输入特征图与卷积输出相加Decoder对应层则将上采样特征与跳跃特征拼接concat后接1×1卷积降维。这种设计使重建PSNR从28.3dB提升至32.7dB更重要的是Encoder输出的128维特征对下游分类任务更具判别性t-SNE类内距离缩小31%。3.5 Softmax回归不是终点而是多任务学习的起点第3.5节指出Softmax层在此处承担双重角色主任务7类表情分类愤怒、厌恶、恐惧、快乐、悲伤、惊讶、中性辅助任务AU强度回归用同一128维特征向量接3个全连接层分别预测AU4、AU12、AU25的强度值0-5。这种多任务学习使主分类任务的验证准确率提升2.8%因为AU强度回归强制网络关注更细粒度的肌肉运动模式。损失函数为加权和L_total L_softmax 0.3 * L_AU4 0.3 * L_AU12 0.3 * L_AU25权重0.3来自交叉验证。3.6 避坑DSAE训练与部署的五个致命陷阱现象训练Loss下降但验证准确率停滞在62%远低于论文报告的89.7%。原因未对输入图像做Retinex预处理导致网络学习到光照伪影而非真实AU模式。解决必须在DataLoader中集成retinex_preprocess()且禁用所有其他增强如旋转、翻转因AU具有严格的空间方向性。现象INT8量化后模型精度暴跌至51%几乎不可用。原因使用TensorRT默认的校准算法Entropy未针对面部纹理特征优化。解决改用MinMax校准并在Calibration Dataset中强制包含10%的低光照样本书中提供具体图像ID列表。现象在Jetson Xavier上推理时GPU占用率100%但FPS仅12远低于理论值。原因未启用TensorRT的DLADeep Learning Accelerator核心全部负载压在GPU。解决在TRT Engine构建时指定builder_config.set_flag(trt.BuilderFlag.DLA_STANDALONE)并将Encoder部分分配至DLA。现象重建图像出现明显块状伪影影响特征质量。原因Decoder使用转置卷积deconvolution导致棋盘效应checkerboard artifacts。解决将转置卷积替换为nn.Upsample(scale_factor2, modebilinear) Conv2d书中Figure 3.6对比显示PSNR提升4.1dB。现象多任务学习中AU回归Loss主导分类Loss不下降。原因AU强度标签噪声大人工标注误差±0.8导致回归任务过拟合。解决对AU Loss添加标签平滑label smoothing ε0.1并采用Huber Loss替代MSE。4. AdaBoost-KNN与两层模糊随机森林动态情绪识别的鲁棒性双保险4.1 为什么动态情绪识别不能只靠CNN——时序建模的物理本质静态图像识别如FER2013只需判别单帧表情但真实人机交互中“情绪”是随时间演化的状态。例如“从犹豫到坚定”的转变关键在嘴角从轻微抽动AU23到稳定上扬AU12的加速度变化率而非某一帧的AU12强度值。本书第4章指出纯CNN缺乏显式时序建模能力其感受野受限于卷积核大小。因此第4章提出AdaBoost-KNN第6章提出两层模糊随机森林2L-Fuzzy RF二者本质都是为了解决同一个物理问题如何从有限长度1.2秒的特征序列中提取出具有生理意义的时序模式。4.2 AdaBoost-KNN用自适应特征选择破解“维度灾难”传统KNN在高维特征空间如64×80语音谱图中失效因距离度量失去意义。第4章的AdaBoost-KNN创新在于特征选择与分类器集成同步优化弱分类器不是决策树而是基于单个特征维度的KNNk5自适应选择每轮Boosting中根据当前样本权重分布选择使加权错误率最小的特征维度直接优化目标函数为min ∑ w_i * I(y_i ≠ h_t(x_i))其中h_t是第t轮选出的单维KNNI为指示函数。书中Figure 4.3显示在RAVDESS数据集上该方法仅用12个最优特征占原始6400维的0.19%就达到91.2%准确率而全特征KNN仅76.4%。关键参数是k5——实验证明k3时噪声敏感k7时丢失细节5是黄金分割点。4.3 两层模糊随机森林为语音情感识别装上“医学级过滤器”语音情感识别的最大难点是病理干扰帕金森病患者的“高兴”语音基频F0抖动率高达15Hz正常人3Hz但情绪仍是积极的。第6章的2L-Fuzzy RF正是为此设计第一层生理层100棵随机森林每棵预测“该语音是否受病理影响”二分类特征为F0抖动率、jitter、shimmer、HNR谐噪比第二层情绪层50棵随机森林但输入特征经模糊加权——若第一层判定“病理概率0.7”则大幅降低F0相关特征权重提升梅尔谱图中1-4kHz能量比权重模糊规则采用三角隶属函数如“高F0抖动”定义为μ(x) max(0, 1 - |x-12|/5)x为抖动率Hz。import numpy as np from sklearn.ensemble import RandomForestClassifier class TwoLayerFuzzyRF: def __init__(self): self.physio_rf RandomForestClassifier(n_estimators100) self.emotion_rf RandomForestClassifier(n_estimators50) def _fuzzy_weight(self, jitter_rate): # Triangular membership for high jitter if jitter_rate 7: return 0.0 elif jitter_rate 12: return (jitter_rate - 7) / 5.0 else: return 1.0 def fit(self, X_physio, y_physio, X_emotion, y_emotion): # Train first layer on physiological features self.physio_rf.fit(X_physio, y_physio) # Get pathology probability for weighting patho_prob self.physio_rf.predict_proba(X_physio)[:, 1] # Apply fuzzy weighting to emotion features weights np.array([self._fuzzy_weight(p) for p in patho_prob]) weighted_X X_emotion * (1 - weights[:, None]) # Reduce F0 features # Train second layer on weighted features self.emotion_rf.fit(weighted_X, y_emotion) def predict(self, X_physio, X_emotion): patho_prob self.physio_rf.predict_proba(X_physio)[:, 1] weights np.array([self._fuzzy_weight(p) for p in patho_prob]) weighted_X X_emotion * (1 - weights[:, None]) return self.emotion_rf.predict(weighted_X) # Usage: model TwoLayerFuzzyRF() # model.fit(X_physio_train, y_patho, X_emotion_train, y_emotion)注意weighted_X X_emotion * (1 - weights[:, None])——这里用1-weight而非weight是因为当病理概率高时我们要削弱F0相关特征而非增强。书中Table 6.2报告在Parkinson Speech Dataset上该方法将“高兴/悲伤”二分类F1-score从0.58标准RF提升至0.83。4.4 动态情绪识别的时序切片策略1.2秒窗口的生理依据所有动态方法都依赖一个关键参数时间窗口长度。第4章明确指出1.2秒不是随意取的而是基于三项生理实验面部AU激活潜伏期从语音起始到AU1额肌收缩平均210msAU持续时间AU25嘴唇张开在自然对话中平均持续850ms人类情绪确认时间心理学实验表明观察者需≥1.1秒才能可靠判断情绪状态95%置信度。因此1.2秒窗口确保覆盖完整AU生命周期且留有100ms余量应对传感器延迟。书中Figure 4.5验证窗口1.0秒时准确率骤降12.7%1.4秒时因引入无关上下文准确率下降4.3%。4.5 避坑动态情绪识别的三大翻车现场现象AdaBoost-KNN在测试集上准确率92%但部署到机器人后跌至68%。原因训练时用clean语音而机器人麦克风采集的是远场混响电机噪声特征分布偏移。解决在特征选择阶段用域自适应KNNDA-KNN替代标准KNN其距离度量为d(x_i,x_j) ||Φ(x_i) - Φ(x_j)||Φ为对抗训练得到的域不变特征映射。现象2L-Fuzzy RF对帕金森语音效果好但对正常人语音“惊讶”识别率下降。原因模糊规则中“高F0抖动”的隶属函数参数7,12是为帕金森病优化的正常人惊讶时F0抖动率也达10-12Hz。解决改为双阈值模糊对正常人用(5,10)对已知帕金森患者用(7,12)通过语音病理筛查模块第8章自动切换。现象1.2秒窗口切片导致相邻窗口预测结果剧烈震荡如[愤怒, 中性, 愤怒]。原因未对窗口预测结果做时序平滑。解决采用滑动窗口投票对当前窗口及前后2个窗口共5个的预测结果按时间距离加权平均中心窗口权重0.4邻窗各0.25次邻窗各0.05。5. Dempster-Shafer证据理论与模糊支持向量回归多模态意图理解的冲突消解引擎5.1 为什么不用简单加权平均融合——多模态信号的物理冲突本质当机器人看到用户皱眉AU4、听到语音颤抖F0抖动率11Hz、同时检测到快速挥手IMU ZCR15/s三路信号指向不同情绪“皱眉”倾向愤怒“颤抖”倾向焦虑“挥手”倾向拒绝。此时若用加权平均如面部0.4语音0.4手势0.2会得到一个模糊的“混合情绪”值丧失决策依据。本书第8章和第9章指出人类情绪表达本就是多源异构、部分冲突、动态演化的必须用能显式建模冲突的数学工具。Dempster-ShaferD-S理论正是为此而生——它不强迫所有证据达成一致而是量化“冲突程度”并据此调整信任分配。5.2 Dempster-Shafer在手势意图理解中的实战多SVM证据合成第8章将D-S理论应用于手势意图理解核心是多SVM证据体构建证据体1SVM1用IMU三元组特征ZCR, Kurtosis, SCC训练SVM输出对{接受,拒绝,犹豫}的信任度belief证据体2SVM2用RGB-D手势图像的HOGLBP特征训练SVM输出另一组信任度证据体3SVM3用语音端点检测EPD结果如语音起始到挥手开始的时间差训练SVM输出第三组信任度Dempster合成规则计算联合基本概率分配BPAm123(A) [m1(A) * m2(A) * m3(A)] / K其中K为归一化常数K 1 - ∑ m1(B) * m2(C) * m3(D)对所有B∩C∩D∅求和。书中Figure 8.2展示当SVM1信任“拒绝”为0.7SVM2信任“犹豫”为0.6SVM3信任“接受”为0.5时D-S合成后“拒绝”的信任度升至0.83因SVM1与SVM3本文还有配套的精品资源点击获取
