智能人机交互技术

本书是一本针对智能人机交互技术的研究性著作。书中详细阐述交互设计、人机交互、人因工程以及智能人机交互的概念，并深入介绍手势交互、眼动交互、语音交互、脑机情绪交互、跨模态交互等五大技术，包括各种算法和模型，以及在实际应用中的关键技术。此外，本书还专门介绍融合多个领域的混合现实技术。本书还对可穿戴智能交互系统进行深入探讨，为读者提供从系统层面理解智能人机交互的视角。全书内容丰富，实用性强，是理解和掌握智能人机交互技术的必备读物。

目录
“智能人机交互前沿技术丛书”序
前言
第1章 绪论 1
1.1 交互设计 1
1.2 人机交互 3
1.3 人机工程 6
1.4 智能人机交互 8
参考文献 11
第2章 手势交互 13
2.1 手势交互概述 13
2.1.1 手势交互基本概念 13
2.1.2 基于穿戴式传感器的手势交互方法 15
2.1.3 基于视觉传感器的手势交互方法 16
2.1.4 基于多模态传感器的手势交互方法 18
2.2 基于视觉传感器的手势交互 19
2.2.1 基于深度图像的手部姿态估计研究 19
2.2.2 基于RGB图像的手部姿态估计研究 24
2.2.3 基于RGB-D图像的手部姿态估计研究 33
2.3 基于穿戴式传感器的手势交互 37
2.3.1 基于IMU的手势交互 37
2.3.2 基于sEMG信号的手势交互 56
2.4 基于多模态传感器的手势交互 66
2.4.1 多模态手势数据 66
2.4.2 基于多模态传感器融合的手势识别方法 68
参考文献 89
第3章 眼动交互 95
3.1 眼动交互概述 95
3.1.1 早期眼动追踪方法 95
3.1.2 现代眼动追踪方法 98
3.1.3 主流的眼动追踪设备 100
3.2 大型近视眼视线估计数据集 100
3.2.1 数据采集设备 101
3.2.2 数据采集范式 102
3.3 基于姿态偏移量校正的单被试视线估计方法 104
3.3.1 基础模型 104
3.3.2 基于姿态偏移量的模型改进 107
3.3.3 模型表现 110
3.4 基于AdaBN的跨被试视线估计方法 113
3.4.1 AdaBN介绍 114
3.4.2 基于AdaBN的模型改进 116
3.4.3 离线实验 117
3.5 基于差分的双眼不对称模型 122
3.5.1 基础模型 122
3.5.2 不对称双眼模型 122
3.5.3 差分学习 124
3.5.4 实验对比 126
3.6 基于头眼协同的视线追踪技术 127
3.6.1 头眼协同运动分析 127
3.6.2 头眼协同视线追踪网络 130
3.6.3 模型训练与部署 132
3.6.4 实验结果与评估 133
参考文献 136
第4章 语音交互 139
4.1 语音交互概述 139
4.1.1 基于音频信号的语音识别 141
4.1.2 基于视觉图像的无声语音识别 142
4.1.3 基于sEMG信号的无声语音识别 143
4.1.4 多模态语音识别 145
4.2 基于音频信号的语音识别方法 146
4.2.1 音频信号预处理 146
4.2.2 声学建模方法 149
4.2.3 语言模型 155
4.2.4 基于音频信号的自动语音识别模型 157
4.3 基于视觉图像的语音识别方法 160
4.3.1 唇部图像空域特征提取 160
4.3.2 唇部图像时域特征提取 165
4.3.3 唇语识别方法设计 171
4.4 基于sEMG信号的语音识别方法 178
4.4.1 单词级/指令词识别 178
4.4.2 连续无声语音识别 186
4.5 基于多模态融合的语音识别方法 190
4.5.1 视觉肌电信息融合的多模态无声语音识别 190
4.5.2 视听融合的多模态语音识别 197
4.5.3 声光电多模态融合的语音识别 201
参考文献 210
第5章 脑机情绪交互 215
5.1 脑机情绪交互概述 215
5.1.1 脑机接口 215
5.1.2 脑机接口三大范式 216
5.1.3 情感脑机接口 219
5.2 多维负性情绪素材库和数据集 221
5.2.1 情绪模型 221
5.2.2 情绪诱发 223
5.2.3 情绪诱发实验被试 225
5.2.4 自我评估问卷和统计分析 226
5.2.5 情绪诱发实验设计 227
5.3 多维负性情绪识别方法 229
5.3.1 表征负性情绪变化的脑电图及其他生理信号 229
5.3.2 预处理方法 232
5.3.3 特征提取方法 234
5.3.4 负性情绪识别相关工作 237
5.3.5 问题及展望 246
5.4 基于脑机接口的广域目标识别技术 247
5.4.1 基于快速序列视觉呈现的脑机接口系统 248
5.4.2 空间选择性注意相关的ERP成分 250
5.4.3 单因素空间编码的广域目标识别 251
5.4.4 多因素空间编码的广域目标识别 255
5.5 运动任务中的数据增强与频率特征提取 257
5.5.1 相关方法与数据集构建 257
5.5.2 基于脑区重组的EEG数据增强方法 261
5.5.3 基于张量的脑机接口频率特征组合方法 269
参考文献 279
第6章 跨模态交互 289
6.1 跨模态交互概述 289
6.2 “人→机”跨模态语义共指消解 290
6.2.1 图像+文本共指消解 290
6.2.2 语音+眼动+图像共指消解 295
6.3 “机→人”图像语义文本生成 301
6.3.1 图像文本生成 302
6.3.2 空间语义学 304
6.3.3 数据集构建 306
6.3.4 实验结果 307
6.4 “人→机”跨模态智能语义匹配 309
6.4.1 指令级跨模态匹配 311
6.4.2 子指令级跨模态匹配 318
6.4.3 实体级跨模态匹配 320
6.4.4 指令语义解析任务 321
参考文献 324
第7章 混合现实技术 328
7.1 系统组成 328
7.1.1 HoloLens系列 330
7.1.2 Magic Leap One 332
7.1.3 Nreal系列 333
7.2 光学显示技术 334
7.2.1 微显示器 334
7.2.2 典型光学显示结构分析 335
7.2.3 光透射式AR设备标定方案 343
7.3 定位技术 348
7.3.1 坐标一致性原理 348
7.3.2 SLAM中的信息融合技术 358
7.3.3 无标记动作捕捉结合的IMU定位技术 363
7.3.4 三维物体刚体位姿估计 366
7.3.5 深度学习定位定向技术 372
7.4 应用案例 374
7.4.1 民生应用 374
7.4.2 军事应用 378
参考文献 383
第8章 智能人机交互系统的开发及应用 389
8.1 移动端人工智能算法工具与部署技术栈 389
8.1.1 基于TensorFlow的移动端算法部署 390
8.1.2 基于PyTorch的移动端算法部署 391
8.1.3 基于高通芯片的SNPE框架部署 392
8.1.4 基于NCNN加速框架的算法部署及优化 393
8.1.5 基于MediaPipe的测试及移植 395
8.2 可穿戴智能交互系统集成方案 396
8.2.1 智能头盔 399
8.2.2 智能眼镜 404
8.2.3 智能手套 410
8.2.4 智能戒指 415
8.3 典型应用系统开发 420
8.3.1 多人电子沙盘应用 420
8.3.2 多机交互应用 426
第9章 结语 436