基于想象的脑机交互原理与实践

人类个体具有丰富多样的心理想象活动，不仅有运动想象，还有言语想象、视觉想象、听觉想象和触觉想象等。想象力比知识更重要，是创造力的重要源泉之一。心理想象有望成为脑机交互（BCI）范式创新设计可选的心理活动。基于想象的脑机交互是一类重要的BCI，通过心理想象诱发的脑信号可以实现大脑与外设直接的通信和控制。本书强调理论与实践相结合，认为成功的BCI系统研发不是一个单纯的工程实现方法或算法问题，更重要的是理论与原理。本书注重基础，包含了BCI的一些共性基础内容，包括BCI相关术语、BCI范式与神经编码、BCI金标准（在线BCI系统转化为实际应用的综合评价方法――用户可用性、满意度和使用情况）。在此基础上，本书聚焦基于想象的BCI基本概念、理论、原理和方法，以及运动想象BCI实践和应用。本书不仅可供从事BCI研发的人员参考，也可供受认知与神经科学启发的人工智能（包括类脑计算、脑机智能融合等方向）的研发人员参考，还可作为高年级本科生、硕士和博士研究生的教材。

第1篇 脑机交互（BCI）的一些共性内容
第1章 BCI重要内容：BCI相关术语 2
1.1 BCI直接相关术语 2
1.1.1　脑?机器接口（BMI） 3
1.1.2 脑?计算机交互（BCI） 3
1.1.3 脑机融合 3
1.1.4 大脑（Brain）或中枢神经系统（CNS） 5
1.1.5 计算机 5
1.1.6 BCI用户 6
1.1.7 脑信号采集 6
1.1.8 BCI范式 6
1.1.9 BCI神经编码 7
1.1.10 BCI神经解码 7
1.1.11 神经反馈（NF） 7
1.1.12 感觉运动假说 8
1.1.13 BCI跨学科性 9
1.1.14 BCI系统中的两个自适应控制器（CNS和BCI） 9
1.2 BCI紧密相关术语 10
1.2.1 感觉运动节律脑机接口（SMR-BCI）相关术语 10
1.2.2 运动想象脑机接口（MI-BCI）相关术语 11
1.2.3 基于认知的脑机接口相关术语 16
1.2.4 P300脑机接口（P300-BCI）相关术语 18
1.2.5 稳态视觉诱发电位脑机接口（SSVEP-BCI）相关术语 21
1.2.6 稳态听觉诱发电位脑机接口（SSAEP-BCI）相关术语 28
1.2.7 稳态触觉诱发电位脑机接口（SSTEP-BCI）相关术语 30
1.2.8 依赖性BCI（Dependent BCI） 31
1.2.9 独立性BCI（Independent BCI） 31
1.2.10 混合脑机接口（Hybrid BCI） 31
1.2.11 同步/异步脑机接口（Asynchronous/Synchronous BCI） 32
1.2.12 分布式脑机接口（Distributed BCI） 34
1.3 BCI用户相关术语 34
1.3.1 BCI受试者（Subject） 35
1.3.2 严重运动功能障碍（Severe Motor Impairments） 35
1.3.3 BCI人因工程相关 37
1.3.4 BCI可用性（BCI Usability） 37
1.3.5 BCI用户评价 39
1.3.6 BCI 使用情况 40
1.3.7 个性化BCI 41
1.3.8 BCI医学 41
1.3.9 BCI医学目标 42
1.3.10 BCI伦理 42
1.3.11 BCI转化医学 46
1.4 实用BCI相关术语 46
1.4.1 BCI临床验证 47
1.4.2 BCI临床评估 47
1.4.3 BCI临床推广 47
1.4.4 BCI替代功效 48
1.4.5 BCI恢复功效 48
1.4.6 BCI增强功效 48
1.4.7 BCI补充功效 48
1.4.8 BCI改善功效 49
1.4.9 BCI系统稳定性 49
1.4.10 BCI系统准确性 49
1.4.11 BCI系统快速性 50
1.4.12 BCI系统可靠性 51
1.4.13 BCI系统安全性 52
1.4.14 BCI系统易用性 53
1.4.15 BCI标准化 53
1.4.16 BCI产业转化 54
1.4.17 假冒伪劣BCI产品 55
1.5 用于BCI的脑神经电磁信号记录相关术语 55
1.5.1 脑信号时间分辨率 55
1.5.2 脑信号空间分辨率 56
1.5.3 脑信号伪迹 56
1.5.4 脑信号信噪比 56
1.5.5 脑信号灵敏度 57
1.5.6 脑神经元电磁信号 57
1.5.7 头皮脑电（EEG） 59
1.5.8 皮层脑电（ECoG） 59
1.5.9 ECoG网格 60
1.5.10 微电极阵列（MEA） 60
1.5.11 神经元发放（NF） 60
1.5.12 尖峰（Spikes） 61
1.5.13 局部场电位（LFP） 61
1.5.14 脑信号功率谱 63
1.5.15 脑磁（MEG） 63
1.6 用于BCI的脑组织血氧水平记录相关术语 64
1.6.1 脑组织代谢血氧水平信号 64
1.6.2 神经血管耦合 64
1.6.3 功能磁共振成像（fMRI） 65
1.6.4 功能性近红外光谱（fNIRS） 67
1.7 BCI相关脑结构与功能术语 69
1.7.1 静息态（RS） 70
1.7.2 任务态（TS） 70
1.7.3 大脑共同的解剖参考框架（CARF） 70
1.7.4 大脑分区表（Brain Atlas） 71
1.7.5 脑结构连接性（SC） 71
1.7.6 脑功能连接性（FC） 72
1.7.7 脑图谱 72
1.7.8 脑结构图谱 72
1.7.9 脑功能图谱 73
1.7.10 运动皮层 73
1.7.11 脑干运动神经元 73
1.7.12 脊髓运动神经元 73
1.7.13 体感皮层 74
1.7.14 视觉皮层 74
1.7.15 听觉皮层 74
1.7.16 视觉反馈（VF） 75
1.7.17 听觉反馈（AF） 75
1.7.18 体感反馈（SF） 76
1.7.19 触觉反馈（HF） 76
1.8 与BCI相关的其他术语 77
1.8.1 中枢神经系统（CNS）自然/正常的输入输出 77
1.8.2 中枢神经系统（CNS）人工的输入输出 78
1.8.3 BCI解决方案 78
1.8.4 非BCI解决方案 78
1.8.5 脑控技术 78
1.8.6 脑控机器人技术 79
1.8.7 共享控制策略 79
1.8.8 脑机协作策略 80
1.8.9 神经可塑性 80
1.8.10 自适应神经技术 81
1.8.11 神经调控 82
1.8.12 神经刺激 82
1.8.13 基于肌电的肌机接口相关术语 82
1.8.14 基于眼电或眼动跟踪的眼机接口相关术语 83
1.9 小结 83
参考文献 84
第2章 BCI范式与神经编码 101
2.1 引言 101
2.2 BCI范式的定义和设计原则 102
2.2.1 BCI范式的定义 102
2.2.2 BCI范式的设计原则 103
2.3 BCI神经编码的定义和建模原则 104
2.3.1 BCI神经编码的定义 104
2.3.2 BCI神经编码的建模原则 105
2.3.3 BCI神经编码与BCI范式、BCI神经解码的关系 105
2.3.4 BCI神经编码与脑神经编码及计算机信息编码的关系 105
2.3.5 BCI频率/速率编码 107
2.3.6 BCI时间编码 107
2.3.7 BCI相位编码 107
2.3.8 BCI神经元群编码 108
2.3.9 BCI相关性编码 108
2.3.10 BCI稀疏编码 108
2.3.11 BCI混合编码 109
2.4 现有主要的BCI范式与神经编码 109
2.4.1 皮质内LFPs-BCI范式与神经编码 110
2.4.2 ECoG-BCI范式与神经编码 111
2.4.3 fMRI-BCI范式与神经编码 113
2.4.4 fNIRS-BCI范式与神经编码 113
2.4.5 MEG-BCI范式与神经编码 115
2.4.6 EEG-BCI范式与神经编码 116
2.4.7 混合BCI（hBCI）范式与神经编码 120
2.5 BCI范式与神经编码面临的挑战及未来研究方向 121
2.5.1 以用户为中心设计和评价BCI范式与神经编码 121
2.5.2 变革传统的BCI范式 121
2.5.3 突破现有的脑信号采集技术 122
2.5.4 BCI技术与先进AI技术相结合提升脑信号解码性能 122
2.6 小结 122
参考文献 123
第3章 BCI金标准：在线BCI系统转化为实际应用的综合评价方法――用户可用性、
满意度和使用情况 132
3.1 引言 132
3.2 从离线BCI数据分析建模到在线BCI系统构建和性能优化的飞跃 134
3.2.1 离线BCI数据分析建模 134
3.2.2 在线BCI系统构建和性能优化 135
3.3 在线BCI系统转化为实际应用的综合评价方法 137
3.3.1 在线BCI系统可用性评价 137
3.3.2 在线BCI系统满意度评价 139
3.3.3 在线BCI系统使用情况评价 142
3.4 BCI金标准发展趋势 144
3.4.1 在线BCI系统可用性和用户满意度评价面临的挑战 144
3.4.2 在线BCI系统功效评价 144
3.4.3 提高在线BCI系统可用性和用户满意度的方法 145
3.4.4 不同采集方式和不同范式的BCI在转化为实际应用时面临的障碍 146
3.5 小结 148
参考文献 148
第2篇 基于想象的脑机交互（BCI）基本概念、理论、原理和方法
第4章 人类的心理想象及神经影像研究 155
4.1 人类的心理想象活动 155
4.1.1 人类的感知与心理想象活动 155
4.1.2 人类心理想象活动的类型 157
4.1.3 人类心理想象活动的执行与能力评价及提高方法 162
4.2 心理想象的神经影像研究现状及发展趋势 177
4.2.1 较低级的心理想象的神经影像研究现状及发展趋势 177
4.2.2 较高级的心理想象的神经影像研究现状及发展趋势 184
4.3 小结 192
参考文献 192
第5章 基于言语想象的BCI关键技术 212
5.1 引言 212
5.2 言语想象的神经机制 213
5.2.1 言语想象的基础生理过程 213
5.2.2 脑神经信号采集 214
5.2.3 基于言语想象的BCI系统的脑区选择 215
5.2.4 基于言语想象的BCI系统在不同波段下的表现 215
5.2.5 言语想象任务中的EEG动态特征 216
5.3 基于言语想象的BCI系统的实验范式及想象材料 216
5.3.1 分类任务实验范式 217
5.3.2 解码任务实验范式 218
5.3.3 想象音位/音节 219
5.3.4 想象汉字/单词 220
5.3.5 想象句子 221
5.4 数据处理的关键技术 221
5.4.1 特征提取 221
5.4.2 分类与解码 222
5.4.3 典型算法比较 223
5.5 存在的问题及发展趋势 225
5.5.1 在线系统 225
5.5.2 实验范式 225
5.5.3 言语想象数据 226
5.5.4 解码句子 226
5.5.5 多种状态下脑神经信号分析 227
5.5.6 多模态信号对言语信息的解码 227
5.5.7 基于言语想象的BCI系统未来的发展及应用 227
5.6 小结 229
参考文献 229
第6章 基于视觉想象的BCI范式和神经编码与解码 237
6.1 引言 237
6.2 视觉想象的神经机制、VI-BCI范式设计与神经编码 238
6.2.1 视觉想象的神经机制 238
6.2.2 VI-BCI范式设计 240
6.2.3 VI-BCI神经编码 244
6.3 视觉想象BCI神经解码方法 245
6.3.1 视觉想象相关脑信号特征提取和选择 245
6.3.2 视觉想象相关脑信号特征分类 247
6.4 基于视觉想象的BCI存在的问题及未来研究方向 251
6.4.1 VI-BCI存在的问题 251
6.4.2 VI-BCI未来研究方向 252
6.5 小结 255
参考文献 255
第7章 基于运动想象的BCI神经科学原理 263
7.1 事件相关去同步化/同步化（ERD/ERS）现象及其 神经科学原理 263
7.1.1 事件 263
7.1.2 事件相关去同步化/同步化（ERD/ERS）现象 266
7.1.3 ERD/ERS现象潜在的神经科学原理或神经机制 267
7.2 运动想象相关ERD/ERS现象及其神经科学原理 268
7.2.1 实际运动和运动想象涉及的脑结构与激活特征 268
7.2.2 实际运动和运动想象ERD/ERS现象 275
7.2.3 运动想象ERD/ERS现象的神经机制 278
7.3 运动相关电位（MRP）的神经科学原理 279
7.3.1 运动相关皮层电位（MRCP） 279
7.3.2 运动准备电位（RP） 280
7.3.3 运动相关电位（MRP） 281
7.3.4 运动准备电位和运动相关电位的神经机制 282
7.4 总结与展望 284
参考文献 284
第3篇 基于运动想象的脑机交互（BCI）实践与应用
第8章 BCI中运动想象的执行及能力的 评估和提高方法 289
8.1 引言 289
8.2 实际运动、动觉运动想象与视觉运动想象 290
8.2.1 实际运动的执行 290
8.2.2 动觉运动想象的执行 292
8.2.3 视觉运动想象的执行 292
8.2.4 实际运动、动觉运动想象和视觉运动想象的比较 293
8.2.5 特别值得注意的问题 295
8.3 动觉运动想象和视觉运动想象能力的评估方法 296
8.3.1 国际量表 296
8.3.2 心理测时法和心理旋转法 298
8.3.3 脑功能成像 299
8.3.4 神经反馈（NF） 299
8.3.5 事件相关同步化/去同步化 300
8.4 动觉运动想象和视觉运动想象能力的提高方法 300
8.4.1 动觉运动想象能力的提高方法 300
8.4.2 视觉运动想象能力的提高方法 302
8.4.3 冥想训练 302
8.5 BCI中运动想象的执行、能力的评估和提高方法： 未来趋势 302
8.5.1 运动想象的自动化执行、实时可视化客观评估和高效的神经反馈训练 302
8.5.2 个体之间和内部运动想象的差异性、共性及MI-BCI盲问题 303
8.6 小结 303
参考文献 304
第9章 运动想象相关脑信号分类方法 309
9.1 引言 309
9.2 传统机器学习算法 310
9.2.1 线性分类器 311
9.2.2 非线性贝叶斯分类器 313
9.2.3 最近邻分类器 314
9.2.4 神经网络分类器 315
9.2.5 集成分类器 316
9.2.6 小结 317
9.3 深度学习 318
9.3.1 原理 319
9.3.2 深度学习中输入形式的重要性 323
9.3.3 最新进展 323
9.3.4 利弊分析 325
9.4 自适应分类器 326
9.4.1 原理 326
9.4.2 最新进展 326
9.4.3 利弊分析 328
9.5 黎曼几何分类器 329
9.5.1 原理 329
9.5.2 最新进展 331
9.5.3 利弊分析 331
9.6 迁移学习 332
9.6.1 原理 332
9.6.2 最新进展 334
9.6.3 利弊分析 335
9.7 其他类型神经活动测量技术的分类算法 336
9.7.1 MI-MEG的分类方法 336
9.7.2 MI-fNIRS的分类方法 337
9.7.3 MI-ECoG的分类方法 338
9.7.4 MI-fMRI的分类方法 339
9.7.5 MI-Spike的分类方法 341
9.7.6 小结 342
9.8 总结与展望 342
参考文献 343
第10章 运动想象BCI实验研究 358
10.1 引言 358
10.2 基于ICA的运动想象脑机接口研究 359
10.2.1 MI-EEG开源数据库 359
10.2.2 ICA在MI-BCI中应用的背景知识 361
10.2.3 ICA在传统MI-BCI系统实现中的适用性研究 362
10.2.4 ICA/CSP方法的迁移学习性能和ICA-MI-BCI导联优化问题 374
10.2.5 不同ICA算法在ICA-MI-BCI系统实现中的性能比较 380
10.3 DNN在MI-BCI中的应用研究 381
10.3.1 EhythmNet及其性能仿真 382
10.3.2 EhythmNet在实测MI-EEG分析中的应用 386
10.4 小结 395
参考文献 395
第11章 运动想象BCI及其结合虚拟现实康复研究 399
11.1 引言 399
11.2 运动想象脑机接口基本知识 401
11.2.1 运动想象脑机接口系统的分类 402
11.2.2 运动想象脑电信号的特性 404
11.2.3 运动想象脑机接口基本原理 407
11.2.4 国内外脑机接口康复领域研究现状 408
11.2.5 运动想象脑机接口特征提取方法的研究现状 410
11.3 运动想象脑机接口与虚拟现实技术的康复应用 411
11.3.1 研究现状 411
11.3.2 面临困难 411
参考文献 412
第12章 双向闭环运动想象BCI主动康复训练系统的功效评价方法 415
12.1 引言 415
12.2 双向闭环MI-BCI主动康复训练系统的康复理论/原理与方法、主要作用
和临床研究案例 416
12.2.1 双向闭环MI-BCI主动康复训练系统 416
12.2.2 双向闭环MI-BCI主动康复训练系统的康复理论/原理与方法 418
12.2.3 双向闭环MI-BCI主动康复训练系统的主要作用 419
12.2.4 双向闭环MI-BCI主动康复训练系统的临床研究案例 419
12.3 双向闭环MI-BCI主动康复训练系统的康复训练周期和康复功效评价方法 422
12.3.1 双向闭环MI-BCI主动康复训练系统的康复训练周期 422
12.3.2 双向闭环MI-BCI主动康复训练系统的康复功效评价方法 422
12.4 双向闭环MI-BCI主动康复训练系统的可用性、用户满意度和使用情况
评价方法 428
12.5 发展趋势展望 429
12.5.1 双向闭环MI-BCI主动康复训练系统运动功能障碍康复效果评价
面临的挑战 429
12.5.2 双向闭环运动想象BCI主动康复训练系统与用户相关的挑战 430
12.5.3 双向闭环MI-BCI主动康复训练系统面临的临床应用挑战 430
12.5.4 双向闭环MI-BCI主动康复训练系统面临的技术挑战 431
12.6 小结 431
参考文献 432