端边云协同分布式机器学习优化方法

分布式机器学习是当前人工智能领域的重要研究方向，在分布式智能及大规模模型训练等应用场景中具有广泛前景，本书在介绍大模型微调、联邦学习与深度强化学习等相关理论及技术的基础上，重点探讨了端边云协同分布式机器学习的算法设计与优化问题。全书共7章，主要内容包括研究背景意义及相关理论基础、面向系统异构和统计异构的联邦训练优化方法、面向异构系统的端边云联邦学习优化方法、基于提示学习的分布外泛化优化算法、面向分布式大模型微调的智能优化算法、保障联邦训练可持续的激励机制设计方法。

2024年获中国电子学会自然科学一等奖

目录
前言
第1章 绪论 1
1.1 背景和意义 1
1.2 相关领域研究现状 7
1.3 本书的章节安排 13
第2章 相关理论基础 17
2.1 大模型微调 17
2.1.1 适配器微调算法 17
2.1.2 提示学习算法 19
2.2 联邦学习 22
2.2.1 联邦学习算法流程 23
2.2.2 分层联邦学习算法流程 25
2.3 深度强化学习 27
2.3.1 马尔可夫决策过程 28
2.3.2 近端策略优化算法 31
2.3.3 多智能体强化学习 33
2.4 本章小结 34
第3章 面向系统异构和统计异构的联邦训练优化方法 35
3.1 引言 35
3.2 方法概述 36
3.3 设计细节 37
3.3.1 模型设计 37
3.3.2 算法设计 39
3.4 性能评估 43
3.4.1 实验设置 43
3.4.2 评价指标 45
3.4.3 超参数 45
3.4.4 对比算法 46
3.4.5 实验结果 46
3.5 本章小结 51
第4章 面向异构系统的端边云联邦学习优化方法 52
4.1 引言 52
4.2 研究动机 53
4.2.1 动态聚合频率同步方案的影响 53
4.2.2 系统动态性的影响 55
4.3 算法设计 56
4.3.1 拓扑配置模块 57
4.3.2 状态设计 58
4.3.3 动作设计 59
4.3.4 奖励设计 60
4.3.5 Robin训练流程 60
4.3.6 系统优化技巧 62
4.4 性能评估 62
4.4.1 实验设置 63
4.4.2 实验结果 64
4.5 本章小结 70
第5章 基于提示学习的分布外泛化优化算法 71
5.1 引言 71
5.2 研究动机 72
5.2.1 分布外泛化问题分类 72
5.2.2 虚假信息提取 74
5.3 算法设计 75
5.3.1 方法概述 75
5.3.2 虚假信息去除模块 77
5.3.3 文本约束模块 78
5.3.4 训练与推理流程 79
5.4 性能评估 80
5.4.1 实验设置 80
5.4.2 实验结果 82
5.5 本章小结 89
第6章 面向分布式大模型微调的智能优化算法 91
6.1 引言 91
6.2 研究动机 92
6.2.1 适配器与终端设备异构的影响 92
6.2.2 动态适配器聚合频率的影响 94
6.2.3 集中式控制方法的挑战 95
6.3 算法设计 96
6.3.1 多智能体强化学习设计 97
6.3.2 Tomtit训练流程 99
6.3.3 Tomtit优化细节 100
6.3.4 动态聚合频率算法收敛性证明 102
6.4 性能评估 106
6.4.1 实验设置 106
6.4.2 实验结果 107
6.5 本章小结 114
第7章 保障联邦训练可持续的激励机制设计方法 115
7.1 引言 115
7.2 问题建模 115
7.2.1 系统模型 116
7.2.2 问题描述 117
7.3 激励机制的理论分析 118
7.3.1 客户端最优解决方案 118
7.3.2 参数服务器的平衡分析 119
7.4 设计细节 120
7.4.1 模型概述 120
7.4.2 强化机制模型设计 121
7.4.3 算法设计 122
7.5 性能评估 124
7.5.1 实验设置 124
7.5.2 对比算法 124
7.5.3 实验结果 125
7.6 本章小结 134
参考文献 135
彩图