云边端协同计算：基于强化学习

本书获得国家科学技术学术著作出版基金资助出版。

本书特色

前沿性与系统性结合：紧扣云边端协同计算领域四大核心挑战，从基础架构到关键技术全面解析，涵盖任务卸载、资源调度、缓存优化等多维度解决方案，内容前沿且体系完整。

强化学习技术深度融入：创新性地引入多智能体、分布式、联邦及分层强化学习等方法，针对不同场景设计协同决策模型，并通过算法介绍与代码实现增强实践性。

面向多层次读者需求：既可作为高年级本科生或研究生的教材，也可为科研人员与从业者提供理论参考和技术支撑，兼顾教学性与科研/工程应用价值。

随着物联网设备激增和人工智能应用对低时延需求的提升，传统云计算架构面临带宽压力、高延迟等挑战，云边端协同计算作为一种新型计算模式应运而生。本书系统性探讨云边端协同计算的核心技术，重点针对大规模动态任务处理、异构资源利用、异构内容响应及联合缓存与卸载协同决策四大挑战，结合深度强化学习等前沿方法，提出多智能体、分布式、联邦及分层强化学习解决方案，为读者提供理论、方法与实践指导。

本书特色

？前沿性与系统性结合：紧扣云边端协同计算领域四大核心挑战，从基础架构到关键技术全面解析，涵盖任务卸载、资源调度、缓存优化等多维度解决方案，内容前沿且体系完整。

？强化学习技术深度融入：创新性地引入多智能体、分布式、联邦及分层强化学习等方法，针对不同场景设计协同决策模型，并通过算法介绍与代码实现增强实践性。

？面向多层次读者需求：既可作为高年级本科生或研究生的教材，也可为科研人员与从业者提供理论参考和技术支撑，兼顾教学性与科研/工程应用价值。

李秀华，重庆大学大数据与软件学院教授、博士生导师，重庆英才·青年拔尖人才，重庆市学术技术带头人后备人选，信息物理社会可信服务计算教育部重点实验室——智能软件与服务计算研究所所长，博士毕业于加拿大不列颠哥伦比亚大学（UBC）电气与计算机工程系。近年来主要从事移动边缘计算/缓存、边缘智能、大模型训练与推理、智能网联汽车等方面研究，在IEEE JSAC、IEEE COMST、IEEE TMC、IEEE TSC、IEEE TWC、IEEE TCOM、IEEE TCC、ACM TOSN、IEEE INFOCOM等著名国际期刊/会议上发表论文120多篇；申请专利50余项，授权30余项；获得软件著作权约10项。参与多个国际国内期刊/会议的组织工作，担任Computer Communications期刊编辑、Wireless Networks与ZTE Communications等期刊客座编辑、EAI 6GN 2024大会主席、EAI 6GN 2021程序委员会共同主席等。主持国家级、省部级、企业级项目与课题20余项，获得省部级一等奖、二等奖共3项。

孙川，重庆师范大学计算机与信息科学学院讲师。博士毕业于重庆大学大数据与软件学院，新加坡南洋理工大学博士后。主要从事边缘计算、大模型压缩和强化学习等领域的研究工作，已在IEEE JSAC、IEEE TKDE、IEEE TSC等国际权威期刊上发表相关研究论文30余篇，其中以第一作者或通讯作者发表论文10篇，包括CCF-A类2篇、中科院一区Top 3篇、中科院二区3篇；授权专利7项。参与多个国际国内期刊/会议的组织工作，担任EURASIP Journal on Wireless Communications and Networking客座编辑、Cloud Computing and Data Science副编辑，IEEE INFOCOM Demo、WWW Workshop等会议程序委员会成员，博士期间曾担任中国计算机学会重庆大学学生分会主席。

前言

第1章 云边端协同计算基础1

1.1 云边端协同计算概述1

1.2 云边端协同计算的挑战5

1.3 云边端协同计算技术7

1.3.1 边端协同计算卸载7

1.3.2 云边协同计算卸载8

1.3.3 云边端协同缓存10

1.3.4 联合服务缓存和计算卸载11

1.4 云边端协同计算的应用12

1.4.1 基于多智能体强化学习的边端协同计算卸载13

1.4.2 基于分布式强化学习的云边协同计算卸载13

1.4.3 基于联邦深度强化学习的云边端协同缓存13

1.4.4 基于分层强化学习的联合服务缓存和计算卸载14

1.4.5 各个应用之间的关系14

1.5 本章小结15

第2章 深度强化学习基础16

2.1 机器学习和深度学习16

2.1.1 PyTorch17

2.1.2 监督学习、偏差和过拟合的概念19

2.1.3 无监督学习20

2.1.4 深度学习方法21

2.2 强化学习23

2.2.1 强化学习框架23

2.2.2 强化学习的实验环境Gym26

2.2.3 从数据中学习策略的不同设置28

2.3 基于价值的深度强化学习方法29

2.3.1 Q学习29

2.3.2 适应性Q学习31

2.3.3 深度Q网络32

2.3.4 双重深度Q网络37

2.3.5 决斗网络架构41

2.3.6 分布式深度Q网络44

2.3.7 多步学习50

2.3.8 DQN与其他变体的组合53

2.4 基于策略梯度的深度强化学习方法54

2.4.1 随机策略梯度54

2.4.2 确定性策略梯度55

2.4.3 自然策略梯度57

2.4.4 信任域优化57

2.4.5 策略梯度和Q学习的结合58

2.5 基于模型的深度强化学习方法59

2.5.1 纯基于模型的方法59

2.5.2 集成无模型和基于模型的方法60

2.6 多智能体强化学习61

2.6.1 多智能体强化学习概述61

2.6.2 多智能体强化学习的符号表示和构建62

2.6.3 多智能体强化学习分类64

2.6.4 主要挑战和未来发展趋势66

2.7 本章小结68

第3章 基于多智能体强化学习的边端协同计算卸载70

3.1 引言70

3.2 边端协同智能计算架构72

3.2.1 边端协同计算拓扑结构73

3.2.2 计算卸载问题75

3.3 基于多智能体强化学习的计算卸载方案77

3.3.1 LSTM赋能的决斗DQN算法78

3.3.2 神经网络结构79

3.3.3 算法训练过程80

3.3.4 代码81

3.3.5 计算复杂度分析87

3.4 性能评估87

3.4.1 参数设置和基准方案87

3.4.2 算法收敛性能88

3.4.3 五种卸载方案的可扩展性91

3.5 本章小结93

第4章 基于分布式强化学习的云边协同计算卸载94

4.1 引言94

4.2 系统建模和优化问题95

4.2.1 MEC架构96

4.2.2 服务延迟模型97

4.2.3 云边协同计算卸载模型99

4.2.4 优化问题建模100

4.3 智能计算卸载方案100

4.3.1 SAC101

4.3.2 CSACO算法实现103

4.3.3 DSACO算法实现104

4.3.4 代码106

4.3.5 计算和通信复杂性分析110

4.4 性能评估111

4.4.1 参数设置111

4.4.2 五种卸载方案的收敛性112

4.4.3 五种卸载方案的可扩展性和效率114

4.5 本章小结118

第5章 基于联邦深度强化学习的云边端协同缓存119

5.1 引言119

5.2 系统模型和优化问题121

5.2.1 推荐赋能的边缘缓存架构121

5.2.2 内容推荐模型122

5.2.3 系统成本模型124

5.2.4 缓存替换模型125

5.2.5 优化问题126

5.3 去中心化的推荐赋能的边缘缓存方案127

5.3.1 问题分析与分解127

5.3.2 本地请求处理128

5.3.3 缓存替换处理131

5.3.4 代码135

5.3.5 计算复杂度139

5.4 性能评估139

5.4.1 参数设置和基准方案139

5.4.2 收敛性能141

5.4.3 不同边缘服务器数量的影响143

5.4.4 边缘服务器不同缓存大小的影响145

5.4.5 不同数量终端设备的影响145

5.4.6 软命中的影响147

5.5 本章小结147

第6章 基于分层强化学习的联合服务缓存和计算卸载149

6.1 引言149

6.2 系统模型和优化问题150

6.2.1 服务缓存模型151

6.2.2 计算卸载模型152

6.2.3 通信和计算模型152

6.2.4 优化问题153

6.3 问题分析与分解154

6.3.1 案例一：边缘节点不合作154

6.3.2 案例二：一个时间片刻内优化154

6.3.3 问题分解155

6.4 联合服务缓存和计算卸载方案157

6.4.1 为什么要分层强化学习157

6.4.2 第一阶段：服务缓存处理的边缘智能体158

6.4.3 第二阶段：计算卸载处理的中心智能体159

6.4.4 JSC2O的分层强化学习162

6.4.5 算法复杂度分析162

6.4.6 代码163

6.5 性能评估164

6.5.1 参数设置和基准方案165

6.5.2 收敛性能167

6.5.3 不同边缘节点数量的影响168

6.5.4 不同服务数量的影响170

6.6 本章小结172

缩略词列表173

参考文献175