强化学习

本书介绍强化学习原理、算法及其实现。内容涉及基于模型的强化学习、基于采样-估计的强化学习、基于逼
近理论的强化学习及深度强化学习等。
本书以教学为目标进行选材，力求阐述严谨、重点突出、深入浅出，以便于教学与自学。
本书面向所有对强化学习感兴趣的读者，可作为高等学校理工科高年级本科生、研究生强化学习课程教材或
参考书。

柯良军博士，西安交通大学教授、博士生导师。2008年获西安交通大学工学博士学位。2011年10月至2012年10月在英国University of Essex访问学习。近期主要从事大规模复杂智能计算与深度强化学习方面研究。在IEEE Transaction on Cybernetic、Omega、European Journal of Operational Research等重要刊物发表论文30余篇，其中SCI检索论文20余篇，出版学术专著1部。担任IEEE Transactions on Evolutionary Computation、IEEE Transaction on Cybernetics、European Journal of Operational Research等靠前重要期刊和会议的审稿人。先后主持国家自然科学基金等10余项科研课题。

章 绪论
1.1 引言
1.2 解决复杂问题的朴素思想
1.2.1 数学建模与优化
1.2.2 采样和估计
1.2.3 逼近
1.2.4 迭代
1.3 强化学习简史
1.4 本书主要内容及结构
1.5 小结
1.6 习题
参考文献
第2章 基础知识
2.1 运筹学简明基础
2.1.1 无约束非线性规划优化方法
2.1.2 KKT条件
2.1.3 凸规划的性质
2.2 概率与统计简明基础
2.2.1 概率论基本概念
2.2.2 概率论的收敛定理
2.2.3 统计学的基本概念
2.2.4 优选似然估计法
2.2.5 估计量的优良性评估
2.2.6 采样与随机模拟
2.2.7 Monte Carlo方法简介
2.2.8 重要采样法
2.3 小结
2.4 习题
参考文献
篇 基于模型的强化学习
第3章 多摇臂问题
3.1 动作值方法
3.2 非平稳多摇臂问题
3.3 UCB动作选择
3.4 梯度摇臂算法
3.5 习题
参考文献
第4章 Markov决策过程
4.1 定义和记号
4.2 有限Markov决策过程
4.3 Bellman方程
4.4 最优策略
4.5 小结
4.6 习题
参考文献
第5章 动态规划
5.1 策略评估
5.2 策略改进
5.3 策略迭代
5.4 值迭代
5.5 异步动态规划
5.6 收敛性证明
5.7 小结
5.8 习题
参考文献
第二篇 基于采样-估计的强化学习
第6章 策略评估
6.1 基于Monte Carlo方法的策略评估
6.1.1 同策略Monte Carlo策略评估
6.1.2 异策略Monte Carlo策略评估
6.2 基于时序差分方法的策略评估
6.3 n步预测
6.4 小结
6.5 习题
参考文献
第7章 策略控制
7.1 同策略Monte Carlo控制
7.2 同策略时序差分学习
7.3 异策略学习
7.4 基于TD（λ）的策略控制
7.5 实例
7.5.1 问题介绍
7.5.2 MDP模型的要素
7.5.3 策略评估
7.5.4 策略控制
7.6 小结
7.7 习题
参考文献
第8章 学习与规划的整合
8.1 模型和规划
8.2 Dyna：整合规划、动作和学习
8.3 几个概念
8.4 在决策关头的规划
8.4.1 启发式算法
8.4.2 rollout算法
8.4.3 Monte Carlo树搜索
8.5 小结
8.6 习题
参考文献
第三篇 基于逼近理论的强化学习
第9章 值函数逼近
9.1 基于随机梯度下降法的值函数逼近
9.2 基于随机梯度下降法的Q-值函数逼近
9.3 批处理
9.3.1 线性最小二乘值函数逼近
9.3.2 线性最小二乘Q-值函数逼近
9.4 小结
9.5 习题
参考文献
0章 策略逼近
10.1 策略梯度法
10.1.1 最优参数问题的目标函数
10.1.2 策略梯度
10.1.3 梯度计算
10.1.4 REINFORCE算法
10.2 方差减少方法
10.2.1 利用一个评论
10.2.2 利用基准线
10.3 小结
10.4 习题
参考文献
1章 信赖域策略优化
11.1 预备知识
11.2 单调改进一般性随机策略的方法
11.3 参数化策略的优化
11.4 基于采样的目标和约束估计
11.5 实用算法
11.6 小结
11.7 习题
参考文献
第四篇 深度强化学习
2章 深度学习
12.1 神经网络基础
12.1.1 神经网络解决问题的基本流程
12.1.2 激活函数
12.1.3 损失函数
12.1.4 优化算法
12.2 典型深度神经网络结构
12.2.1 深度的作用
12.2.2 卷积神经网络
12.2.3 循环神经网络
参考文献
3章 深度Q-网络
13.1 DQN原理
13.1.1 预处理
13.1.2 网络结构
13.1.3 算法
13.1.4 深度Q-网络的训练算法
13.1.5 算法详细说明
13.2 DQN实例
13.2.1 Atari 2600游戏介绍
13.2.2 DQN算法的实现
13.3 小结
13.4 习题
参考文献
4章 深度确定性策略梯度
14.1 DDPG算法介绍
14.1.1 DDPG算法的发展介绍
14.1.2 DDPG算法的原理解析
14.2 DDPG算法的实现
14.2.1 Mujoco的安装及使用
14.2.2 DDPG算法的实现解析
14.2.3 DDPG算法的训练和测试
参考文献
5章 多智能体强化学习
15.1 多智能体强化学习介绍
15.1.1 多智能体强化学习的发展简述
15.1.2 随机博弈
15.1.3 纳什Q-学习
15.2 平均场多智能体强化学习原理
15.2.1 平均场近似理论
15.2.2 平均场多智能体强化学习算法
15.3 平均场多智能体实验
15.3.1 MAgent平台
15.3.2 混合合作-竞争的战斗游戏介绍
15.3.3 MF-Q和MF-AC算法的实现解析
15.3.4 战斗游戏的训练与测试
参考文献