强化学习+2

内容简介

本书介绍强化学、算法及其实现。内容涉及基于模型的强化学于采样-估计的强化学于逼理论的强化学度强化学 本书以教学为目行选材，力求阐述严谨、突出、深入浅出，以便于教学与自学。 本书面向所有对强化学趣的读者，可作为高等学校理工科本科生、研究生强化学教材或 参考书。

目录

第 1章绪论. 1?
1.1引言 . 1?
1.2解决复杂问题的朴素思想 . 3?
1.2.1数学建模与优化 ?4?
1.2.2采样和估计 . 4?
1.2.3 . 5?
1.2.4迭代 . 5?
1.3强化学 . 7?
1.4本书主要内容及结构 . 7?
1.5小结 . 8?
1.6. 9
参考文献 ?9
第 2章基础知识 .10?
2.1运筹学简明基础 .10?
2.1.1无约束非线规划优化方法 11?
2.1.2 KKT条件 .13?
2.1.3凸规划的质 13?
2.2概率与统计简明基础 14?
2.2.1概率论基本概念 .14?
2.2.2概率论的收敛定理 16?
2.2.3统计学的基本概念 17?
2.2.4似然估计法 .17?
2.2.5估计量的优良评估 18?
2.2.6采样与模拟 .19?
2.2.7 Monte Carlo方法简介 .20?
2.2.8重要采样法 21?

2.3小结 22?
2.423
参考文献 .23
第
一篇
基于于模模型型的的强强化化学学r>一篇基
于模型的强化学r>第 3章多摇臂问题26?
3.1动作值方法 27?
3.2稳多摇臂问题 28?
3.3 UCB动作选择 .29?
3.4梯度摇臂算法 30?
3.530
参考文献 .30
第 4章 Markov决策过程 .31?
4.1定义和记号 31?
4.2有限 Markov决策过程 .32?
4.3 Bellman方程 .33?
4.4策略 .35?
4.5小结 38?
4.638
参考文献 .39
第 5章动态规划 .40?
5.1策略评估 .40?
5.2策略 .41?
5.3策略迭代 .42?
5.4值迭代 44?
5.5异步动态规划 45?
5.6收敛证明 46?
5.7小结 47?
5.847
参考文献 .47?
第
二篇
基于于采采样估计计的的强强化化学学r>二篇基
于采样?
-估
计的强化学r>第 6章策略评估 .50?
6.1基于 Monte Carlo方法的策略评估 50?
6.1.1同策略 Monte Carlo策略评估 .51?
6.1.2异策略 Monte Carlo策略评估 .53?
6.2基于时序差分方法的策略评估 .55?
6.3 n步预测 .60?
6.4小结 63?
6.563
参考文献 .64
第 7章策略控制 .65?
7.1同策略 Monte Carlo控制 .65?
7.2同策略时序差分学7?
7.3异策略学9?
7.4基于 TD(λ)的策略控制 71?
7.5实例 72?
7.5.1问题介绍 .73?
7.5.2 MDP模型的要素 .73?
7.5.3策略评估 .74?
7.5.4策略控制 .74?
7.6小结 75?
7.775
参考文献 .75
第 8章学划的整合76?
8.1模型和规划 76?
8.2 Dyna：整合规划、动作和学77?
8.3几个概念 .79?
8.4在决策关头的规划 80?
8.4.1启发式算法 80?
8.4.2 rollout算法 .81?
8.4.3 Monte Carlo树搜索 .81?
8.5小结 82?

8.683
参考文献 .83
第
第三三篇
基于于逼理理论论的的强强化化学学r>三篇基
于理论的强化学r>第 9章值函数86?
9.1基于梯度下降法的值函数 87?
9.2基于梯度下降法的 Q-值函数 90?
9.3批处理 92?
9.3.1线二乘值函数 92?
9.3.2线二乘 Q-值函数 .93?
9.4小结 94?
9.594
参考文献 .94
第 10章策略 .95?
10.1策略梯度法 95?
10.1.1参数问题的目标函数 96?
10.1.2策略梯度 97?
10.1.3梯度计算 97?
10.1.4 REINFORCE算法 .99?
10.2方差减少方法 .99?
10.2.1利用一个评论 .99?
10.2.2利用基准线 ?101?
10.3小结 ?104?
10.4?104
参考文献 . 105
第 11章信赖域策略优化 . 106?
11.1预备知识 . 107?
11.2单调一般策略的方法 ?109?
11.3参数化策略的优化 ?110?
11.4基于采样的目标和约束估计 . 111?
11.5实用算法 . 113?
11.6小结 ?114?
11.7?114
参考文献 . 114
第
第四四篇
深度度强强化化学学r>四篇深
度强化学r>第 12章深度学 116?
12.1神经网络基础 . 116?
12.1.1神经网络解决问题的基本流程 ?117?
12.1.2激活函数 ?117?
12.1.3损失函数 ?119?
12.1.4优化算法 ?120?
12.2典型深度神经网络结构 . 123?
12.2.1深度的作用 ?123?
12.2.2卷积神经网络 . 124?
12.2.3循环神经网络 . 125
参考文献 . 127
第 13章深度 Q-网络 ?128?
13.1 DQN原理 . 129?
13.1.1预处理 . 129?
13.1.2网络结构 ?130?
13.1.3算法 ?131?
13.1.4深度 Q-网络的训练算法 . 132?
13.1.5算法详细说明 . 132?
13.2 DQN实例 . 133?
13.2.1 Atari 2600游戏介绍 . 133?
13.2.2 DQN算法的实现 ?133?
13.3小结 ?142?
13.4?142
参考文献 . 142
第 14章深度确定策略梯度. 144?
14.1 DDPG算法介绍 ?144?
14.1.1 DDPG算法的发展介绍 . 144?
14.1.2 DDPG算法的原理解析 . 145?

14.2 DDPG算法的实现 . 147?
14.2.1 Mujoco的安装及使用 . 147?
14.2.2 DDPG算法的实现解析 . 149?
14.2.3 DDPG算法的训练和测试 . 153
参考文献 . 154
第 15章多智能体强化学155?
15.1多智能体强化学 . 155?
15.1.1多智能体强化学展简述 ?155?
15.1.2博弈 ?156?
15.1.3纳什 Q-学 157?
15.均场多智能体强化学 . 158?
15.2.均似理论 ?158?
15.2.均场多智能体强化学 ?161?
15.均场多智能体实验 . 163?
15.3.1 MAgen台 ?163?
15.3.2混合合作-竞争的战斗游戏介绍 . 165?
15.3.3 MF-Q和 MF-AC算法的实现解析 . 167?
15.3.4战斗游戏的训练与测试 ?171
参考文献 . 176?