1. 论文详读

Proximal Policy Optimization Algorithms

2. Policy Gradient

1. 完整过程

1. 随机初始化 actor 参数 theta

2. 玩 n 次游戏，收集 n 个 trajectory（state、action），算出 reward

3. 用得到的 data 去更新参数 theta

   

   

   如果 R(τⁿ) 为正，梯度更新会提升该轨迹中所有动作的概率；若为负，则降低概率。

1. 基础概念

1. enviroment：看到的画面+看不到的后台画面，不了解细节

2. agent(智能体)：根据策略得到尽可能多的奖励

3. state：当前状态

4. observation：state的一部分（有时候agent无法看全）

5. action：agent做出的动作

6. reward：agent做出一个动作后环境给予的奖励

7. action space：可以选择的动作，如上下左右

8. policy：策略函数，输入state，输出Action的概率分布。一般用π表示。

   1. 训练时应尝试各种action
   2. 输出应具有多样性

9. Trajectory/Episode/Rollout：轨迹，用 t 表示一连串状态和动作的序列。有的状态转移是确定的，也有的是不确定的。

10. Return：回报，从当前时间点到游戏结束的 Reward 的累积和。

强化学习目标：训练一个Policy神经网络π，在所有状态S下，给出相应的Action，得到Return的期望最大。

语义分割将图片中的每个像素分类到对应的类别。

• 应用：

  背景虚化、路面分割、实例分割(会关注具体是哪个个体，如 Mask R-CNN)、全景分割（还要对背景进行分割，如 Panoptic FPN）

• 常见模型

  

• 语义分割任务常见的数据集格式

  • PASCAL VOC：PNG图片 + 每个像素的类别信息（每个像素都对应一个颜色）
  • MS COCO：每个目标都记录了一个多边形坐标，将所有的点连一起，即可得到边缘信息(还可以用于实例分析)
  • 语义分割得到的具体形式：单通道图片，加上调色板 mask 蒙版后可以上色（palette），方便可视化。每个像素数值对应类别索引。