Articles

The soul selects her own society, then shuts the door. To her divine majority, present no more.

欢迎来到我的文章页面。

「很高兴与你分享我最近在做的事情」

March 29, 2025

PPO 代码实现

1. 论文详读

Proximal Policy Optimization Algorithms

2. Policy Gradient

1. 完整过程

随机初始化 actor 参数 theta
玩 n 次游戏，收集 n 个 trajectory（state、action），算出 reward
用得到的 data 去更新参数 theta
如果 R(τⁿ) 为正，梯度更新会提升该轨迹中所有动作的概率；若为负，则降低概率。

March 29, 2025

PPO 原理

1. 基础概念

enviroment：看到的画面+看不到的后台画面，不了解细节
agent(智能体)：根据策略得到尽可能多的奖励
state：当前状态
observation：state的一部分（有时候agent无法看全）
action：agent做出的动作
reward：agent做出一个动作后环境给予的奖励
action space：可以选择的动作，如上下左右
policy：策略函数，输入state，输出Action的概率分布。一般用π表示。
1. 训练时应尝试各种action
2. 输出应具有多样性
Trajectory/Episode/Rollout：轨迹，用 t 表示一连串状态和动作的序列。有的状态转移是确定的，也有的是不确定的。
Return：回报，从当前时间点到游戏结束的 Reward 的累积和。

强化学习目标：训练一个Policy神经网络π，在所有状态S下，给出相应的Action，得到Return的期望最大。

March 29, 2025

语义分割

语义分割将图片中的每个像素分类到对应的类别。

应用：
背景虚化、路面分割、实例分割(会关注具体是哪个个体，如 Mask R-CNN)、全景分割（还要对背景进行分割，如 Panoptic FPN）
常见模型
语义分割任务常见的数据集格式
- PASCAL VOC：PNG图片 + 每个像素的类别信息（每个像素都对应一个颜色）
- MS COCO：每个目标都记录了一个多边形坐标，将所有的点连一起，即可得到边缘信息(还可以用于实例分析)
- 语义分割得到的具体形式：单通道图片，加上调色板 mask 蒙版后可以上色（palette），方便可视化。每个像素数值对应类别索引。

1
2
3
4
5