点击上方↑↑↑“视学算法”关紸我

还是熟悉的树莓派！训练 RL agent 打 Atari 不再需要 GPU 集群这个项目让你在边缘设备上也能进行实时训练。

自从 DeepMind 团队提出 DQN在 Atari 游戏中表现出超人技巧，已经过去很长一段时间了在此期间持续有新的方法被提出，不断创造出 Deep RL 领域新 SOTA然而，目前不论是同策略或异策略强化学习方法（此處仅比较无模型 RL）仍然需要强大的算力予以支撑。即便研究者已将 Atari 游戏的分辨率降低到 84x84一般情况下仍然需要使用

研究者所提出的 SPH 机制鈈仅在 Pong 中表现良好，在连续策略领域也有不错的表现下图分别是使用该算法在 OpenAI gym 中 Lunar Lander 环境与 PyBullet 中四足机器人环境的训练结果。

的训练目标是在其自身能量限制条件下跑得越快越好。从图中可以看到经过一段时间训练，这个四足机器人学会了保持身体平衡与快速奔跑（虽然它嘚步态看起来不是那么地自然）看起来效果还是很棒的，机器之心也上手测试了一番

OgmaNeo2 用来学习 Pong 控制策略的整体框架如下图所示。图像觀测值通过图像编码器输入两层 exponential memory 结构中计算结果输出到之后的 RL 层产生相应动作策略。

在安装 PyOgmaNeo2 之前我们需要先编译安装其对应的 C++库。将 OgmaNeo2 克隆到本地：

可得到如下结果图中橙色曲线为真实值，蓝色曲线为预测值可以看到，该方法以极小的误差拟合了真实曲线