DeepMind的AI自动生成强化学习算法

新时代，高科技越来越发达。朋友们看到了很多关于科技的重要新闻。我们也应该在生活中使用很多这些高科技的东西。朋友要注意什么？今天，我想和你分享一个关于科技的知识。我希望你会喜欢它。

在预印服务器Arxiv.org上发表的一项研究中，DeepMind的研究人员描述了一种强化学习算法生成技术，该技术发现了预测的内容以及如何通过与环境交互来学习。他们声称，生成的算法在一系列具有挑战性的Atari视频游戏中表现出色，取得了“非凡”的性能，这表明该技术是通用的。

强化学习算法(一种使软件代理能够通过使用反馈的重复实验在环境中学习的算法)根据若干规则之一更新代理的参数。这些规则通常是通过多年的研究发现的，从数据中自动发现可能会产生更有效的算法或者更适合特定环境的算法。

DeepMind的解决方案是一个元学习框架，它可以共同发现特定智能体应该预测什么，以及如何使用这些预测来改进策略。(在强化学习中，“策略”定义了学习者在给定时间的行为。)他们的框架——学习策略梯度(LGP)——允许更新规则(即元学习者)来决定被试的行为。当框架通过多个学习代理发现规则时，输出应该是可预测的，并且每个学习代理与不同的环境交互。

在实验中，研究人员直接在复杂的雅达利游戏(包括Tutankham、Breakout和Yars'Revenge)上评估LPG。他们发现，与现有算法相比，它可以“合理地”扩展到游戏，尽管训练环境由基本任务比雅达利游戏简单得多的环境组成。此外，由液化石油气训练出来的智能体，在不依赖手工设计的强化学习组件的情况下，成功地在14场比赛中取得了超人的表现。

合著者指出，LPG仍然落后于一些先进的强化学习算法。然而，在实验过程中，随着训练环境数量的增加，其泛化性能迅速提高，这表明一旦有更多的环境可用于元训练，就发现通用强化学习算法可能是可行的。

“通过以数据驱动的方式自动化发现过程，所提出的方法有可能大大加速发现新的强化学习算法的过程。如果提出的研究方向成功，将改变研究范式，从人工开发强化学习算法到构建合适的环境集，从而使获得的算法高效。”研究人员写道。“此外，所提出的方法还可以作为一种工具来帮助研究人员在强化学习中开发和改进他们的手动设计算法。在这种情况下，根据研究人员提供的输入架构，我们可以使用建议的方法来了解好的更新规则的外观。

　　免责声明：本文由用户上传，与本网站立场无关。财经信息仅供读者参考，并不构成投资建议。投资者据此操作，风险自担。 如有侵权请联系删除！