脸书的RIDE鼓励人工智能代理探索他们的环境

这篇预印的论文由脸书人工智能研究所的科学家合著，描述了奖励影响驱动探索(RIDE)，这是一种内在的奖励方法，鼓励人工智能驱动的代理在环境中采取行动。研究人员表示，在生成程序的世界中，它在艰巨的探索任务中表现优于最新技术，这表明它可能成为机器人吸尘器等经常在新环境中导航的设备的候选。

正如研究人员解释的那样，强化学习的目的是鼓励人们通过奖励系统完成任务，并通过反复试验学会在新环境中采取行动。但是很多有趣的环境(尤其是更接近实际问题的环境)并不能为代理人提供稳定的学习奖励，所以需要大量的剧情才能为代理人获得奖励。

然后，研究人员提出的解决方案——RIDE——敦促代理尝试对环境有很大影响的行为。

该团队通过开源工具MiniGrid在程序生成环境中评估了RIDE，在MiniGrid中，世界是一个部分可观察的网格，网格中的每个块最多包含一个离散的颜色对象(墙、门、键、球、框或目标)。此外，他们在VizDoom(基于Doom进行强化学习的AI研究平台)中分配了导航级别的任务。虽然VizDoom在外观上比MiniGrid更复杂，但它们都是具有挑战性的领域，因为从外部奖励中随机跳闸的可能性极低。

研究人员报告称，与基线算法相比，RIDE认为有些状态即使经过长时间的训练，并且在过去看到过类似的状态，或者学会了几乎完全预测一个子状态中的下一个状态，也可以被视为“新奇”或“令人惊讶”。环境因此，其内部奖励不会在培训过程中减少。代理试图区分导致新的或令人惊讶的状态的行为和没有导致新的或令人惊讶的状态的行为，并避免陷入某些状态空间。

该研究的合著者写道：“RIDE有许多理想的特征。”“它可以将特工吸引到可能影响环境的国家，即使经过长时间的训练，也可以向特工提供信号。它在概念上很简单，并且与其他内部或外部奖励以及任何深度[强化学习]算法兼容.此外，在探索程序生成环境方面，RIDE比其他探索方法更有效。”

他们会用符号信息来衡量代理人的影响力或考虑代理人行为的长期影响，从而改进RIDE未来的工作。他们还希望研究能够区分预期和意外影响类型的算法，有效约束代理安全行动，避免分心。

标签：

免责声明：免责声明：本文由用户上传，与本网站立场无关。财经信息仅供读者参考，并不构成投资建议。投资者据此操作，风险自担。 如有侵权请联系删除！