上周，DeepMind 在 Nature 发表论文，用 AI 复现大脑的导航功能。今天，DeepMind 在 Nature Neuroscience 发表新论文，该研究中他们根据神经科学中的多巴胺学习模型的扩展，强调了多巴胺在大脑最重要的智能区域即前额叶皮质发挥的整体作用，并据此提出了一种新型的元强化学习算法。DeepMind 期望该研究能推动神经科学对 AI 研究的启发。
近期，AI 系统已经掌握多种视频游戏（例如 Atari 的经典游戏 Breakout 和 Pong）的玩法。虽然其表现令人印象深刻，但 AI 仍然依赖于数千小时的游戏经验才能达到并超越人类玩家的表现。而人类仅需数分钟就可以掌握视频游戏的基本玩法。
对大脑何以能在如此少的经验下学到那么多这一问题的探究推动了元学习（meta-learning）或「学习如何学习」理论的发展。人们认为我们是在两个时间尺度上学习的：短期学习聚焦于学习特定实例，长期学习主要学习抽象技能或用于完成任务的规则。正是该组合帮助我们高效地学习，并在新任务上快速灵活地应用知识。在 AI 系统中重新创建这种元学习结构，即元强化学习（meta-RL），已被证明在推动快速、单次的智能体学习中卓有成效（参见 DeepMind 论文《Learning to reinforcement learn》以及 OpenAI 的相关研究《RL2: Fast Reinforcement Learning via Slow Reinforcement Learning》）。然而，大脑中允许该过程的特定机制目前在神经科学中基本未得到解释。
在 DeepMind 刚发表在 Nature Neuroscience 的新论文《Prefrontal cortex as a meta-reinforcement learning system》中，研究者使用了 AI 研究中开发出来的元强化学习框架来探索大脑中的多巴胺所发挥的帮助学习的作用。多巴胺是人们所熟悉的大脑快乐信号，通常被认为是 AI 强化学习算法中使用的奖励预测误差信号的类比。这些系统学习通过反复试错来行动，这是由奖励推动的。DeepMind指出多巴胺的作用不仅仅是使用奖励来学习过去动作的价值，它发挥的是整体作用，特别是在前额叶区域，它允许我们高效、快速和灵活地在新任务上学习。
研究者通过虚拟重建神经科学领域中的六个元强化学习实验来测试该理论，每个实验需要一个智能体使用相同的基础原则或技能集（但在某些维度上有所变化）来执行任务。研究者使用标准的深度强化学习技术（代表多巴胺）训练了一个循环神经网络（代表前额叶），然后对比该循环网络的活动动态和神经科学实验之前研究成果的真实数据。循环网络是很好的元学习代理，因为它们可以内化过去的动作和观察，然后在多种任务训练中利用那些经验。
DeepMind 重建的一个实验是 Harlow 实验，这是一个 1940 年代出现的心理测试，用于探索元学习的概念。在原始测试中，向一组猴子展示两个不熟悉的物体并让它们进行选择，只有一个物体能带来食物奖励。这两个物体被展示了 6 次，每次展示中两个物体的左右位置都是随机的，因此猴子必须学会哪个物体能带来食物奖励。然后，它们被展示了两个全新的物体，这时也是只有一个能带来食物奖励。通过该训练过程，猴子发展出了一种策略来选择奖励相关的物体：它学会了在第一次选择时进行随机选择，然后基于奖励反馈选择特定的物体，而不是左边或右边的位置。该实验证明了猴子可以内化任务的基础原则，并学习一种抽象的规则结构，即学会学习。
DeepMind 使用虚拟计算机屏幕和随机选择的图像模拟了一个类似的测试，他们发现「meta-RL agent」的学习方式与 Harlow 实验中的动物非常相似，这种相似性即使在展示完全没见过的全新图像时也会存在。
在 DeepMind 模拟的 Harlow 实验中，智能体必须将关注点移向它认为与奖励相关的目标。
实际上，DeepMind 研究团队发现 meta-RL 智能体能快速学习适应有不同规则和结构的大量任务。而且由于该循环神经网络学习了如何适应多种任务，因此它还学到了如何高效学习的通用法则。
重要的是，研究者发现大多数学习发生在循环网络中，这也支持了 DeepMind 的假设，即多巴胺在元学习过程中扮演的角色比以前认为的更重要。传统观点认为，多巴胺加强前额叶系统中的突触联系，从而强化特定的行为。在 AI 中，这一现象意味着，随着类似多巴胺的奖励信号学习到解决任务的正确方式，它们会调整神经网络中的人工突触权重。然而在一般的实验中，神经网络中的权重是固定的，这意味着权重在学习过程中不能进行调整。
想要了解更多资讯，请扫描下方二维码，关注机器学习研究会
转自：机器之心