主动神经生成编码：从感知到目标导向行为的模型

"本文探讨了主动神经生成编码在目标导向行为和感知信息处理中的应用，提出了一种无需反向传播的智能代理模型。该模型受到认知理论中的主动推理启发，能够在动态环境中进行在线学习，展示出与深度Q学习模型相竞争的控制问题解决能力。通过这种方式，文章提供了一个神经推理和学习的新途径，为理解目标导向行为的产生提供了无反向传播的方法。" 在介绍部分，文章提到了认知神经科学中的两种行为类型：目标导向行为和习惯性行为。目标导向行为需要前瞻性的规划，而习惯性行为则基于已有的情境-反应关联。目标导向行为的规划被看作是一种概率推理过程，其中智能体通过内部模型来预测可能的行动、结果和奖励。主动推理理论在此背景下提出，强调生物体通过与环境的交互来学习概率生成模型，并调整模型以解释感知证据。 主动神经生成编码（Active Neural Generative Encoding, ANGE）是针对这一理论的计算框架，它允许智能体在动态环境中学习动作驱动的生成模型，同时避免了反向传播过程中可能产生的错误。ANGE模型的智能代理即使在奖励稀疏的情况下也能进行有效的学习，这显示了无反向传播学习方法在处理不确定性和复杂环境时的潜力。 在实际应用中，ANGE模型与深度Q学习（Deep Q-Network, DQN）进行了比较，DQN是一种强化学习算法，常用于解决连续动作空间的问题。ANGE模型在几个控制问题上的表现证明了其竞争力，进一步证实了无反向传播的学习策略可以驱动目标导向的行为。 总结起来，这篇文章的核心贡献在于提出了一种新的计算框架ANGE，它结合了主动推理的概念，为理解和模拟生物体如何从感知信息中提取目标导向行为提供了新的见解。ANGE模型不依赖于反向传播，这为解决资源有限条件下的学习和决策问题开辟了新路径。此外，ANGE模型在动态环境中的性能展示，为未来研究神经网络如何实现自我调整和适应提供了理论基础。