最小自我和叙事自我的核算： 使用预测编码的机器人实验

解释最小自我和叙事自我：使用预测编码的机器人实验谷纯1冲绳科学技术研究所oist.jp认知神经机器人研究所抽象的。本文提出，心灵包括涌现的现象，出现通过复杂的，往往是冲突的相互作用之间的自上而下的intentional过程参与积极主动地作用于外部世界，自下而上的识别过程参与推断可能的原因所产生的感知现实。这种观点已经通过一系列神经机器人实验进行了测试，这些实验采用了在“深度”递归神经网络（RNN）模型中实现的预测编码原理。本文通过对合成神经机器人实验的分析，阐明了最小自我和叙事自我的现象学解释。关键词：预测编码，机器人，RNN，自我，意识。1介绍如果我们假设，自上而下的意图和自下而上的对客观世界的感知现实的认知之间的相互作用对于具身心灵的发展至关重要，那么什么样的模型可以最好地解释这种动态的相互作用？发展心理学家Gibson和Pick [1]认为，学习一个动作不仅仅是学习一个运动指令序列，还包括学习在与环境的有意互动中提取的可能的感知结构。这种观点可以通过预测编码来解释[2]。在预测编码框架中，学习过程涉及通过预测误差最小化来提取动作意图与所得感知现实之间的因果结构。已经提出，大脑利用特定的宏观约束，例如时间尺度差异和局部区域之间的连接性，以向下因果关系发展组合/分解机制[3];因此可以预期，在具有这种空间-时间约束的神经网络模型中实现的预测编码框架可以以合成方式从累积的感觉-运动经验中提取隐藏的因果结构[4]。我们的小组根据上述考虑进行了神经机器人实验[5-7]。目前对这些机器人实验的回顾表明，自我和意识的现象学可以是最好的2自组织现象是通过自上而下的有意过程和自下而上的感知现实之间错综复杂的相互作用而出现的。2神经机器人实验Yamashita和Tani [8]提出了一种预测编码递归神经网络模型，称为多时间尺度RNN（MTRNN），它由一堆连续时间RNN（CTRNN）组成，每个RNN分配有不同的时间尺度。该模型已被扩展到动态视觉处理预测编码模型，其特征在于其多尺度属性，在时间和空间维度上的局部连接范围[6]。此外，Hwang et al.[7]将该视觉处理预测编码模型与MTRNN相结合，进行人机交互实验。下文提供了本研究的综述。2.1P-VMDNN模型图1说明了集成模型，预测视觉运动动态神经网络（P-VMDNN）[7]，或使用模拟人形机器人和部分信息流的实验设置。P-VMDNN由视觉通路、本体感受（运动）通路和关联层组成。每个通路由CTRNN的堆叠组成，其中较低层中的CTRNN包括具有较小时间常数的神经单元，而较高层中的CTRNN具有较大时间常数。除了这个时间尺度的约束，视觉路径还利用空间尺度的约束方面的连接范围。与卷积神经网络一样，视网膜定位分配的神经单元仅在较低层中局部连接，而较高层中的那些单元在同一层中完全连接。关联层还包括针对每个单元具有较大时间常数的CTRNN。整个网络就像一个生成模型。编码当前意图的最高关联层中的当前内部状态通过自上而下的连接性动态地驱动下一层中的内部状态。驱动器通过层向下传播到视觉和本体感受路径两者，并且最终分别在视觉路径和本体感受路径中的最低层中生成下一时间步长的像素模式和关节角度的预测。P-VMDNN的训练以端到端的监督方式进行。在机器人辅导阶段，对由视频帧序列和臂关节轨迹组成的一组视觉本体感受序列进行采样。这种训练使网络能够通过适应整个网络的连接权重来重新生成示例序列模式。这使用时间反向传播（BPTT）算法[9]来执行。多序列模式的实际训练使用网络的非线性动力学的初始敏感性特性。更具体地，通过BPTT的训练推断所有层中的初始内部状态、每个序列以及所有连接性权重的最佳值。在训练收敛之后，可以通过设置初始训练序列的值来利用自顶向下预测重新生成3内部状态与通过训练针对该序列推断的那些内部状态进行比较。通过这种方式，可以说初始状态表示用于生成对应序列的意图。然后，可以通过根据初始状态推断相应的意图来进行学习后的特定序列模式的识别，所述初始状态可以重建序列模式，同时保持连接性权重为固定的图1. P-VMDNN模型（a），模拟的iCub模仿视觉感知的人类运动模式（b），以及合成运动生成的潜在机制（c）。2.2学习模仿构图动作模式在图中所示的模仿学习的当前任务中。在图1a中，如下进行模拟机器人的辅导。三个人类志愿者扮演模仿者的角色。志愿者被指示在9个不同的循环双臂运动模式作为运动原语。然后，每个主体生成9种不同的方式，从9个预定义的运动基元中任意选择3个运动基元。所有27个3-基元串联模式被每个受试者证明。当机器人视觉上感知由受试者展示的每个串联模式时，导师通过同步地模仿受试者的运动模式来引导机器人的双臂的运动轨迹。以这种方式，对27个视觉本体感受序列进行采样以用于训练网络。进行了5万次网络培训。图2示出了在训练之后生成模拟移动模式的一些示例。4图2. 不同连接的运动基元序列的模拟生成。三个串联的动作产生的哑剧般的行为，同时通过提供相应的初始内部状态值通过训练获得的视觉图像。每一列示出了由不同受试者展示的运动模式的模仿，其中上面的标签指示受试者ID和3基元级联模式，其中数字指示对应的基元。对于每一列，顶行、中间行和底行分别示出了PCA之后视觉高层、视觉下层和本体感受下层中的神经活动。循环运动基元的每个串联可以在较低的视觉和本体感受层中看到。然而，这些序列在较高层中用更缓慢变化的简档抽象地表示。对网络活动的进一步分析集中在对生成成分运动的内在机制的理解上（图11）。1c）。缓慢变化的轮廓与较高层中的不同初始状态不同地发展（如“计划-1和计划-2”所示（图1c））。另一方面，在视觉和本体感受路径的两个较低层中，一组运动基元自组织为极限环吸引子（三个运动基元示出（图1B））。1c，中间）。最终，较高层通过以特定方式缓慢变化的分叉参数来操纵较低层。这导致相应的顺序过渡从一个极限环到另一个。因此，可以使用非线性动态特性（包括初始敏感性、分叉和自组织）以组合但流动的方式生成运动模式。2.3在线推断他人本小节描述了一个涉及在同步模仿期间对人类受试者的意图进行在线推断的实验[6]。在该实验中，仅使用由6层组成的视觉通路。该网络经过训练，可以直观地5感知的运动模式，由5个受试者产生6个非级联运动原始模式。学习后，网络任务是继续预测人类受试者展示的下一步视觉图像，同时他们偶尔将运动模式从一种训练模式切换到另一种。为了跟踪这种突然切换，使用了一种称为在线误差回归的方案[10]。在该方案中，分配用于前一窗口的特定步长。当生成预测误差时，为了在误差最小化的方向上更新初始内部状态，误差通过时间反向传播到前一窗口的开始。这对应于对运动示威者意图的在线推断。图3示出了在线推断的实例，其中从上到下示出了目标视觉图像及其在PCA之后的预测、预测误差、较高层和较低层中的内部状态。目标中的运动模式在步骤290附近被切换，这伴随着误差的急剧上升。然而，由于预测输出开始跟随切换，因此误差在10步内减小。这种恢复是伴随着在较高层的内部状态的转变。通过误差最小化实现的这种立即转变解释了在线推断他人意图的可能机制，以及感知流的分割。图3. 在线推断意图。3讨论：从综合在这里，我讨论了这种合成机器人研究与自我和意识的现象学理解的可能对应关系。第二个实验表明，其他人的意图的变化，可以推断通过在前一个窗口的误差回归。当一个机器人自己的预测进行得很好，与另一个机器人充分同步时，一切都顺利而自动地进行，自我和他人之间的区别被淹没在连贯耦合的动力学中。然而，当由于另一方的突然意图改变而导致同步中断时，机器人应该意识到两者之间的差距。这需要有意识，因为推断新改变的意向状态的过程需要相当大的努力来最小化预测误差。在这里，自我，通过间隙定义，可以有意识地代表最小的自我[11，12]在一个前反思的形式。Gallagher [11]认为，最小自我应该通过考虑精神分裂症控制妄想病理学背后可能的神经机制来产生能动感。我们先前对精神分裂症的合成建模的研究[13]表明，所提出的预测编码模型可以支持这一解释。是6结果表明，这种疾病可能引起的从更高水平到感觉运动水平的连接的轻微扰动可以产生虚构错误和由此导致的意图状态的适应不良。这可能会产生虚构代理的感觉。接下来，让我们考虑以反思的形式对叙事自我的描述。第一个实验表明，机器人能够提取组成结构的经验，连续的感知流通过学习迭代与其他的互动。这个过程包括连续的视觉本体感受流分割成一组原语，伴随着最小的自我意识。这些原语可以稍后由较高层重用，以通过重新组合它们来考虑不同上下文中的不同体验。以这种方式在更高层次中重新表现的经验不再是纯粹的经验，而是客观化的经验。最后，我们看到一个叙事自我的发展，它可以客观地代表自己的经验，作为情节。引用1. Gibson，E.J.，&Pick，A.D.（2000）. 知觉学习与发展的生态学方法。北京：北京大学出版社.2. 拉奥河P. &Ballard，D.小时（1999）。视觉皮层中的预测编码：一些超经典感受场效应的功能解释。Nature Neuroscience，2（1），79.3. Bassett，D.S. Gazzaniga，M.美国（2011年）。理解人类大脑的复杂性Trends in cognitive sciences，15（5），2004. Kiebel，S. J. Daunizeau，J.，&弗里斯顿湾J.（2008）。时间尺度和大脑的层次结构。PLoS computational biology，4（11），e1000209.5. Tani，J.（2016）. 探索机器人思维：作为自组织动态现象的行为、符号和意识.北京：北京大学出版社.6. Choi，M.，&Tani，J.（2018）.用于动态视觉处理的预测编码：在多时空尺度RNN模型中的功能层次的发展。Neural Computa- tion，30，2377. Hwang，J.，Kim，J.，Ahmadi，A.，Choi，M.，&Tani，J.（2018）.通过使用预测编码框架来处理机器人与人之间的模仿交互中的大规模空间-时间模式。IEEE Trans.on SMC：Systems，（99），1-14.8. Yamashita，Y.，&Tani，J.（2008年）。多时间尺度神经网络模型中功能层次的出现：人形机器人实验PLoS Computational Biology，Vol.4，Issue.11，e1000220.9. Rumelhart，D.E.，辛顿通用电气&Williams，R.J.（1986）。通过误差传播学习内部表示。并行分布式处理：探索认知的微观结构。马萨诸塞州剑桥：北京：清华大学出版社.10. Tani，J.，Ito，M.，&Sugita，Y.（2004）。镜像系统中分布式表示的多行为图式的自组织：使用RNNPB的机器人实验的评论。Neural Networks，17（8-9），1273-1289.11. Gallagher ， S. （2000 年 ）。 自 我的 哲学 概 念： 对 认知 科 学的 启示 。Trends inCognitive Sciences，4（1），14-21.12. Tani，J.（1998）.从动力系统的角度解释“自我”：建构主义方法。Journal ofConsciousness Studies，5（5-6），516-542.13. Yamashita，Y. ，&Tani，J.（2012）. 精神分裂症中自发性预测错误的产生。PLoSOne，7（5），e37843.