本文主要介绍了近期发表在PNAS上的论文“Understanding the computation of time using neural network models”里面的主要工作。原文作者是青岛大学的Zedong Bi和香港浸会大学的Changsong Zhou。
本文训练循环神经网络模型做各种认知任务，对人工神经元的时序活动进行分析，从而探索脑内时间处理的神经机制及其基本工作原理，并用充分的仿真结果加以证明，是AI与brain相结合的研究的很好一种探索。
摘要
为了在这个瞬息万变的世界中获得最大的未来回报，动物必须能够发现刺激的时间结构，然后在正确的时间预测或采取行动。动物如何在工作记忆（working memory）中感知、维持和使用从几百毫秒到几秒不等的时间间隔？时间信息是如何与空间信息以及决策同时处理的？为什么在不需要时间信息的任务中仍然会有强烈的神经时间信号？对于这些问题，我们仍然缺乏在神经机制层面上系统的理解。在这里，作者使用循环神经网络模型（recurrent neural network models）的监督训练（supervised training）解决了这些问题。
作者发现：
- 神经网络通过沿定型轨迹的状态演化（state evolution）来感知经过的时间(elapsed time)，并在工作记忆中维持时间间隔，使间隔调谐神经元的放电速率单调增加或降低，并通过缩放状态演化速度来比较或产生时间间隔。
- 时间和非时间信息在彼此正交的子空间中进行编码，并且在不同的非时间信息下具有时间的状态轨迹是准平行且同构（quasiparallel and isomorphic）的。这样的编码几何结构促进了彼此之间的时间和非时间信息的解码通用性。
- 网络结构展示了多个前馈序列（feedforward sequences），它们相互刺激或抑制，这取决于它们对非时间信息的偏好是否相似。我们确定了促进强烈的时间信号在不需要时间信号的任务中构成的四个因素（temporal complexity of task, overlap of sensory input, multitasking and timing anticipation）。
作者的工作揭示了时间处理的基本计算原理，并且得到了仿真实验的验证支持。
本文研究介绍
首先来看Fig1中所介绍的文章中建立的的实验模型。其中：
Fig1.A是一个all-to-all连接的256个中间单元的RNN网络，其中有两个输入单元，一个输出单元。
Fig1.B介绍了只与时间相关的实验。上图中，实验一共分成了三个时间段。在训练过程中，第一个时间段表示的是感知一段时间T，其中T是在400ms-1400ms均匀分布中采样得到的值。测试过程中的T的采样是在600ms~1200ms均匀分布中采样的。感知过程结束后，会有一段保持的时间，也就是第二段Delay epoch中的时间。其中时间的选择采样是在600ms~1200ms均匀分布中采样的。第三段是模拟时间间隔是如何在工作记忆中使用的。下图中，主要介绍了时间段的比较。该过程有两个输入，分别是刺激1和刺激2所持续的时间段，输出表征了哪个时间段持续的时间更长。
Fig1.C是时间结合了不同的信息的结果，其中第一个是结合了空间信息，第二个结合了决策（decision making）。结合空间信息的过程一共有三个输入，与前面的过程不同的是，它的第一个输入是一条线，线分成了32个单元，并从32个单元中取了中间一段作为空间信号。与决策相关的过程一共有两个信号，将两个信号平均之后分别加减c得到两个强度（strength）。输出也是与空间信息结合的相似，输出了两个标量用于比较哪个强度更强。
Fig1.D是一个与时间无关的频率比较任务。该任务研究了为什么在与时间无关的任务中会出现很大的时间相关方差，从而了解了有助于大脑中时间信号形成的因素。其中该任务会输入两段相同时长的频率f1和f2并在输出中比较它们的大小。
Fig1. 模型的建立
在间隔产生（interval production）任务中，网络将感知前两个脉冲之间的间隔T，并维持在一段可变的延迟时期（delay epoch）内，然后在提示go发出后在时间T时产生动作。如Fig2所示。
Fig2.A中不同颜色的线代表不同的时间间隔（time interval），该图表示训练后的神经元会产生强烈的波动。
Fig2.B中展示了神经元在感知活动周期（perception epoch）中在由前三个主成分组合成的空间中的活动。其中星号和圆圈分别代表感知的起点和终点。网络在不同的仿真试验（simulation trials）中从几乎相同的起始状态沿着几乎相同的轨迹开始演化直至不同的T时间后第二个脉冲的产生。
Fig2.C和Fig2.D展示的图都说明了在第二个脉冲产生之前，神经元的活动都是高度重合的。
从行为上讲，如果在第一个脉冲前不久出现干扰脉冲，则人们对两个脉冲之间的时间间隔的感知就会受到损害。前人的感知也证明了该结果，即间隔的感知（interval perception）需要定型的轨迹（stereotypical trajectory）。
随后作者研究了在延迟时期如何保持前两个脉冲之间的时间间隔T的信息。
Fig2.E展示了在延迟时期神经元在前三个主成分空间中的活动，其中不同的颜色代表不同的运动速度。
Fig2.F展示了当T=600ms（蓝色）和1200ms（红色）时轨迹速度和时间之间的关系。其中M标记了延迟时期的末端。
Fig2.E和Fig2.F都表明了在延迟时期，轨迹的速度随时间的增加会降低。
Fig2.G表明在延迟时期末端流形M时，前5个主成分的方差占比。其中第一个主成分占了90%。
Fig2.H展示了在延迟时期末端流形M时，第一个主成分的位置状态投影。其中灰线是16种训练配置下的结果，蓝线是平均值。
Fig2.I展示了在延迟时期中，两条相邻轨迹（trajectory）之间的距离与时间之间的函数，延迟时期开始的距离被归一化为1。可以看到，两个相邻轨迹之间的距离几乎不随时间变化。
Fig2.J这里分成3类神经元类别（单调减少MoD、单调增长Mol、非单调non-M）随时间放电的例子，来更好的理解神经元是如何将时间T编码到流形M当中的。
Fig2.K是3类神经元的占比。作者发现大部分神经元都属于MoD或者MoI，non-M的神经元只占了一小部分。
Fig2.L表明在产生时期(production epoch)，不同的T值的轨迹趋于同构。颜色表示产生的时间间隔，星和圈分别代表起始和终止点。
Fig2.M上方两个图表示产生时期中两个示例神经元的放电曲线。下方两个图表示根据产生的时间间隔进行放缩的神经元放电曲线。可以看出神经元的活动曲线是相似的。
Fig2.N中的横坐标表示放缩指数（SI，scaling index）（蓝线）或是方差比重（cum. var. explained）（橙线）是在前n个放缩成分（scaling component）组成的子空间中。作者发现，具有较高的SI的子空间占据了轨迹总方差的约40%。
Fig2.O表示前三个SC的子空间中的轨迹速度与时间间隔之间的关系。可以看出前三个SC的子空间中轨迹的平均速度与T成反比。
Fig2.间隔产生任务（The interval production task）
在时间空间再产生任务（t-sR task）中，主要有以下结果（Fig3）：
Fig3.A表示不同空间位置标准差为2的高斯凸点（Gaussian bump）。
Fig3.B表示在感知期间的4个神经元的放电曲线。
Fig3.C表示在感知期间前两个主成分子空间内的轨迹，其中星星表示感知期开始的400ms过渡期之后的位置，圆点表示感知期的结束点。虚线表示该子空间中第一时序流主成分和第一空间主成分的投影空间。
Fig3.D表示在第一时序流主成分与第一空间主成分间的角度分布，从图中发现角度分布在90°左右，显著大于45°。这表明时序流与空间信息是在几乎正交的子空间中进行编码。
Fig3.E是32种训练配置下的平均空间信息、时序流及其混合的方差比率。图中表明混合方差只占总方差的一小部分，小于时序流或空间信息的方差。
Fig3.F主要描述角度和混合误差的示意图。混合误差为0的一个充分条件是不同的等间距或等时序流可以通过平移运动相互关联。右上图是两个成分正交而混合方差不为0的情况。左上图则是两个成分非正交而混合方差为0的情况。正交性和小的混合方差表明等间距和等时序流交织成矩形的网格，如Fig3.F下图所示。
Fig3.G表明了第一时间间隔主成分（I-PC1）和第一空间间隔主成分（S-PC1）在流形M中的角度分布。可以看出第一时间间隔主成分与第一空间主成分基本上是正交的，两个主成分的角度大部分分布在90°。
Fig3.H表示时间间隔、空间以及空间加时间的方差在延迟期末端中的分别占比。从图中可以看到它们之间的混合方差很小。
Fig3.I和Fig3.J是研究在产生时期（production epoch），时序流信息t、时间间隔信息T、空间信息x 三者之间的关系。
Fig3.I发现第一空间主成分与第一时序流主成分和第一时间间隔主成分正交，但第一时序流主成分和第一时间时间主成分不正交。
Fig3.J则表示空间信息、时序流、时间区间以及它们混合的方差比率。
Fig3. 时间空间再产生任务（t-SR task）
Fig4主要展示了解码通用性的一些结果：
Fig4.A是两个Decoder的示意图，其中绿线是测试，黄线是训练。第一种Decoder是使绿线上f0到PC1上的投影和训练时f0到PC1上的投影差值最小。第二种decoder是把绿线先移到虚线的位置，求f0到质点（mass center）的距离和训练时f0到质点的距离的差值最小。
Fig4.B介绍了解码器两种错误的情况。第一种两个质点是没有对齐的，第二种是训练集和测试集的长度是不一致的。
Fig4.C介绍了第一个Decoder解码误差与角度以及混合方差之间的关系。结果表明它和角度以及混合方差都有关系。其中，解码误差与角度成反比，与混合方差成正比。
Fig4.E介绍了第二个Decoder的解码误差与角度以及混合方差之间的关系。第二个Decoder的误差对角度并不敏感，对混合方差仍比较敏感。
Fig4.D和Fig4.F分别是对上面两种Decoder的解析图。
Fig4.G是解码误差与空间间隔之间的关系，Decoder1是实线，Decoder2是虚线。两者的误差都随着空间间隔的变大而变大。
Fig4. 解码通用性
Fig5主要介绍了时序活动以及网络结构：
Fig5.A是间隔产生（interval production）任务在感知时期中神经元活动的根据峰值激活时间排序的例子。
Fig5.B中的x轴是A图中峰值激活时间排序序列的差，y轴是神经元连接的权重。如果y轴为正值，则表示 输出的神经元 比 输入的神经元放电时间来的更晚，否则更早。峰值放电时间接近且具有顺序关系的两个神经元之间的连接权重是很大的。
Fig5.C中y轴与Fig5.B相似，都是放电顺序的差，x轴是表示神经元对非时间信息的偏好程度。|x1-x2|越大代表神经元处理的是非时间信号，越小越能代表神经元处理的是时间信息。如果神经元是更偏向空间信息的，那它包含的时间信息就会更少。 FIg5.D和Fig5.B是大致相同的，因为这是一个判断的任务，所以画了两条线。其中选择正确时是蓝线，选择错误时是黄线。这部分是在感知时期做的结果，在产生时期做的结果也是大致相同。
Fig5.时序活动以及网络结构
Fig6主要介绍了非时间任务中为什么会出现时间信号：
Fig6.A主要介绍了实验的设计。
Fig6.B用一个非时间任务和加入了时间变量的非时间任务进行对比，观察强的时间信号在哪个任务中。条形图显示了总信号方差如何在时间信息，非时间信息以及SR，t-SR，DM和t-DM中的时间和非时间信息无法解释的剩余方差之间分配。
Fig6.C表示任务时间上的复杂度。可以看出非时间任务中的时间信号解释了总方差的一部分。每个点对应于训练配置中的值。
Fig6.D假设响应两个刺激x1和x2的感觉神经元的种群状态分别为s1和s2。如果s1和s2高度重叠，则响应x1和x2的递归网络的演化轨迹应彼此接近。在这种情况下，由刺激差异引起的轨迹的方差很小，时间相关方差解释了总方差的很大一部分。为了检验这个想法，作者加宽了t-SR，SR，COMP和CD任务中感觉神经元的高斯调谐曲线，发现随时间变化的方差增加了。
Fig6.E表示了当网络仅在SR或DM上训练（蓝色）或同时在t-SR或t-DM上训练（绿色）时，SR或DM中随时间变化的方差占比。作者发现，在同样针对时间任务进行训练的网络中，Pt（SR）和Pt（DM）都比仅针对非时间任务进行训练的网络要大。
Fig6.F表示了固定延迟（蓝色）或可变延迟（绿色）任务中随时间变化的方差占比。作者发现固定延迟任务中的时间信号要比可变延迟任务中的时间信号更强。
Fig6.G中的左图是感觉神经元（蓝点）的反馈连接（虚线箭头）的示意图，右图是表示感觉神经元的触发阈值随着反馈的减小而减小，直到零。作者发现添加反馈机制会增加时间相关方差的比例。
Fig6.H表示了时间依赖方差在之前（蓝色）和之后（绿色）向感觉神经元传输反馈的占比。
Fig6.I表示了在SR的延迟周期中，反馈随时间变化的函数。作者发现到延迟结束前，反馈随时间的增加而增加。
Fig6.非时间任务中的时间信号
总结
总的来说，神经网络通过定型动态轨迹感知时间间隔，接着维持时间间隔，并通过缩放变化速度来执行IP和IC。在具有小的混合方差的正交子空间中对时间和非时间信息进行编码，以助于解码的泛化。训练后的网络结构有多个前馈序列，它们相互刺激或抑制，这取决于它们对非时空信息的偏好是否相似。文章确定了四个可能有助于在非时间任务中形成时间信号因素（temporal comlexity of task, overlap of sensory input, multitasking and timing anticipation）。
NCC lab想说...
这篇文章最大的亮点是它让RNN实现任务并通过研究artificial neurons的信号来类比biological neurons工作机制的想法，是很好的AI与brain结合的一次尝试。
同时本文中用到的准平行且同构（quasiparallel and isomorphic）的几何理论很少用于neuroscience方面的研究，新颖独特，是跨学科的一次很好的碰撞。
下面NCC lab针对本篇文章，讨论了3个在未来可以尝试的工作：
1.本篇文章考虑了不同的任务对时间编码的影响，但没有考虑对其它编码的影响。未来可以考虑通过设计不同的任务，探索对空间编码等方面的影响。
2.本文仅用到了RNN的仿真实验，人工神经元的结果并没有与真实神经元发放进行匹配和对比。后续还可以考虑利用真实的神经元信号做一些实验。
3.由于文章用RNN仅在较为简单任务上做验证，并没有在更复杂的任务上做验证，且文章中用的RNN的结构非常简单，因此更复杂的任务中其他结构的神经网络的研究和探索，仍是未来可以致力的方向。
