2021年伊始，Nature杂志在同一期上刊登了两篇光学神经网络的最新进展，标题分别是：
1) Parallel convolutional processing using an integrated photonic tensor core
2) 11 TOPS photonic convolutional accelerator for optical neural networks
小豆芽这里做一个简单的介绍与比较，供大家参考。
文献1中，采用光学频率梳(optical frequency comb)和相变材料(phase change material, 以下简称PCM)这两个核心技术，实现了并行的光学张量核(photonic tensor core)。整个系统的原理图如下图所示，
（图片来自文献1）
基于氮化硅微环波导的克尔效应，产生了孤子频率梳。每个波长的强度可以通过VOA单独调节，这样实现了对输入矢量的编码。接着将这些不同频率的光波输入到含有PCM的SiN光芯片中(关于PCM的原理，可参看光芯片上的全光脉冲神经网络)。Kernel矩阵的矩阵元通过PCM进行编辑，当光经过相应的光路时，信号强度会进行不同程度的改变，从而完成标量积的运算。最终不同波长的光信号在片外进行分离(DeMux)并转换成电信号，完成矩阵的乘加计算。
整个系统的光路图如下图所示，
（图片来自文献1）
实验中共使用了16组波长，波长间隔为100GHz。每四个波长为一组，通过Mux合束，然后从同一个耦合器耦入到相同的通道中。Weight矩阵的规模最高可以达到16x16, 可以根据情况选取合适的矩阵大小。实验中，对于MNIST手写数字的识别，他们采用四个2x2的Kernel矩阵，对应4x4的矩阵。对于矩阵元的设置，通过下述的结构实现，
采用耦合长度为10um的定向耦合器，其分光比为50/50。当光经过含PCM的波导(上图中的绿色区域)，通过调节PCM材料的状态(非晶态/晶态)，可实现对光场强度的调节。
其光学耦合器采用了3D打印的聚合物结构(PWB, photonic wire bonding)，比较有意思，如下图所示，实现了对宽波导波长的高效率耦合。
整个系统对MNIST数据集单张图片的处理时间为8.1us, 预测准确率为95.3%。这一指标与电学的商用芯片比，还是存在一定的差距，如下图所示，
文献2中采用了类似的光学频率梳，但是不同波长携带的信号对应于Kernel矩阵。而将输入的矢量信号编码于时域的电信号上，通过电光调制器将电信号加载到光信号上，采用时间和频率两个维度的编码，最终完成对卷积神经网络的计算。其原理图如下图所示，
（图片来自文献2）
整个系统如下图所示，
（图片来自文献2）
采用10个3x3的Kernel矩阵，因此对应90个波长。波长间隔为48.9GHz，每个波长的强度通过wave shaper进行调节。输入的图片像素大小为500x500, 转换成250000*1的矢量，信号加载到光域之后，通过2.2km长的单模光纤，这样不同波长的信号在时域上将产出15.9ps的时间间隔，然后对同一时刻的光信号进行相加，即可得到矩阵计算的结果。下图是四个波长信号相加的示意图，横轴为时间维度，纵轴为波长维度。每一行的数据对应同一波长不同时刻的数据，将特定列的信号相加，即可得到所需的矩阵乘加计算结果。
需要注意的是，在探测器端，探测的是不同波长的强度和，并没有像文献1中，针对不同波长进行探测。
该系统的处理速率达到11TOPS, MNIST数据集的预测准确率为88%。
简单整理总结一下，
1）同一期发表相同领域的两篇进展，可见该领域的火热。科技界开始重视光学神经网络这一领域，越来越多的新鲜血液加入到这个方向的研究中，各显神通。微信讨论群里也有不少攻读这个方向的研究僧。
2）两篇文章都将目光投入了波长这个维度，利用不同波长实现对信号的并行处理，发挥光信号处理的独特优势。并且都采用了相似的光学频率梳，区别在于是一个用作输入信号的编码，一个用于Kernel矩阵元的编码。
3）文献一使用PCM进行矩阵元的编码，更强调芯片化，文献二采用的是分立光学的方案，并且使用了时间这一维度。
4）两篇进展都演示了对MNIST手写数字数据集的处理，准确率都比较高，处理速度也非常快。但是和目前的商用AI芯片比，还存在一定的差距。能否产业化，还存在很多技术难题。
5）与最早的基于MZI网络的相干方案(基于硅光芯片的深度学习)相比，这两篇报道本质上都可以算作非相干方案的范畴，侧重于对强度的调节。相干与非相干方案谁更具有优势，现在似乎还没有定论。
6）无论是哪种方案，最终都会涉及到光电信号之间的相互转换，但是似乎两篇文献都没有强调这一部分。有可能这些器件会成为整个系统的瓶颈或者短板。
文章中如果有任何错误和不严谨之处，还望大家不吝指出，欢迎大家留言讨论。也欢迎大家向我提问，小豆芽会尽自己的能力给出解释。另外，微信讨论3群还有空位，有需要的朋友可以加入进来讨论硅光技术。大家也可以添加我的个人微信photon_walker。
参考文献：
- J. Feldmann, et.al., "Parallel convolutional processing using an integrated photonic tensor core", Nature 589, 52(2021)
- X. Xu, et.al., "11 TOPS photonic convolutional accelerator for optical neural networks", Nature 589, 54(2021)
