光学数字化全息术：光学全息与机器学习

工程5（2019）363意见和评论光学数字化全息术：全光学机器学习顾敏a，方新元a，b，任浩然c，吴绮莉a澳大利亚墨尔本皇家理工大学理学院纳米光子学实验室b南京大学工程与应用科学学院固体微结构国家重点实验室，南京210093c主席在混合纳米系统，慕尼黑纳米研究所，物理学院，路德维希-马克西米利安大学，慕尼黑80539，德国由Dennis Gabor于1948年发明的全息术提供了一种重建三维（3D）物体的振幅和相位信息的方法[1]。自发明以来，全息术的概念已广泛应用于各个领域，如显微镜[2]、干涉测量[3]、超声波[4]和全息显示[5]。光学全息可分为记录和再现两个步骤传统的全息图是利用载有三维物体信息的物体光与参考光的干涉记录在感光胶片上的。此后，通过将参考光束照射在记录的全息图上，在3D图像空间数字全息术由Brown和Lohmann于1966年发明，标志着基于计算机生成全息图（CGH）的光学全息术的里程碑式突破[6]。CGH提供了一种简单的方法来获得基于各种计算算法的数字全息图的振幅和相位信息，而不是执行复杂的两步光学全息基于CGH的数字全息术最近已经通过无源[7]和有源光子器件[8]实现。计算机寻址空间光调制器（SLM）的出现开辟了动态数字全息的可能性，它能够在几微秒内快速切换全息图[9]。SLM辅助的数字全息术已应用于3D显示[10]、全息加密[11]、数字全息显微术[12]、光学数据存储[13]、光学捕获[14]等。然而，数字全息术仍然面临着一些引人注目的挑战，包括视场小、分辨率低、带宽窄、光学厚全息图和多衍射级。为了克服这些具有挑战性的问题，已经提出了高分辨率和光学薄的超表面，以便数字化CGH[15]。不幸的是，令人生畏的复杂性和高成本的制造方法，即电子束光刻和聚焦离子束光刻限制了小超颖表面全息图的实际应用光学数字化全息术（ODH）最近被提出并证明[16-新方法基于矢量德拜衍射理论[22]与逆傅立叶变换[23-25]结合实验中采用三维激光直写技术对不同光敏材料上的CGH进行了光学数字化在光敏材料上扫描紧密聚焦的飞秒激光束以打印3D纳米结构，其中不同尺寸的纳米结构对应于CGH中的多级振幅和/或相位调制。值得注意的是，超分辨率直接激光写入技术的最新发展为数字化具有极小像素的超高清CGH带来了巨大的希望[26]。另一方面，振镜扫描镜和衍射受限的二维（2D）[23，24]和3D[25]多焦点阵列已经实现了快速和并行的直接激光写入，其吞吐量增加了几个数量级。结果，具有高分辨率和大尺寸的基于ODH的全息图能够实现具有超宽视角和高空间带宽积的全息图像的浮动显示。在这种情况下，在氧化石墨烯[16，17]和光致抗蚀剂[18]中制造了分辨率为550 nm的ODH全息图，得到了具有52 °超宽视角的3D显示器[17]。 此外，通过利用拓扑绝缘体薄膜中的多次反射相位累积，制作了光学厚度为20 nm的超薄ODH全息图[27]。最近，人工智能吸引了大量的兴趣，由于其在医学图像分析[28]，分子和材料科学[29]，语音识别[30]等方面的广泛应用。可以预见，光学全息术可以为人工智能提供将光学全息术扩展到人工神经网络的开创性工作可以追溯到20世纪90年代[31];在这项工作中，每个神经元的活动都被编码为光束的振幅或强度。由于布拉格衍射的角度选择性，神经元中复杂的映射关系可以通过基于全息光栅复用然而，当时缺乏可以实现充当复杂神经元的全息设备的实用设备，阻碍了这一想法的发展最近，ODH已经使得能够制造执行人工神经网络功能的高分辨率全息设备使用衍射深度神经网络的全光学机器学习https://doi.org/10.1016/j.eng.2019.04.0022095-8099/©2019 THE COMEORS.由爱思唯尔有限公司代表中国工程院和高等教育出版社有限公司出版。这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表工程杂志主页：www.elsevier.com/locate/eng364海里 Gu et 等/工程5（2019）363Fig. 1. (a)基于多层ODH芯片的全光机器学习。(b)单片设计结合了四个不同的全息层，共同工作来执行图像分类。在这个例子中，多层芯片可以对动物图像进行分类，将蝴蝶识别为昆虫。（c）芯片的每一层由ODH组成（d）通过高分辨率3D直接激光写入制造的ODH的示意图，其使得能够将操作波长从太赫兹延伸到可见光区域以用于各种应用。网络已成功地证明在太赫兹（THz）波段进行图像分类[32]。为了实现学习功能，基于先进的深度学习算法计算设计了多层全息图，并通过3D打印进行了将3D打印[32]扩展到3D高分辨率激光打印[26，33]可以提供从THz到可见光区域的全光学机器学习芯片（图1）。①的人。ODH与人工智能的融合将在未来的基础研究和实际全息应用中带来重大突破我们设想将工作波长从太赫兹扩展到可见光频率范围将为更智能的成像器[34]，光保真（Li-Fi）[35]和安全访问等应用开辟新的然而，基于人工智能的高清晰度全息显示器的实现提出了一项艰巨的计算任务，该任务大大超出了当前的能力;因此，必须开发新的计算算法来减轻这一挑战。因此，我们开始了一段激动人心的旅程，探索新的基于人工智能的ODH。或者，光学机器学习可以在芯片上纳米光子电路上实现[36]。 这两种方法的结合可能为神经技术和工程学提供一个全新的平台，用于大脑探索，这将有利于开发治疗精神疾病的新医疗程序-目前全球每年需要大约1万亿美元，中国需要900亿美元。确认Min Gu 感 谢 澳 大 利 亚 研 究 委 员 会 （ ARC ） 通 过 发 现 项 目（DP180102402）提供的支持。Xinyan Fang承认来自奖学金的支持国家留学基金委（201706190189）。任浩然感谢亚历山大·冯·洪堡基金会洪堡研究奖学金的资助。引用[1] 嘉宝D 一种新的微观原理。 Nature 1948;161（4098）：777.[2] 嘉 宝 D 通 过 重 构 波 前 的 显 微 术 。 Proc R Soc Lond A MathPhys Sci 1949;197（1051）：454-87.[3] 鲍威尔RL，斯特森KA。用波前重建进行干涉振动分析。J Opt Soc Am 1965;55（12）：1593-8.[4] BaumG，Stroke GW。光学全息三维超声检查。 Science 1975;189（4207）：994-5.[5] Leith EN，Upatnieks J.漫射照明和三维物体的波前重建。J Opt Soc Am 1964;54（11）：1295-301.[6] Brown BR ， Lohmann AW. 使用 二进 制掩 码的复 杂空 间滤 波。 ApplOpt 1966;5（6）：967-9.[7] 黄文 ， 张 文 ， 张 文 ， 等. 电 子 涡 旋 束的 产 生 和 应 用 . 北 京 ： 科 学 出版 社 ， 1998.Nature2010;467（7313）：301-4.[8] Zhang Z，You Z，Chu D.硅基纯相液晶（LCOS）器件的基本原理。Light SciAppl2014;3：e213.[9] 贾维迪B，郭CJ。在傅立叶平面上使用二进制空间光调制器的联合变换图像相关。Appl Opt 1988;27（4）：663-5.[10] 唐 宁 E ， 海 塞 林 克 L ， 罗 尔 斯 顿 J ， 麦 克 法 兰 R 。 一 种 三 色 固 态 三 维 显 示 器Science1996;273（5279）：1185-9.[11] 李军，卡敏S，郑G，纽布雷奇F，张S，刘N.动态全息与光学信息加密的可寻址元表面。Sci Adv 2018;4（6）：eaar 6768。[12] 罗森J，布鲁克G.非扫描不动荧光三维全息显微术。Nat Photonics2008;2（3）：190-5.[13] Heanue JF ， Bashanie MC ， Hesselink L. 数 字 数 据 的 体 全 息 存 储 和 检 索 。Science1994;265（5173）：749-52.[14] 格里尔光学操控的革命 Nature 2003;424（6950）：810-6.[15] Ni X ， Kildishev AV ， Shalaev VM. 可 见 光 超 颖 表 面 全 息 图 。 NatCommun2013;4：2807.[16] 李X，张Q，陈X，顾M. 利用双光子还原萤光氧化石墨烯进行巨折射率调变以应用于多模光学记录。SciRep 2013;3：2819.[17] Li X ， Ren H ， Chen X ， Liu J ， Li Q ， Li C ， et al. Atherallyphotoreducedgrapheneoxides for three-dimensional holographic images. Nat Commun2015;6 ：6984.M. Gu等人 /工程5（2019）363-365365[18] 李新，刘健，曹玲，王永，金刚，顾明。用于3D微光束整形的光控光纳米等离子体调制器。 Adv Opt Mater 2016;4（1）：70-5.[19] 王S，欧阳X，冯Z，曹Y，顾M，李X.激光还原氧化石墨烯介导的衍射光子学应用。光电子进展2018;1（2）：170002.[20] Zhang Q，Yu H，Barbiero M，Wang B，Gu M.纳米光子学实现的人工神经网络。《光科学应用》出版中。[21] 张强，顾明，张强. 用于光学数据存储的纳米材料 Nat Rev Mater2016;1：16070。[22] 古米先进的光学成像理论。 Berlin：Springer;2000.[23] 林H，贾B，顾M.动态生成德拜衍射限制的多焦点阵列直接激光打印纳米纤维。 OptLett 2011;36（3）：406-8.[24] 林宏，李晓. 圆柱偏振多焦点阵列的平行多光子显微术。Opt Lett2013;38（18）：3627-30。[25] 林宏，李新，顾明.用德拜衍射限制和无像差的体积多焦点阵列进行三维平行记录。Opt Lett2014;39（6）：1621-4.[26] GanZ，Cao Y，Evans RA，Gu M. 特征尺寸为9 nm的三维深亚衍射光束光刻。Nat Commun 2013;4：2061.[27] Yue Z，Xue G，Liu J，Wang Y，Gu M.基于拓扑绝缘体材料的纳米全息图。NatCommun2017;8：15354.[28] Litjens G，Kooi T，Bejnordi BE，Setio AAA，Ciompi F，Ghafoorian M，et al.Asurvey on deep learning in medical image analysis. Med Image Anal2017;42：60-88.[29] 巴特勒KT，戴维斯DW，卡特赖特H，伊萨耶夫O，沃尔什A。分子和材料科学的机器学习。Nature2018;559（7715）：547-55.[30] Hinton G ， Deng L ， Yu D ， Dahl GE ， Mohamed A ， Jaitly N ， et al. Deepneuralnetworks for acoustic modeling in speech recognition ：the shared viewsoffour research groups. IEEE Signal Process Mag 2012;29（6）：82-97.[31] Psaltis D，Brady D，Gu XG，Lin S.人工神经网络中的全息术。Nature 1990;343（6256）：325[32] Lin X，Rivenson Y，Yardimci NT，Veli M，Luo Y，Jarrahi M等人，使用衍射深度神经网络的全光学机器学习。Science 2018;361（6406）：1004-8.[33] 戈伊·E，古·M。激光打印纳米成像仪以执行完整的光学机器学习[演示文稿]。在：激光和电光/欧洲会议; 2019年6月23日[34] Li L ， Ruan H ， Liu C ， Li Y ， Shuang Y ， Alfred A ， et al. Machine-learningreprogrammable metasurface imager. Nat Commun2019;10（1）：1082.[35] 张文， 王永，陈 春，王文 ，陈文。 什么是LiFi ？J Lightwave Technol 2015;34（6）：1533-44.[36] Shen Y，Harris NC，Skirlo S，Prabhu M，Baehr-Jones T，Hochberg M，et al.Deeplearning with coherent nanophotonic circuits. Nat Photonics2017;11：441-6.