客户成果丨南京大学《Advanced Materials》:瞳孔对光反射激发了自适应脉冲视觉神经元

 

视觉系统承载着人80%以上的信息输入,其高效、自适应的光感知能力一直是机器视觉领域追求的目标。然而,现有的人工视觉系统多采用振幅调制信号,依赖被动栅电压调控扩大感知范围,不仅生物仿生程度低,且能耗高、速度慢、适应性差。对此,南京大学电子科学与工程学院的万昌锦教授团队受生物瞳孔光反射Pupillary Light Reflex, PLR)机制启发,成功研制出一种自适应脉冲视觉神经元SASVN,该成果以A Pupillary Light Reflex Inspired Self-Adaptive Spiking Visual Neuron为题,发表于国际顶级期刊Advanced Materials上。

 

 

研究团队提出一种受瞳孔光反射启发的自适应脉冲式视觉神经元,具有更广的感知范围和主动视觉适应能力。该装置通过光致变色膜的主动光学调控、基IGCdO晶体管的光电转换以及基TaOX忆阻器的脉冲编码技术,功能上模拟了人眼的分层视觉适应过程。该配置在极端光照条件下0.2 μW/cm21.64 W/cm2)仍保160 dB的感知范围和主动视觉适应能力,性能超越以往人工视觉神经元。通过与脉冲神经网络集成验证了主动视觉适应的优势,在分类任务中实86%的识别准确率,较非自适应同类产品提66%。这种仿生设计将赋予机器视觉系统更高水平的生物保真度。

 

1.受瞳孔光反射启发的自适应脉冲视觉神经元a) 瞳孔光反射机制及其在视觉编码中的重要作用b) 光瞳反射对生物编码频率的限制及视觉适应范围的扩展c) 自适应脉冲视觉神经元结构与光学成像,以DMTMM薄膜的光致变色原理。区III分别对应基IGCdO的晶体管和基TaOX的忆阻器d) c中器I区的横截面图像e) 瞳孔光反射功能为增强仿生视觉系统的视觉性能提供了极具潜力的解决方案。

 

仿生设计:分层视觉适应机制

借鉴人眼瞳孔随光强自动收/扩张的神经调节机制,在器件顶部集DMTMM光致变色薄膜。该薄膜在强光下自动变暗(透光率降4%),弱光下恢复高透光(80%),智能瞳一样动态调节入射光强,适应速度快100 mW cm-2, < 2 s),无需外部控制与能耗。光电转换层采IGCdO晶体管,具备高迁移率21.34 cm2V-1s-1)和低亚阈值摆幅71.53 mV/dec),在可见光与红外区域均表现出优异光响应TaOX忆阻器则将光电流转化为脉冲频率信号,实现事件驱动的稀疏脉冲编码,高度模拟视网膜神经节细胞的信息处理方式。

 

2. IGCdO基晶体管TaOX基忆阻器1T1M结构中的特性研究a) 室温IGCd氧化物基晶体管在正偏压应力PBS)下的转移特性曲线b ) IGCdO氧化物基晶体管在不同强655 nm光源下的光响应特性c) IGCdO氧化物沟道层的光学吸收光谱200-2000 nmd) TaOX基忆阻器1 μA合规电流下连200次循环的电阻切换RS)曲线e) TaOX基忆阻器的脉冲编码机制f) TaOX基忆阻器10秒持续电流输入下0.1110100 nA电流下的脉冲输出特性。

性能突破:极端光强下的稳定感知

 

该器件0.2 μW cm-21.64 W cm-2(跨6个数量级)的光强范围内均保持稳定感知,动态范围高160 dB,优于此前所有人工视觉神经元。1.64 W cm-2的极端强光下,脉冲编码频率仍可维持800 Hz,避免了传统传感器因光子溢出或热噪声导致的细节丢失。

 

3.自适应脉冲视觉神经元的特性分析a) DMTMM光致变色膜的透射-光强度关系曲线b) 1T1M结构中脉冲编码频率对不同光照强度的动态响应c) /DMTM1T1M结构光编码频率对比d) e)分别1T1M结构IGCdO感光细胞在/DMTM膜时的操作光强度范围f) 生物启发式自适应视觉系统在操作光强度范围与动态范围的对比分析。

 

系统验证:脉冲神经网络实86%识别准确率

为进一步验证仿生优势,团队SASVN作为输入层构建脉冲神经网络SNN),在极亮背景下进CIFAR-10图像分类任务。结果表明:自适应系统识别准确率86%,非自适应系统20%。准确率提升超66%,凸显出仿生自适应机制在复杂光环境下的强大优势。

 

4.自适应脉冲视觉神经元与脉冲神经网络SNN)的集成应用a) b) 展示了自适应与非自适应脉冲视觉神经元在感知不同光照环境时的对比效果c) 正常光/过量光照条件下,自适/非自适应神经元的光-脉冲频率响应曲线d) 卷积脉冲神经网络CSNN)模型中的多级残差块结构e) 全连接层输出10个分类结果,其y0y9代表不同类别f) 100个训练周期后,自适应与非自适应脉冲神经元的准确率对比g) 自适应脉冲神经元分类结果的混淆矩阵分析。

 

应用前景:为机器视觉赋生物智

该工作通过单一器件实现多级视觉功能集成,避免了传统系统中传感、存储与计算单元分离带来的结构冗余、能耗高与延迟问题,为自动驾驶、嵌入式智能体等领域的机器视觉系统提供了更高效、更仿生的硬件解决方案。

 

作者信息:南京大学电子科学与工程学院博士研究生乔乐生、龙昊天为共同第一作者,万昌锦教授、万青教授和朱力教授为通讯作者。

 

该工作使用TuoTuo TechnologyUV Litho-ACA PRO)的无掩模光刻机完成1T1M阵列的制备工作。该研究获得国家自然科学基金、浙江省重点研发计划等项目支持。

 

文章链接:https://advanced.onlinelibrary.wiley.com/doi/10.1002/adma.202516342

2025-11-24 10:19