世界第一枚,又是清华

世界第一枚,又是清华
世界第一枚,又是清华

作者 | 荣智慧

编辑 | 向由

唯物的中国芯片产业深度观察

中国清华大学科学家创造了世界第一枚类脑视觉芯片“天眸芯”,具备类似人眼的感知能力。

 

5月30日,该研究论文《面向开放世界感知的互补通路视觉芯片》(A Vision Chip with Complementary Pathways for Open-world Sensing)登上《自然》杂志封面。这是清华大学类脑计算研究中心继2019年“天机芯”后,研究成果第二次荣登《自然》封面。

世界第一枚,又是清华

5月30日《自然》杂志封面 / 图源:清华大学官网

被誉为“全球最快视觉芯片”的天眸芯,精度可达10bit,速度达1万帧/秒,带宽较于(具有同样精度和时空分辨率)传统相机,减少了约90%。

 

在类脑计算和类脑感知两个重要方向上,中国芯片均已取得基础性突破。同时,如火如荼的电动汽车“自动驾驶”模式,也将乘上视觉芯片的快车。


世界第一枚,又是清华

天眸芯的创新

天眸芯和天机芯一样,都属于“类脑”芯片领域。后者偏重于类脑计算,而前者倾向于类脑感知,并提出了一种全新的视觉感知芯片设计范式,即“双通路互补”(CVP)。

 

传统CMOS图像传感器,是单纯地将光信号点对点地转换为数字信号。在同等代价下,传统传感器很难实现“分辨率、信噪比、动态范围和帧率”的同时提高。

 

而“双通路互补”首先会模仿人眼,自动把看到的场景分解成很多元素,包括物体运动、轮廓边缘、色彩以及不同区域之间的对比度等信息,这些拆分出来的元素,被称为“视觉原语”。

 

接着,“双通路互补”再模仿人脑的处理机制,把这些信息分配到不同的“处理通路”中去,就像快递驿站把不同街道的快递分配给不同快递员。

 

然后,它再模仿人脑的响应机制,处理“时间空间变化”的信息,并让时空变化和色彩等其他信息互补,正如快递员之间又做了连接和协同。

 

简单说,天眸芯是把机器视觉的感知过程,拆成两条通路,一条是认知导向通路(COP),一条是行动导向通路(AOP)。

世界第一枚,又是清华

天眸芯 / 图源:清华大学官网

因为人类的视觉感知系统就是多通路的,会将场景解析为不同组件,将前景和背景分开,实现多通路之间的相互组合,既能对危险做出快速反应,也不会失去对全局情况的理解。

 

就像人类开车,无论白天黑夜,无论是高速路还是乡间小路,驾驶员都可以对运动目标进行快速识别,这一点远超现有计算机视觉系统。

 

机器视觉的本质,就是不断模仿人类视觉原理,以达到低能耗、高精度的效果。

 

采用90纳米CMOS背照式技术制造的天眸芯,通过进一步模仿人类大脑,在极低的带宽(降低90%)和功耗代价下,实现了每秒10000帧的高速、10bit的高精度、130dB的高动态范围、NIR(近红外光谱技术)高灵敏度的视觉信息采集。

世界第一枚,又是清华

神经拟态视觉

天眸芯类脑视觉芯片,背后的技术是神经拟态视觉(Neuromorphic Vision)。

 

神经拟态视觉是一种集合感知、存储、计算的芯片技术,同时包含硬件开发、软件支撑、生物神经模型的视觉感知系统。

 

人类的大脑处理视觉信息,并不像相机一样,“看”的是一张张照片,而是动态、持续跟踪信息,只有检测到视觉场景的某些特征变化时,神经才会向大脑“报告”。

 

神经拟态工程,复制了人类视觉传感和处理的关键元素。

世界第一枚,又是清华

人类视觉系统的互补性 / 图源:Nature

某些情况下,它的工作方式就是捕获和处理高质量图像,允许每个像素独立记录,并且仅在触发时进行记录,物体运动被捕获为连续的信息流,而不是逐帧捕获。这种方法减少了机器需要发送的数据量,从而降低功耗,也提高了响应能力。

 

20世纪80年代后期,加州理工学院教授Carver Mead就曾提出有关神经拟态的技术。当时,Carver Mead的初衷主要是想更好地了解人类大脑的运作方式。

 

如今,神经拟态技术日益成熟,神经拟态视觉传感器或芯片近年进步神速。这种传感器由感知、存储和运算功能的器件与电路组成,包含材料、器件、电路、算法以及集成技术等的交叉结合,同时也依赖“芯粒”封装技术来提高集成度和性能。

 

神经拟态视觉芯片在工程系统的应用非常广泛,包括手机触屏唤醒功能、消费电子相机高速摄影和动态感知、工业微型机床高速运动抓手的跟踪、工业检测视觉感知、移动机器人视觉感知系统、驾驶员疲劳检测系统、自动驾驶联合检测、无人机视觉导航系统、高速视觉测量等。

 

特别是自动驾驶方面,清华研究人员还开发了一个集成“天眸芯”的汽车驾驶感知系统,来评估装载该芯片的汽车在开放道路上行驶时涉及到的各种极端情况。例如强光干扰、高动态范围场景、域偏移问题(异常物体)和具有多个极端情况的复杂场景。

 

实验结果表明,天眸芯可以有效适应极端光环境,并提供领域不变的多级感知能力。


世界第一枚,又是清华

自动驾驶迫不及待

最近,市场被特斯拉FSD(全自动驾驶系统)搅得心神不宁。

 

其实,使用视觉方案的自动驾驶汽车有个明显痛点,即摄像传感器需要在带宽和延迟之间进行权衡。

 

虽然汽车配备的摄像头都具有良好的分辨率,但传输高分辨率的数据需要合适的带宽。带宽不足,延迟就会增加,从而影响处理数据的时间。在交通事故中,时间就意味着生命。

世界第一枚,又是清华

自动驾驶感知演示平台 / 图源:清华大学官网

中国很多电动汽车商家为了性价比疯狂“堆料”——增加更多摄像头。当然更多的数据也就随之而来,导致芯片“计算能力需求爆炸式增长”。

 

天眸芯能够以极低的带宽和极低的能耗下,实现高速、高精度和高动态范围的视觉信息采集,有效应对各种极端复杂场景,突破了传统视觉感知芯片在稳定性、安全性等方面的性能瓶颈。

 

“‘天眸芯’的成功开发为未来自动驾驶、具身智能等重要应用开辟了新的道路。”该论文的共同通讯作者、清华大学精密仪器系赵蓉教授表示。

 

为方便应用,清华大学团队开发了两种模组。

 

第一代为高性能模组,采用了Xilinx ZCU102或KU040系列FPGA板卡作为天眸芯和上位机的桥接芯片,设计使用PCIe的上位机通信方式,将天眸芯的数据经过整合、处理后,以极高带宽传输至上位机中。

 

第二代为微型化模组,载板包括微型化天眸芯子板和转换载板。子板与载板通过高速接插件或者高速软排线的方式连接。这个小型模块可以应用到安防、无人机、机器人等领域。

 

其实,神经拟态工程的潜力,在很大程度上还没开发出来。

世界第一枚,又是清华

类脑计算研究中心施路平教授(右一)和赵蓉教授(左二)指导学生实验 / 图源:清华大学

有研究报告指出,到2029年,神经拟态芯片、传感和计算将成为一个价值71亿美元的市场。

 

如果所有技术问题在未来四到五年内得到解决,神经拟态计算市场可能会从2024年的6900万美元增长到2029年的50亿美元、2034年的213亿美元;神经拟态传感市场可能会从2024年的3400万美元增加到2029年的20亿美元、2034年的47亿美元。

 

产学研结合肯定是必要的。中国非常重视类脑智能,其是“十四五”规划纲中提出的未来产业之一。

 

清华大学类脑计算研究中心已经孵化出北京灵汐科技有限公司。2021年,该公司依托“天机芯”,研制出首款商用的异构融合类脑计算芯片KA200及HP系列计算板卡。

世界第一枚,又是清华

灵汐科技发布的类脑芯片领启KA200(-S) / 图源:北京灵汐科技有限公司公众号

中国SynSense时识科技的类脑视觉芯片Speck,已经批量出货,并号称拥有世界上第一颗商业量产的动态视觉类脑芯片。

 

此外,该公司刚刚收购瑞士类脑视觉传感公司iniVation AG,后者由类脑视觉领域科学家Tobi Delbruck教授创立,是全球类脑视觉传感领域成立最早的企业之一。

 

在机器模拟大脑的征途上,人类还有很远的路要走。

 

举个例子,目前世界最先进的无人机运行时,其英特尔Loihi神经拟态芯片耗电1.007W。它能干的是什么呢?简单飞一飞,或者通过预先编程好的程序,在几个标记物之间自主飞行。

 

而人类的大脑,由约1000亿神经元组成,通过超10^14个神经突触连接在一起,每秒可以执行15个quintillion运算(1quintillion 等于10^18),而处理日常任务的功耗只有20W。


值班主编 | 赵靖含

排版 | 起起

世界第一枚,又是清华

2024年南风窗杂志全年订阅

扫描二维码即可直接订阅

更多资讯

世界第一枚,又是清华
世界第一枚,又是清华

世界第一枚,又是清华

南风窗原创纪录短片

《疯狂宠物家》

看宠物如何捕获人类。

世界第一枚,又是清华
世界第一枚,又是清华

南风窗新媒体 出品

未经授权 禁止转载

欢迎分享至 朋友圈

投稿、投简历:newmedia@nfcmag.com

广告、商务合作:

世界第一枚,又是清华

 seakykyyy

记得星标!点点在看让理性的声音传得更远

本内容观点仅代表发布作者本人观点立场,欣文网平台只做信息内容展示和存储。发布作者:全网转载,转转请注明出处:https://www.xinenw.com/18303

(0)
上一篇 2024年6月3日 17:55
下一篇 2024年6月3日 17:55

相关推荐

  • 新式父亲的精神状态,比年轻人还超前

    如果说传统的父亲形象是“你就站在此地不要走动,我去买几个橘子”的憨厚和淳朴,那么新时代的父亲形象则是“儿子,去买几个橘子,老爸在这等你”的坦然自在和一颗培养孩子独立而默默守护的心。 随着时代的更迭,人们的生活方式和思考角度发生变化,父亲在家庭中逐渐扮演起更积极的角色。新时代的父亲,更擅于颠覆传统、打破常规、勇于追求、挑战自我。 当代父亲, 远比你想象的要更酷…

    2024年6月16日
    600
  • 对话“鹦鹉梨”:3场直播GMV破亿,UP主带货不能只做主播

    ⭐️欢迎关注预约“新榜和ta的朋友”系列直播   “这个颜色就像在夏天和空调相遇了。” “这条裙子的花纹就像一片没有害虫的花园。” “这条裙子拥有我见过最轻盈的黑色,能满足天底下每一个想要五彩斑斓的黑的甲方的离奇要求。” 脚踩高跟鞋、穿着一袭蓝色吊带连衣裙,3月22日,时尚区UP主“鹦鹉梨”在B站开启第三场带货直播。 她像视频里一样介绍起裙子妙语连珠,引来超…

    2024年4月26日
    11300
  • 我悟到了人生三重境界 :6个字!

    繁星点点,映照心境 早起·读书·书评写作 文:徐慧 字:1900 你好,我是徐慧~ 最近看到内容派创始人–啸天哥的一段话: 年少骑行是读书 后来骑行是谋生 如今骑行真的就是怀念青春 ▲图/网络,侵联系删除 我忽然觉得这句话对我好有启发,立马就仿写了下面这句话: 年少读书是学习 后来读书是谋生 如今读书是疗愈觉醒 写出来之后,我仔细一想,这不就是人…

    2024年6月10日
    4400
  • iOS 18 首批 AI 功能或完全在 iPhone 设备端运行,距离发布不足两个月

    今年的苹果全球开发者大会(WWDC)即将于 6 月 11 日凌晨拉开帷幕,届时 iOS 18 的神秘面纱也将被揭开。外界普遍预测,iOS 18 的重大变革之一将是引入大量 AI 功能,最新消息进一步指出,首批 AI 功能很可能完全在 iPhone 设备端运行。 据知名记者 Mark Gurman 透露:“iOS 18 第一波 AI 功能似乎将完全在设备上运行…

    2024年4月16日
    25200
  • 苹果新系统 2.0 来了,即将全球发布!

    随着 WWDC 大会的临近,苹果预计将发布一系列软件更新,包括 iOS 18、iPadOS 18、watchOS 11、macOS 15 等等,其中很多都将围绕 AI 功能展开。 此外,本次还将介绍 Vision Pro 的全新系统版本:visionOS 2.0。 在新版本中,苹果完善了一些功能,使 Vision Pro 更好用。 全新原生苹果应用 Visi…

    2024年6月10日
    1700

发表回复

登录后才能评论

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信
原欣文网读者需要重新注册,平台不断升级敬请见谅!