OPPO的野“芯”,有多深?

2021-12-15 科技

a56efbfd12f74291b198612c4fbd44c2

大多数80后、90后都曾有过这样的经历,皎洁的月光下,你看到一个极美的风景,于是掏出手机来拍照,结果只能够得到一张黑乎乎看不清的照片。这并非手机出了问题或者使用者操作不当,只是7、8年前智能手机拍摄能力真的做不到。

作为一个体积极度受限、无法以更大的物理尺寸换来更大镜头光学组件、传感器的拍摄硬件,手机的光学成像能力相当“有限”,也让“手机永远不可能替代专业相机”的论断一度是所有消费者的共识。

但近些年“计算摄影”的加入,智能手机的拍摄能力获得了新的提升路径。通过在光学采集信息的基础上引入计算能力,催生HDR、人像模式、夜景模式、星空模式等全新拍摄模式。这些新功能持续浮现、高速发展的同时,也开始反过来对计算能力和硬件提出全新的需求。

以近些年发布的旗舰级手机为例,虽然官方都会提供HDR、夜景拍摄等功能,但一旦选择最高的4K分辨率或者其他分辨率下的高帧率画质,附带的计算摄影功能就会无法使用。最直接的原因在于现有的手机SoC平台无法强力、高效地处理这样的需求。

da938599219c44068ac1737ed2b17b6c

OPPO自研芯片马里亚纳 MariSilicon X在5lux亮度下视频表现

在今天开幕的OPPO INNO DAY 2021未来科技大会上,OPPO官方放出了一段差距明显、4K极暗条件下的视频拍摄效果对比。“马里亚纳 MariSilicon X原型机”的效果明显优于苹果iPhone 13 Pro Max和自家Find X3 Pro,秘密在于它塞进了OPPO首款自研芯片、影像专用NPU芯片“马里亚纳 MariSilicon X”,极大地提升了计算摄影的能力和参与程度。

在发布新自研芯片再次突破手机计算摄影能力“天花板”的背后,是OPPO对于“自研芯片”首次集中展示的决心,以及部分他们未来发展的思路。

最深海沟命名,“马里亚纳”成色几何?

大部分中国消费者对于“马里亚纳”的记忆很可能还停留在中学的地理课上,作为地球表面最深处,马里亚纳海沟最大深度达到11034米,平均深度也超过8000米。OPPO选择以此命名,显然是想表达自己对于手机最底层的芯片发起冲击。

至少从首款芯片“马里亚纳 MariSilicon X”的产品细节和能力来看,绝对超出了大部分人的预期。

0f5139473b054fac8694b7ff053c8fd3

OPPO首个自研芯片马里亚纳 MariSilicon X

作为全球首颗为影像而生的专用NPU芯片,“马里亚纳 MariSilicon X”采用了目前芯片行业相当先进的台积电6nm制程工艺。微架构部分由“MariNeuro”自研AI计算单元、“MariLumi”自研影像计算单元、配套的影像专用内存子系统和I/O组件组成。

“马里亚纳 MariSilicon X”在规模上也相当可观,这一点从算力上就可以看出。独立于SoC(片上系统)存在的它拥有高达18TOPS@int8的计算能力,在AI算力上已经超越苹果目前最新的A15 SoC处理器。

根据官方给出的对比,凭借强大的算力,在“马里亚纳 MariSilicon X”上运行AI降噪模型,比Find X3 Pro(骁龙888)快20倍,也让手机首次实现了“4K+20bit RAW+AI+Ultra HDR”的计算摄影处理水平,毫无疑问是目前手机计算摄影的新高度。

更难得的是,在实现高算力的同时,“马里亚纳 MariSilicon X”表现出了极高的能效比,在运行4K 40帧画面AI运算时,“马里亚纳 MariSilicon X”仅需0.797W的功耗,而Find X3 Pro的通用NPU的算力仅支持4K 2帧的AI运算,同时功耗高达1.693W,整体能效比相差约40倍。

除了最基础的算力和能效比之外,“马里亚纳 MariSilicon X”还将提升的目光聚焦到了过往影像升级的不起眼之处:将影像原始数据传输和计算的位宽进一步提升到20bit。这就好比把芯片原来通向传感器的“国道”被升级成了更宽的“高速公路”,传输相机传感器数据的能力大大增加。

这样的做法在通用芯片平台中比较少见,对于前者而言,影像的绝对能力并不关键,而是构建商业和产品性能之间的平衡。

0f9818fb02a3437d9fa86ac6ec460f7c

马里亚纳 MariSilicon X Ultra HDR效果

全新等级的传输位宽,配合“马里亚纳 MariSilicon X”中的“MariLumi”影像处理单元,可以显著提升HDR(高动态范围成像)能力表现,OPPO官方将之称为Ultra HDR的表现。对于普通用户来说,将会在明暗对比强烈的场景中获得更好的最终成像结果。

要知道,安卓阵营刚刚发布的另外一个旗舰通用平台,也仅支持光比18bit,而第一次做芯片的OPPO就直接将性能拉满到20bit。看似不起眼的“2bit”,意味着画面光比整体提升4倍,直接从原来的25万:1,直接提升到100万:1。

ae8de6183a684e4f9d596aa9067f35a3

最后是RGBW Pro模式,传统手机相机传感器都是采用经典的“拜尔阵列(RGGB,红绿绿蓝)”,传感器每一个像素实际上接收到的都是“被”过滤以后的光信号。为了提升暗光之下的表现,将其中部分的传感器像素替换成不需要进行过滤的W(白光)单元,就是一种非常主流的思路。

在OPPO此前发布的Reno7 Pro上,就搭载了全新的RGBW传感器,通过在每个像素中引入两个W像素,使得传感器整体的进光量增加了近50%。虽然传感器已经有所提升,但过往RGBW传感器过往输送给SoC平台的,其实都是转换之后的RGGB信号,造成相机传感器采集的数据直接被“损耗”。

在这次的新芯片“马里亚纳 MariSilicon X”中,OPPO创新地采用了“RGGB+W”双路信号传输,将传感器W像素带来的更多进光真实地保留下来,整体增幅黑暗场景的拍摄能力。根据OPPO官方分享的数据,凭借RGBW Pro模式,能够提升70%的解析力表现,提升8.6dB的信噪比。

全方位的新技术应用,最终才带来了开篇中4K极暗条件下视频拍摄效果的巨大差异。值得一提的是,虽然OPPO官方这次核心公布的场景只有一个,但作为NPU芯片,自身肯定具备神经网络和学习能力,代表着这颗芯片自然具备可拓展影像能力。

当然,仅有以上的表现无法被成为对计算影像提出了新标准。这次OPPO自研的马里亚纳 MariSilicon X中,最有价值和深意的,实际上是计算影像链路革新。

过去无论骁龙还是联发科的处理器,都要在YUV域(手机成像的一个特定格式阶段)内进行处理。这种做法极大地降低了手机通用平台和相机传感器的兼容性难度,但同时也导致传感器的大量原始信息丢失。手机厂商所能做的更多是通过后期弥补已有的损伤,远没有达到相机传感器的真实性能水平。

而这次在自研芯片中,OPPO将计算链路前置,能够实现实时的RAW域计算。熟悉摄影的朋友对RAW这个名词必然不陌生,因为这代表着原始数据。OPPO之所以一定要将计算放在RAW域,最根本的目的,就是要让画面无限还原,尽可能保证画面的“原汁原味”。而在业内看来,这也是未来计算影像的重要方向和标志。

15c1bba83da64556b4e268835dffaa66

马里亚纳 MariSilicon X提出的计算影像黄金点

d2eadbddeb144adaaa2974d01554db6e

马里亚纳 MariSilicon X

“高举高打”,OPPO自研芯片的宏大野心

在OPPO之前,国产手机厂商中也有别的厂商尝试自研SoC中的ISP模块,但无论从硬件能力还是实际应用效果上来看,都和OPPO这次造芯产出的NPU还是有所差异。

原因主要有三点:一是“马里亚纳 MariSilicon X”独立于SoC存在,具备完整的计算模块、存储模块和I/O模块,是一个独立的芯片,更可以被看作是一个“简易版SoC”;二是“马里亚纳 MariSilicon X”采用了台积电的6nm先进工艺,意味着OPPO大概率已经进入台积电的重点客户名单。三是OPPO将会把这颗芯片实际运用在下一代的Find X系列产品中。

先说第一点,手机行业目前普遍采用的是SoC平台架构,即将手机正常运行所需的各种芯片模块,例如CPU、GPU、ISP、DSP、内存、基带等等,全部封装到同一颗芯片之上。

“马里亚纳 MariSilicon X”本质上则是跟SoC“平起平坐”的独立芯片,不仅拥有完整的计算模块、存储模块和I/O模块,“马里亚纳 MariSilicon X”在功能上还与相机传感器直接相连,超前于SoC的运转。这不止体现了OPPO更强的自研芯片的实力,更让人对于OPPO未来做芯片的想法浮想联翩。

其次非常关键的是制程工艺,众所周知手机芯片在芯片制程上的“战争”一直非常激烈,每年高通、联发科、苹果都会争抢台积电最先进的工艺制程产能。“马里亚纳 MariSilicon X”能用上6nm,首先证明OPPO真的愿意花钱。根据此前产业链中的传闻,OPPO这一次“马里亚纳 MariSilicon X”的流片(芯片在晶圆厂的试生产流程)非常顺利,但仍花费了近亿元。

对于台积电而言,其实也一直试图寻找一个能进入高阶制程的大陆新玩家。但在先进制程芯片背后,其实需要厂商自身具备相当强的芯片设计能力、芯片规划能力以及未来的资金储备。目前中国有能力设计6nm制程芯片的厂商大概率仅有4家——华为海思、联发科、OPPO以及阿里。

从结果来看,台积电显然是对OPPO的产品和发展思路有所认可。尽管OPPO只是第一次做芯片,尽管只是一颗专用的影像NPU芯片,台积电依旧给分配了6nm先进制程的产能。有了这次合作的基础,二者未来的合作必然会更加顺利、也更加紧密。

最后是实际运用,自2019年后,借芯片概念进行“技术宣传”一度非常流行,但很多自研的“新芯片”却迟迟没有出现在终端产品中。相比之下,OPPO敢于将自研芯片推向消费级旗舰产品,就是其芯片能力最强的自我证明。

b6c1b140e0744637b1cd0ef8cff225e4

参考官方目前公布的各种参数、性能所透露出来的芯片规模,参考芯片行业的相关数据,“马里亚纳 MariSilicon X”单颗芯片成本可能就高达几百元级别。在激烈的手机行业中如此大胆地进行成本上的“加码”,OPPO对于芯片投入的胆量可见一斑。

值得一提的是,OPPO早在2019年就成立了自研芯片团队,当时官方宣布3年研发投入500亿元。“马里亚纳计划”在2020年OPPO内部发布的文章《对打造核心技术的一些思考》中就已经提到。

巨额投入换来的是庞大的芯片研发力量,根据第三方研究机构透露的信息,OPPO的芯片子公司泽库员工人数已经超过2000人,已经成为仅次于华为海思的“国内第二大芯片设计公司”。

这样的人员规模,显然不只是为了完成一个“马里亚纳项目”,而是将自研芯片的战略持续贯彻下去,创造出更大的可能性。OPPO CEO陈明永在今年INNO DAY上的讲的一句话,其实也表达了这样的深意:

“我们会持续投入资源,用几千人的团队,去脚踏实地做自研芯片。”

造芯,中国手机厂商的必经之路

纵观无论智能手机行业还是互联网行业,造芯已经成为共识。

尤其是在苹果近两年凭借M1系列芯片,在平板和笔记本的实际性能和功能表现上,实现了远超芯片硬件本身性能提升的发展速度之后。进一步推动消费电子产品软硬件整合,通过自研“芯片+算法+应用”的垂直优化路线已经成为消费电子领域大势所趋。

以拍摄能力为例,相比苹果的“SoC、传感器、算法、应用”闭合生态,安卓智能手机阵营的高度产业细分已经开始成为阻碍。SoC、相机传感器厂商都有自己的研发计划,相互之间没有深度的配合,夹在中间做下游整合的手机厂商只能迁就于上游厂商,在有限的时间内边“打补丁”边“寻找”和其他手机厂商差异化的空间。

“吃力不讨好”的行业现状,唯有手机厂商自研芯片能够打破。以OPPO这次的“马里亚纳 MariSilicon X”为例,因为其完全独立于手机SoC存在,OPPO将自研算法写入传感器内,通过硬件的深度配合、算法的持续升级持续提升拍摄能力。后期还可以反过来作为SoC AI算力的补充,为一些AI应用提供额外的支持。

放眼未来,即便是在影像之外,像“马里亚纳 MariSilicon X”这样的外置DSA芯片同样有潜在需求。尤其是在目前手机各种SoC无法更快、更省电地完成相同任务的前提下,手机厂商完全可以持续迭代自研的DSA性能和功耗表现,与更轻量化的高通、联发科SoC平台配合,以“一机双芯”乃至“一机多芯”的方式提升用户的整体体验。

当然,无论是延续外置芯片的新路线,还是未来直接升级到自研SoC的老路线,最核心的挑战其实都是自我芯片实力的提升。OPPO显然想明白了这个道理,通过对芯片提前而持续的投入,OPPO已经获得国产手机行业下一场竞赛的先机。

来源:虎嗅APP

相关推荐

OPPO的野“芯”,有多深?

2021-12-15
大多数80后、90后都曾有过这样的经历,皎洁的月光下,你看到一个极美的风景,于是掏出手机来拍照,结果只能够得到一张黑乎乎…