手机厂商都在造影像芯片,是因为它最没难度?

去年手机领域刮起了“芯片”风,头部的手机厂商齐刷刷的发布了各家的自研芯片无论是vivo的ISP 芯片V1、小米的澎湃C1,还是OPPO的影像NPU马里亚纳 X,国产厂商所发布的芯片似乎都聚焦在了影像领域上

随着自研芯片逐渐进入大众领域,一个问题也冒了出来:为什么手机厂商们执着于造影像芯片,是因为它最没难度吗?

与专业影像设备不同的发展路径 

近年来,手机影像传感器的尺寸不断增加,高像素镜头、微云台等精密元器件不断加码,手机影像在硬件方面不断向专业摄影设备靠拢然而,专业相机的发展路径不会原封不动的出现在手机影像能力进阶的历程中

变焦、防抖、高感光,这些相机的影像能力背后是超长的镜头和沉重的相机机身。对于手机而言,更立体的景深和虚化意味着主摄镜头数量的增加、进光量的提升意味着传感器尺寸的拓展,这些都对手机内部空间提出了更高的要求和挑战。

作为人们使用频率最高的日常媒介,手机在硬件的可拓展空间上存在着天然的劣势。从当前传感器尺寸上也可以看出,对标索尼黑卡的小米 11 Ultra的传感器尺寸为1/1.12,依然没有突破1英寸的限制,而手机硬件拓展空间的“天花板”却越来越近了。

在硬件这条发展路径上,手机影像似乎完全没有赢过相机的可能。

而随着芯片算力的增强更多的影像功能得以通过算法实现,从而突破手机在硬件上的限制,手机影像能力也开始了真正意义上的变革开启了“计算摄影”的新阶段

华为P50 Pro3.5倍的光学变焦硬件基础下通过了算法实现近10倍光学变焦效果在摄影细节这个专项上,Google Pixel 6 Pro基于自身一直以来的算法优势,让夜拍效果更还原,也实现了18bit的动态范围,打败了不少用硬件“堆料”的其他选手。

Pixel 6 Pro,引用子Google Blog
Pixel 6 Pro,引用子Google Blog

从技术维度来看,“计算摄影”对于图像信息的处理是基于算力的支持,理论上只要能够不断提高算力,手机影像的算法也就能带来更好的画面效果。然而,高算力对于手机而言,同样会带来高能耗与手机发热的问题。因此,芯片的自研就成为了平衡画面效果和能耗问题的关键。

以OPPO的自研影像NPU马里亚纳 X为例,通过集成的自研神经网络核心MariNeuro,芯片的有效算力高达18tops(@1GHz),能够实现像素级的图像处理。与此同时,手机AI能效却罕见地实现了双位数的每瓦性能,整体能效比控制在11.6 TOPS/W。在AI降噪算法场景下,40fps的运行速度,而功耗只有不到0.8W,这也证明了自研影像芯片的必要性。

而P50 Pro、Pixel 6 Pro这些广受好评的影像旗舰,其出色的成像效果背后,同样也离不开麒麟9000、Tensor SoC的芯片支持。通过自研芯片打通技术链路,实现影像能力的垂直整合,似乎成为了计算摄影的必然要求。

造影像芯片也是在算一笔经济账

计算摄影这项技术,终究不只是将芯片的算法赋能手机那么简单其背后同样涉及到复杂的商业逻辑

我们拆开手机看到的那颗芯片,其实已经涉及了造芯链条许多板块的配合先要将软性算法转化到IP(影像处理)其次涉及到芯片硬件本身的设计,将IP与芯片集成;而后需要制造工厂的流片和实验室的测试最后才是芯片封装和产出。

每个环节都涉及到不同主体之间的配合,而这众多的变量都是大量的成本投入。

根据外围爆料,OPPO的马里亚纳 X芯片研发团队超2000人,单次流片费用就高达一个亿;而vivo内部的ISP芯片人才年薪甚至达到180万元。由此可见,自研芯片本身就是一场投入产出比的赌局和冒险。

随着过去堆料、抢占首发的竞争格局逐渐褪去,手机产品竞争的赛道已经逐渐转向系统能力和差异化的产品壁垒。而影像能力作为显性用户感知最强的差异化卖点,以此作为起跑线,无疑是厂商芯片自研起步阶段极具性价比的最优解。

vivo高级副总裁胡柏山曾表示,以目前我们的认知来看,我们短期内能力和资源都有限,而SoC投入很大但是对消费者来说,这种投入很难带来差异化。

换句话说,对于影像芯片投入的资源聚焦,很可能是能够做到花费4分的功力获得5分效果

商业维度的综合考量来看自研芯片同样也是一笔划算的”经济账。

影像的优化就像是炒一盘菜

在影像这一块,尽管手机厂商们都开始从芯片等底层技术发力,但不同的“锅”、不同的“厨师”,炒出来的“菜”也一定是各具风味的。每个品牌技术上的不同,也决定着不同的影像发展方向。

vivo的影像研究侧重在夜景和人像,算法的重点在于弥补手机在感光器件物理上的差距

华为P50 Pro中采用的计算光学技术可以多还原25%的图像信息,实现“全局式”的信息复原

Google Pixel Pro 6也将计算摄影发挥到极致,在动态表现效果上打败了大底+多摄方案。

而据称,OPPO即将发布的Find X5也将首发搭载自研影像NPU马里亚纳X,配合自研3A算法,有望接棒成为Android最强的影像旗舰。

自研芯片这口“锅”,所提供的远不止算力的支持。自研背后更重要的意义在于通过布局芯片解决底层的技术难题,当影像链路的源头被打通,剩下的就只是硬件等“配菜”的组合与调优。手机影像能力终究是一个系统性的效果芯片作为基底,是实现技术垂直整合、打造产品壁垒必不可少的一环。

看起来简单的影像芯片自研之路,实际上是技术攻关的长跑和商业风向的前瞻。

手机厂商们,就这样第一次当上了厨子而在未来,不同的芯片能炒出什么样的“菜”,就让我们拭目以待。