>首页> IT >

当前看点!计算摄影的背后,手机厂商的“芯事”谁来解?

时间:2023-06-14 22:59:50       来源:雷科技

近日,中国国家地理主办的2023中国野生生物影像年赛启动仪式在深圳举办。和绝大多数野生生物摄影项目不同,年赛自创立以来便设立手机组别,鼓励大家用触手可及的设备进行创作和探索。

而这种让手机和相机同台竞技的做法,也让不少摄影爱好者重新思考一个问题:「如何用手机拍和专业相机媲美的照片?」或者用更直白的方式来说——手机拍照有超越专业相机的可能吗?

如果单从部分配置上看,手机和专业相机之间确实存在差距:在牺牲了便携性、易用性和高成本的前提下,专业相机用更大的机身换来了更大的传感器、更准确的对焦模块。


(相关资料图)

当然了,专业相机所使用的专业镜头在设计时也不需要照顾用户对「镜头突起」的反感情绪,可以放心大胆地用复杂的光学设计和价格高昂的特殊镜片来提高镜头的光学表现。这些都是现阶段智能手机在比拼参数时必须承认的差距,毕竟相机的唯一职责就是拍照,但拍照只不过是手机的其中一个使用场景而已。

图片来源:Veer

但这就意味着智能手机拍出来的照片赶不上专业相机吗?事情没有这么简单。

ISP是手机摄影的超车点

和专业相机类似,智能手机拍照也可以分为四个阶段,分别对应四组不同的元件:镜头负责将外部的景色聚焦在手机的图像传感器上。图像传感器是手机摄像头的核心部分,当光线照射到图像传感器上时,每个像素会产生电荷,并将其转换为数字信号。

一旦图像传感器将光线转换为数字信号,手机的图像处理芯片(ISP)便开始处理这些数据。图像处理芯片会对图像进行色彩校正、降噪、对比度增强等操作,以优化图像质量。处理后的图像数据会被存储在手机的存储介质中,再通过屏幕回放这些照片。

而ISP恰恰就是手机摄影证明自己的关键。

专业相机的图像处理电路通常只专注于最小化图像噪点、保持细节和动态范围。但得益于智能手机芯片行业的飞速发展,智能手机的ISP往往更加灵活。即使是多年前的手机ISP也已经可以提供色彩矫正、畸变矫正甚至是场景识别、智能HDR、人像模式等高级功能。

以人像模式为例,过去我们在拍照时想拍出完美的「奶油虚化」浅景深照片,不仅需要一支大光圈的人像镜头,也要通过巧妙的构图来保证模特和背景拉开足够的距离,才能有可能拍出想要的背景虚化效果。

但对于智能手机来说,从锁屏界面快速启动相机,手机自动识别并切换到人像模式:高效的移动处理平台在转瞬间就能自动完成测光、对焦、拍摄,并借助ISP完成畸变校准、肤色调整,再借助景深识别技术精确分离前中后景,并实现极为自然的景深虚化。

图片来源:雷科技

而这一切甚至可以在你按下拍摄按钮之前就提前完成。这种汇聚了人工智能和计算摄影尖端技术的新一代成像方式,才是手机摄影能和专业相机同台竞技的秘诀。对于专业相机来说,对「原始数据」的追求限制了相机图形芯片的发展,这些后期处理只不过是计算摄影时代的开端。

骁龙让计算摄影成为可能

以旗舰手机必备的第二代骁龙8移动平台为例,更强的数据处理能力让智能手机可以在机内就完成传感器像素融合运算,在机内处理2亿像素的照片拍摄。

当专业相机还在把照片导入电脑、准备后期拼接时,智能手机已经完成了后期处理,用5G网络将照片发了出去。当别人还在用6K电影机拍摄素材时,智能手机已经开始拍摄8K视频,并利用高分辨率实现不损害画质的无损剪裁;当别人还在检查HDR步长时,智能手机已经开始完成了测光、拍摄,并输出了高色深的最终图片。

除了这些「基本功」外,AI神经网络的支持也让认知ISP可以实现更多过去无法想象的后制,进一步拉近手机和专业相机之间的距离。

比如小米13系列中第二代骁龙8移动平台的认知ISP可以将场景细分成8个不同处理层,并单独根据不同处理层的特点进行图像处理和优化,从而带来更具有质感的图像细节和色彩表现。努比亚Z50 Ultra可以在认知ISP的支持下同时利用多个传感器拍摄,并在后台利用多帧融合技术显著增强照片的信息量和细节层次。

图片来源:雷科技

对手机的光学系统来说,手机的通用性是限制手机影像发挥的短板。但对手机的ISP来说,手机的通用性恰恰是让手机摄影表现突飞猛进的加速器。相机和手机、光学素质和计算处理,这其实都是数码产品在不同使用场景下,根据用户实际需求而分化出来的不同进化方向。

而当用户希望用比昂贵相机更低的成本、更便捷的方式记录眼前的美好时,手中的智能手机显然是更符合实际需求的拍摄工具。而手机所具备的计算摄影技术,已成为用户「随手拍大片」的最大推动力。

更智能的ISP为手机带来了智能场景识别和自动优化等功能,让全民摄影更轻松。无论是风景、人像还是美食,相机能够快速识别场景,并自动调整参数,获得更好的曝光、对焦和色彩效果,让拍照变得简单而直观。

更强的数据吞吐和处理能力也让高级算法和多帧合成技术成为可能,夜景模式的出现也为用户带来了更多的创作空间。更不用说人像模式和虚化效果的出现弥补了手机在光学系统方面的遗憾,让照片更加具有专业感。在更强大的图像算法和更默契的软硬配合下,手机的发展为我们带来了全新的拍摄体验,让摄影更加与众不同、更加充满乐趣。

而骁龙移动平台也可以利用高通AI引擎的出色性能在拍摄照片后继续优化画面细节,比如利用AI为照片执行降噪操作,减少长时间曝光下的照片噪点,让照片更加干净通透;又或者利用AI学习画面运动方向,从而实现更出色的防抖补偿效果;甚至在拍摄之前,AI引擎的强大算力就已经让手机可以对运动物体进行精确的模型检测,实现万物追焦的效果。

让用户爱上拍照是手机摄影的最终目的

在计算摄影时代,芯片的作用不仅限于提供计算能力,更是构建手机拍照端到端协作系统的基石。也正因芯片决定了计算摄影的最终表现能力,使得越来越多的手机品牌开始在影像芯片上发力。

而在这场关系到手机摄影进化的影像芯片军备竞赛中,骁龙作为手机运算的核心,从未消失在大众视野当中。从机内HDR到像素融合,从4K视频到8K拍摄,从简单的透视修正到复杂的畸变矫正,再到现在盛行的AI计算摄影,骁龙从未停止推动手机摄影进步的步伐。

随着手机芯片ISP算力以及算法的提升,计算影像已然成为近几年手机影像的新发展方向之一,例如手机上常见的夜景拍摄、延时曝光、星空模式等都是依靠算法来实现的。

自手机迈入计算摄影的那一步起,手机影像的发展早已不再是纯粹的硬件加持,更重要的是来源于算法强大且精准的计算能力。计算摄影能让普通人拍出一张及格线以上的照片,而未来的手机影像,肯定是为了贴近用户的日常而发展。让普通大众也能迈入摄影的门槛,这才是手机影像的初衷。

关键词: