和平精英自瞄辅助“咔咔咔”手机拍照过新年 是时候了解下背后的技术了

“咔咔咔”手机拍照过新年 是时候了解下背后的技术了


【网易智能讯2月5日消息】下一部手机的摄像头会有多好?想知道的话,最好留意制造商对人工智能的看法。

除了炒作和吹牛,过去的几年里摄影技术取得了惊人的进步,且进步不会减慢,而最大的飞跃源自人工智能,而非传感器或镜头,这很大程度上要归功于人工智能让摄像头更精准地捕捉景象。

2015年Google Photos发布之际,清楚地展示了人工智能和摄影技术混合后强悍的功能。在此之前,谷歌这家搜索巨头多年来一直使用机器学习对Google+中的图片进行分类,但其现今推出了照片应用程序包括面向消费者的人工智能功能,这是大多数人无法想象的,数千张无标签的照片储存在手机里,杂乱无章的图库一夜之间转换成可搜索的数据库。突然间,或是说看似突然,谷歌知道了你家猫的长相。

谷歌取得的突破基于2013年收购DNN搜索的前期工作,该技术可以建立一个受人类标记数据训练的深度神经网络,称之为监督学习,这个过程包括对网络进行数百万张图像训练,以便它可以通过像素寻找视觉线索,帮助识别分类,随着时间的推移,该算法在识别方面越来越出色,拿熊猫举例,曾用来正确识别熊猫的模式都会被纳入,具体来说,它可以习得黑色皮毛和白色皮毛之间的分布关系,熊猫与荷斯坦奶牛的毛色区别,经过进一步的训练,该算法可以用来检索更抽象的术语,如“动物”或者“早餐”,也许检索出来的并非是常见的视觉图像,但仍可一眼认出图像主体。

“咔咔咔”手机拍照过新年 是时候了解下背后的技术了


训练这样的算法需要耗费大量的时间和处理能力,不过在数据中心完成任务后就可以在低功耗的移动设备上运行,并且不费事,繁重的工作已经完成,因此一旦你的照片上传到云端,谷歌就可以用自己的模型来分析和标记图库,Google Photos发布约一年后,苹果公司宣布了一项在神经网络上接受过类似训练的照片搜索功能,但作为公司对隐私承诺的一部分,实际分类在每个设备的处理器上单独进行,不需要传送数据,而这通常需要一两天时间在设置好的后台进行。

智能照片管理软件是一回儿事,但首先要说的是人工智能和机器学习对图像的捕获方式产生了更大的影响,毫无疑问,镜头会继续变快,传感器也总能变大一点,但涉及将光学系统塞进轻薄的移动设备,我们已经快接近物理限制,尽管如此,现在的手机在某些情况下能拍出比许多专业相机设备更好的照片,这并不罕见,至少在后期处理之前是这样,传统相机无法与同样配备高级摄影的硬件片上系统竞争,其包括一个中央处理器、一个图像信号处理器,以及一个越来越多的神经处理单元(NPU)。

这是计算摄影,一个广义的术语,涵盖方方面面,譬如手机肖像模式的假景深效果,以及有助于提升Google Pixel高清图像质量的算法,并非所有计算摄影都涉及人工智能,但人工智能必定是其中一个重要组成部分。

“咔咔咔”手机拍照过新年 是时候了解下背后的技术了


苹果利用此项技术来驱动其手机的双镜头肖像模式,苹果手机的图像信号处理器依靠机器学习,通过一个摄像头识别人像,另一个摄像头创建深度图以分离拍摄主体和模糊背景,2016年此功能首次亮相时,通过机器学习识别人像的技能并不是什么新鲜事,因为图片处理软件已经在做这个了,但以智能手机摄像头所需的速度实时识别则是一项重大突破。

然而,谷歌默认的拍摄模式HDR+使用了一种更复杂的算法,将几个曝光不足的帧合并为一个,正如谷歌计算摄影负责人马克·勒沃伊(Marc Levoy)所说,机器学习意味着系统只会随着时间越来越好。就像Google Photos,谷歌已经将其人工智能训练在一庞大的标签照片数据集上,进一步辅助相机曝光,尤其是Pixel 2生成的基线图像质量非常好,The Verge网站在专业工作中也会使用到,效果非常满意。

不过谷歌的优势从来没有像几个月前推出夜视系统那样突出,新版Pixel将长曝光缝合在一起,使用机器学习算法计算更精确的白平衡和颜色,坦白说,效果令人惊艳,因为算法的设计以最新的硬件为依托,该功能在Pixel 3上效果最好,不过谷歌为各种Pixel版本的手机都推出了夜视功能,即使是缺乏光学图像稳定性的原始图像也可以处理,这说明了软件在移动摄影领域比相机硬件更重要。

admin