拍下纯净夜空满天星斗,Google Pixel 4 的天文摄影演算法是如何架构的?-阿里云服务器优惠网!
阿里云最新优惠活动

拍下纯净夜空满天星斗,Google Pixel 4 的天文摄影演算法是如何架构的?

阿里云服务器优惠

今年 iPhone 三镜头系统及中国几支主打拍照功能的手机面前,一直靠演算法打天下的 Pixel 4 确实不像以前抢眼了。

「祖传」的 IMX363 到今天规格只能沦为别家的副摄,新增的 2 倍长焦在别人已经上到 3 倍、5 倍的情况下也不太够看,还缺少实用性更高的超广角。

但在发表会有个功能还是让人很惊豔──天文摄影,让人好奇 Google 是怎幺做出来的,演算法改进了什幺。

要挖掘这些祕密,Google 部落格是最好的资料馆,Google 在 Pixel 4 手机发表后已经在部落格发表多篇功能详解的文章,天文摄影功能就是最新一篇。

自从 Night Sight(夜视)功能推出以来,Google 就在一直研究室外暗光拍摄。除了普通景物,Google 意识到拍摄夜晚天空可能也是一种拍摄场景,并开发了天文摄影功能。

暗光拍摄有个大敌就是噪点问题,进光量不足的情况下,夜晚拍摄的照片会出现让人无法容忍的噪点。解决方法当然是增加进光量,至于如何增加增加进光量,延长曝光时间是最直接简单的方法,但随之而来的问题就是会因场景物体的运动和手持不稳定导致模糊。

克服的方法是使用多帧合成提亮降噪,将连续曝光分为多帧后,每帧透过较短曝光,然后对齐帧并补偿场景内的物体运动和手持晃动,之后再透过演算法仔细处理没有完美对齐的地方,儘管单帧看起来可能非常粗糙,但多帧合成后亮度、清晰度和纯净度都会大幅提升。

上述就是现在大多数手机暗光拍摄时会做的事,无论 AI 自动判断的夜景还是手动切换夜景模式,本质都是这套流程,但要天文摄影需要更精确的限制,比如限制总帧数要多少张、每帧最大曝光时间限制多少秒。

为了在拍摄效果和拍摄体验获得平衡,Google 做了大量曝光时间实验。就像 Night Sight,夜间拍摄必须考虑物体的运动情况,比如树木在风中摇曳,云朵在天空飘蕩,月亮和星星也会逐渐升起和落下。且拍摄者也没有耐心等太久。

最后 Google 决定将一次 Night Sight 多帧合成限制为 15 帧,每帧最大曝光时间为16 秒,拍摄总时间最大限制为 4 分钟。

至于 CMOS 本身因暗电流产生的热噪点,Google 透过比较帧序列相邻画素的值筛查异常的噪点,一旦检测到离群值,就用邻域的平均值替换以隐藏,虽然会遗失一点点画面讯息,但最后生成的照片纯净许多。

为了让摄影师即时构图和判断,手机萤幕当作取景器一般至少每秒更新 15 次画面,将曝光时间限制为 66 毫秒,但在极黑暗的环境下,这样的曝光时间根本不足以看清画面,取景器可能漆黑一片,或只有一点点模糊的影像。

为了帮助在暗光环境构图,Night Sight 会将曝光的每帧显示于取景器,最高 16 秒曝光可清晰看到景物,摄影师可依此构图,并在完全调整好的情况下拍摄第 2 张照片。

夜空拍摄还有另一个问题,有时曝光时间太久,萤幕看到的样张会比实际环境亮非常多,我们常说某些手机「把夜晚拍成白天」或「夜视仪」就是如此,但天文摄影的天空并不需太明亮,而是和星光形成反差。为此 Google 使用神经网路和机器学习训练,透过追蹤天空的轮廓并人工标记超过 10 万张照片,进而将画面画素标记为「天空」或「不是天空」。

透过以上一系列操作,Pixel 4 能在三脚架上获得非常不错的星空表现,或藉助远处光源,比如月光和路灯拍出较明亮清晰的照片。Google 团队还将人马座当成无月星空下的天空拍摄标準,最后得到比人眼所见更多的星空细节,这就是 Pixel 的天文摄影。

赞(0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

买云服务器上,云就上阿里云!

顺丰快递单号查询