当前位置：热帖财经资讯网 >> 科技 >> 文章正文

用iPhone给林拍照是什么感觉？这台移动照相机把旧照片变成了现代风格

还原这些历史照片，不仅要考虑模糊、褪色、噪点、分辨率低等问题，还要考虑不同老照片的色彩敏感度差异。

小茶来自奥菲寺

量子报告| QbitAI，微信官方账号

如何用iPhone拍林肯的头像？除了穿越回19世纪，还可以试试这个“穿越相机”。

自从100多年前摄影技术发明以来，无数历史名人留下了黑白照片。但由于时代不同，技术不同，岁月侵蚀，这些历史照片逐渐被扭曲。

能不能用现代相机的风格把它们还原成原来的样子？

现在，来自华盛顿大学、加州大学伯克利分校和谷歌的最新论文《时间旅行照片》在屏幕上显示了这些照片中的历史人物。

例如居里夫人，爱迪生和林.

有放大缺陷的老照片怎么还原

从黑白照片甚至肖像中恢复人脸并不是什么新鲜事。例如，修复兵马俑和古代皇帝的视频最近在社交网络上变得流行起来。

但是从古代照片中恢复人脸要复杂得多。

我们来看一张修复后的著名作家卡夫卡的照片。张等人回收的照片看起来皮肤上有很多瑕疵，而“穿越镜头”回收的照片似乎自带了“磨皮”。

那么之前还原的照片是否更真实呢？

事实并非如此。卡夫卡脸上的瑕疵是当年的负片技术造成的。如果单纯填充黑白照片，并不能完全刻画老片的特点和老化过程。

第一张玻璃摄影胶片只对蓝光和紫外光敏感，1873年推出的新型摄影乳胶只对绿光和蓝光敏感。

由于对红光缺乏敏感性，人物脸上的雀斑和皱纹扩大，嘴唇变黑。

所以当我们今天看林肯的原始照片时，会发现林肯的脸上呈现出许多夸张的皱纹：

1907年，一种对红、蓝、绿三色敏感的全彩色胶片诞生了。所以1913年用新技术拍摄的panks ter(55岁)面部皮肤干净光滑多了：

所以要还原这些历史照片，不仅要考虑模糊、褪色、噪点、分辨率低等问题，还要考虑不同老照片的感光度差异。

与以前的方法相比，这种“直通摄像头”避免了当时技术造成的失真。

从StyleGAN2开始，

对于1873年以前的照片，作者使用的是蓝光感光模型。对于1873年到1907年的照片，他手动在蓝光感光和正片底片之间进行选择，然后对于1907年以后拍的照片，他手动选择了所有的型号。

作者使用StyleGAN2框架将旧照片映射到现代高分辨率照片的空间中，从而在一个统一的框架中实现所有这些效果。

作者借鉴了其他彩色样本图像，这些图像与黑白图像具有相似的面部特征，但包含高频细节、自然颜色和光照。为了进一步缩小输入图像与现代人像之间的感知身份差距，他们还设计了特别适合老照片的重构损失。

该模型的结构如下：

1、相同的编码器

以低分辨率灰度参考图像I为输入，生成颜色真实、五官相似的兄弟图像Is。

2.同一级别的颜色和细节转换

为了进一步限制颜色和皮肤细节，并使其与对等图像相匹配，该模型引入了颜色转换损失Lcolor来强制StyleGAN2的ToRGB层输出与对等图像之间的相似性。

3.旧照片重建丢失

为了进一步缩小输入图像与现代人像之间的感知身份差距，作者专门设计了Lrecon，适合老照片的重建丢失，对老照片的缺陷具有鲁棒性。

4.潜在编码优化

叠加所有先前的损失函数，以优化和生成最终图像。

据作者介绍，在NVIDIA泰坦x上生成这样一张10241024的照片需要10分钟。

与其他修复老照片的方法相比，“穿越镜头”的效果明显更有真实感。

但是，“直通镜头”还是有一些缺点的。

首先恢复人物分布和配件有错误，否则细节会丢失。

此外，照片的生成也取决于统计图像的选择。如果选择了与原照片不同的种族或性别，会导致黑人变白，女人变成男人。

作者简介

本文作者包括来自华盛顿大学、加州大学伯克利分校和谷歌的六位学者。

第一作者是罗轩，毕业于上海交通大学ACM班。她现在在华盛顿大学学习。

今年，她还发表了一篇关于“淹没食堂”的简历论文，因其惊人的效果而引起了轩然大波。

交大毕业后，罗轩选择在华盛顿大学学习“虚拟视觉”，之后在迪士尼、谷歌等知名企业实习。

作者在项目首页表示，“穿越镜头”的代码即将开源。但是按照《淹没食堂》这篇论文的开源节奏，可能要等两三个月。