Facebook开发超采样技术
发布时间：2020-07-06 发布者：亚时财经
互联网巨头Facebook近期又宣布开发出一种新技术。该技术名为“神经超采样”（neural supersampling），是一种根据人工智能机器学习为基础的提高图像清晰度的算法技术，跟NVIDIA的DLSS“深度学习超采样”技术相似。Facebook的研究人员发表了一篇文章来介绍这项技术，并将在即将召开的SIGGRAPH 2020大会上介绍它。
（图源：网络）
这种“神经超采样”算法可以获得低分辨率的渲染帧并将其放大16倍。这使得芯片能够以较低的分辨率进行渲染，同时意味着更多的GPU功能可以自由运行详细的着色器和高级效果，缩小移动虚拟现实和控制台虚拟现实的差距。
而该算法能达到16倍提升，主要还是得益于Facebook先进的神经网络。在所提供的示例图像中，Facebook的算法似乎已经达到了可以重建线条或网格图案等精细细节的地步。
Facebook也声称自己的神经网络是最先进的，并且超越其他所有相似算法。
值得一提的是，虽然“超采样技术”跟NVIDIA的DLSS“深度学习超采样”技术相似。但不同的是，这个神经超采样并不需要专门的硬件或者软件就能实现，基本可以媲美DLSS的效果。同时该技术还可应用于许多现有的软件平台、加速硬件和显示器。
研究人员还说，他们观察到对于神经超采样来说，由运动向量提供的额外的辅助信息起到了关键作用，运动向量决定了连续帧内像素之间的几何学对应。这些值通常由计算机视觉方法进行估算，但这样的光学流动模拟算法容易出错。
相对的，渲染引擎可以直接制作密集的运动向量，从而得到可靠的、丰富的输入信息，提供给神经超采样，应用于渲染画面内容。因此，他们结合了额外的辅助信息，使用创新的时空神经网络设计，将图片和视频品质最大化，同时提供实时运算性能。
据悉，此前Facebook的研究人员为了降低渲染成本，将输入图像分辨率调低，再通过一种实时后处理过程将其upsample（上采样）至目标显示分辨率。这种上采样过程利用了神经网络并以场景统计进行训练，从而能够恢复清晰的细节，同时节省在实时应用程序中直接渲染所述细节的计算开销。
尽管已经存在大量关于摄影图像的机器学习上采样的研究，但没有一个直接谈及渲染内容（如游戏引擎生成的图像）的独特需求。这是因为渲染图像和摄影图像在图像形成方面有根本区别。在实时渲染中，渲染内容通常会产生锯齿状的线条和其他采样伪影。
随着AR/VR显示器向着更高分辨率、更快的帧速率和更高的真实感的方向发展，神经超采样方法可能是通过从场景数据中推断出清晰细节而不是直接渲染这些细节的关键。并且文章中还提到，神经超采样技术可能会应用于AR和VR程序，为Facebook的Oculus平台提供便利。后续研究如果效果反响好，也将应用在别的3D游戏中。
责任编辑：Carrick
特别声明：本站转载或引用之图文若侵犯了您的合法权益，请与本站联系，本站将及时更正、删除。版权问题及网站合作，请通过亚时财经邮箱联系：asiatimescn@sina.com
热门话题更多>>
国务院国资委网站3月31日发布消息，经报国务院批..[查看详细]
2021-04-01 10:43
3月份中国制造业采购经理指数、非制造业商务活动指..[查看详细]
2021-03-31 10:20
联合国粮农组织公布的数据显示，2021年2月份，..[查看详细]
2021-03-25 15:22
3月22日，中国电子信息产业发展研究院发布的《2..[查看详细]
2021-03-22 16:53
风电板块走强，节能风电拉升涨停，大金重工涨超6%..[查看详细]
2021-03-19 10:47
3月18日，国家互联网信息办公室、公安部加强对语..[查看详细]
2021-03-18 19:36
1-2月份，在以习近平同志为核心的党中央坚强领导..[查看详细]
2021-03-15 14:41
3月11日，国务院总理李克强在人民大会堂三楼金色..[查看详细]
2021-03-12 10:00
今日，核电板块走强，整个指数大涨4%。截至发稿，..[查看详细]
2021-03-08 15:11
今天上午，十三届全国人大四次会议在人民大会堂开幕..[查看详细]
2021-03-05 15:06
