全球人工智能与机器人峰会 CCF-GAIR 2019
您正在使用IE低版浏览器,为了您的雷锋网账号安全和更好的产品体验,强烈建议使用更快更安全的浏览器
人工智能学术 正文
发私信给汪思颖
发送

0

CVPR 2019 召开在即,亮风台端到端的投影仪光学补偿入选 oral 论文

本文作者:汪思颖 2019-05-21 10:54 专题:CVPR 2019
导语:主要用于解决投影仪光学补偿问题,即当投影屏幕不是理想的白色漫反射时,尽可能消除投影面上的图案。

雷锋网(公众号:雷锋网) AI 科技评论消息,随着 CVPR 2019 的临近,越来越多的企业和高校公布自家的入选论文信息。

近日,AR 产品与服务提供商亮风台公布了投影 AR 算法研究最新成果,主要用于解决投影仪光学补偿问题,即当投影屏幕不是理想的白色漫反射时,尽可能消除投影面上的图案,相关论文《End-to-end Projector Photometric Compensation》已经入选 CVPR 2019 的 oral presentation 环节。以下便是亮风台对这篇论文的详细解读。

《End-to-end Projector Photometric Compensation》的贡献主要在以下几点:

1. 首次将投影仪光学补偿问题阐述为一个端到端的深度学习问题,然后构造一个新颖的名为 CompenNet 的卷积神经网络(CNN)来隐式的学习这个复杂的补偿函数。

2. 首次提出一个独立于设备和实际投影的数据库和评价基准,今后类似的工作可以在这个评价基准上统一比较,而不需要复现该研究中使用的设备和实际投影,以前的工作是没有这样的评价基准的。

3. 提供了一个预训练的方法,将预训练好的 CompenNet 迁移到新的投影屏幕和硬件设置上,只需要拍摄少量的采样图片就可以媲美甚至超过从零开始训练 CompenNet 和传统方法,这样可以大量的节省采样图拍摄时间和训练时间。

4. 在亮风台提出的评价基准上比较了 CompenNet 和其他传统的方法,以及一个通用的图到图迁移的深度学习框架 pix2pix,实验结果显示在数值和质量效果上新方法都大幅度优于其他参与比较的方法。

背景介绍

这篇工作主要解决投影仪光学补偿问题,即当投影仪屏幕不是理想的白色漫反射时,屏幕的颜色和纹理会导致用户看到失真的效果,如下图 1 所示。

CVPR 2019 召开在即,亮风台端到端的投影仪光学补偿入选 oral 论文

图 1. (a) 正常光照下的具有纹理和颜色的投影屏幕。(b) 投影仪投射的图片(也是我们想要看到的效果)。(c) 相机拍摄到的,没有补偿的投影结果,即将 (b) 直接投影到 (a) 上。(d) 我们模型计算出的补偿图。(e) 相机拍到的补偿后的效果,即将 (d) 投影到 (a) 上。比较 (c) 和 (e),可以看到明显提升的效果和细节。

为了解决投影仪光学补偿问题,一般是用一个相机来拍摄大量的投影仪投射的图片,然后从这些拍到的和投射的图片对中拟合出一个光学补偿函数,再将要投射的图片经过这个光学补偿函数补偿,最后由投影仪投射,这样投射的补偿正好可以抵消非理想屏幕的颜色、纹理和投影仪本身的非线性光学特性。

但是以上的光学过程过于复杂,所以很多传统方法以及目前效果较好的算法,都是将这个过程简化为投影仪像素与相机拍到的像素只是一一对应,然后独立地对每个像素拟合一个光学补偿函数。这样的假设,往往忽略了很多重要信息,比如由于投影仪和相机跟屏幕的距离,投影仪相机轻微失焦和屏幕表面相互反射等因素,每一个投影仪的像素并不是跟每个相机像素一一对应,很可能一个投影仪像素覆盖了几个相机的像素,这样的简化势必影响投影仪光学补偿的效果,实验的结果也印证了这一点。

研究方法

为了避免过于简化,我们采用一个新思路,即用 CNN 网络来端到端隐式地学习这个复杂的光学补偿函数。这样的好处主要是:

1. CNN 有足够的模型复杂度来拟合复杂的光学过程。

2. CNN 滤波器本身就对领域像素采样,这样我们不需要像传统方法那样进行像素一一对应的简化。

3. 根据我们的数学推导,发现可以用一张相机拍到的屏幕照片CVPR 2019 召开在即,亮风台端到端的投影仪光学补偿入选 oral 论文来表示投影屏幕本身的光学特性,然后将这张照片作为 CompenNet 的第二个输入,指导 CompenNet 学习相机拍摄的失真图CVPR 2019 召开在即,亮风台端到端的投影仪光学补偿入选 oral 论文和屏幕光学特性CVPR 2019 召开在即,亮风台端到端的投影仪光学补偿入选 oral 论文的关系, 如下图 2 所示。

CVPR 2019 召开在即,亮风台端到端的投影仪光学补偿入选 oral 论文

图 2. CompenNet 的结构。比较训练(左)和补偿(右)过程,我们发现学习从相机拍摄的未补偿图到投影仪输入图片的反映射CVPR 2019 召开在即,亮风台端到端的投影仪光学补偿入选 oral 论文,就是学习从投影仪输入图片(想要用户看到的效果)到补偿图片的映射CVPR 2019 召开在即,亮风台端到端的投影仪光学补偿入选 oral 论文

网络训练和光学补偿的流程如下图 3 所示。

CVPR 2019 召开在即,亮风台端到端的投影仪光学补偿入选 oral 论文

图 3. 所提出的投影仪补偿管道的流程图包括三个主要步骤。(a)投影并捕捉投影表面图和一组采样图像。(b)使用投影表面图和捕获的图像对训练所提出的 CompenNet,即CVPR 2019 召开在即,亮风台端到端的投影仪光学补偿入选 oral 论文。(c)利用训练的模型,补偿输入图像CVPR 2019 召开在即,亮风台端到端的投影仪光学补偿入选 oral 论文并投影。

实验结果:

CVPR 2019 召开在即,亮风台端到端的投影仪光学补偿入选 oral 论文

CVPR 2019 召开在即,亮风台端到端的投影仪光学补偿入选 oral 论文

图 4. 相机拍摄的补偿效果比较。第一列:投影仪屏幕表面纹理。第二列:相机拍摄的未补偿效果。第三到第六列,相机拍摄的不同补偿方法补偿后的效果。第七列,投影仪的输入,即想要用户看到的效果。

CVPR 2019 召开在即,亮风台端到端的投影仪光学补偿入选 oral 论文

表 1. 不同补偿方法的数值比较,以下数值是平均了来自于 24 个不同环境设置,即光照、投影仪、相机姿态和投影仪表面纹理的结果。每个环境设置有 500 张训练图,200 张测试图。可以明显看到在投影仪光学补偿任务上,这一方法优于传统方法和 pix2pix。

CVPR 2019 召开在即,亮风台端到端的投影仪光学补偿入选 oral 论文

表 2. CompenNet 预训练与重新训练的比较。我们只采用 32 个训练样本并只训练 500 个循环,总共耗时 170 秒。可以明显看到,微调预训练模型的结果优于重新训练 CompenNet,而且因为只需要少量样本和训练时间,在实际使用中也更便捷。

论文地址:https://arxiv.org/pdf/1904.04335.pdf

补充材料:http://www.dabi.temple.edu/~hbling/publication/CompenNet_sup.pdf

源代码:https://github.com/BingyaoHuang/CompenNet

雷锋网版权文章,未经授权禁止转载。详情见转载须知

CVPR 2019 召开在即,亮风台端到端的投影仪光学补偿入选 oral 论文
分享:
相关文章

文章点评:

表情
最新文章
请填写申请人资料
姓名
电话
邮箱
微信号
作品链接
个人简介
为了您的账户安全,请验证邮箱
您的邮箱还未验证,完成可获20积分哟!
请验证您的邮箱
立即验证
完善账号信息
您的账号已经绑定,现在您可以设置密码以方便用邮箱登录
立即设置 以后再说