0
| 本文作者：大壮旅 | 2016-07-25 20:42 |
最近大火的应用Prisma恐怕击中了不少人的软肋，那种让普通照片变身艺术作品的感觉确实非同凡响。不过，加个滤镜谁都会，但能将抽象变得具体恐怕就不那么容易了。眼下，在荷兰研究者的努力下，这一概念正在变成现实。
荷兰内梅亨大学的四位神经科学家正在利用深度神经网络打造新的模型，利用该模型，用户可以将普通的面部素描作品变成逼真的图片。这项名为卷积素描反转（Convolutional Sketch Inversion）的研究开始登陆了在线论文预印平台arXiv（未经同行评审的论文），不过现在已经得到了欧洲计算机视觉会议的首肯。
神经科学家们表示，他们的模型可以兼容各种艺术品，将自画像转换成普通照片。不过，恐怕其最大的受益者还是警方，因为原本不甚清晰的目击者描述终于可以变成正常的照片了。
“我们做出这个模型也是受了neural style（让机器模仿已有画作的绘画风格来把一张图片重新绘制的算法）的启发，”参与研究的神经科学家Yağmur Güçlütürk和Umut Güçlü说道。
此前，他们曾将一张德国蒂宾根市的风景图转换成了类似梵高名作《星夜》风格的油画。“这次经历让我们有了新的思考，反过来转换会如何呢？梵高的《星夜》又会变成什么模样？”Güçlütürk和Güçlü写道。
在研究论文中，Güçlütürk和Güçlü讲解了他们类神经网络软件的工作方式：
“下面，我们来解释下类神经网络是如何将素描转换成普通照片的。首先，我需要搭建一个庞大的数据集，并为其填充各种素描和照片（成对的）。随后，我开始向类神经网络展示素描，并要求它转换成照片。起初，类神经网络的准确度一般。将其转换的图片与数据库进行对比后，我会指出类神经网络的失误。根据这些反馈，类神经网络需要不断调整策略并最终给出精确的转换图片。”
图注：类神经网络的作品，左边的图片是原版，中间为素描，右侧的则是算法转换出的图片，精确度确实相当高。
熟能生巧，只要不断地进行重复，该模型就学会了匹配素描和图片。
“我们不断重复最后两步，”Güçlütürk和Güçlü说道。“最终，类神经网络终于能转换出较为完美的图片了。如果一切顺利，未来类神经网络不但可以转换看到过的素描，在转换全新素描时也能有相当高的准确度。”
为了不断训练并测试这一算法，神经科学家还用上了电脑生成的素描，这些素描主要基于CelebA数据集（大规模名人人脸标注数据集，包含20万+的名人图片）和LFW数据集（13000+网络图片）。
除了拿自己的脸部素描做实验，神经科学家们还用了三个荷兰著名艺术家的自画像（伦勃朗、梵高和埃舍尔）。
图注：三位著名艺术家自画像的转换
眼下，Güçlütürk和Güçlü正考虑如何将该技术推向市场。据悉，艺术市场和法庭可能是首批沐浴新技术的领域。Güçlütürk和Güçlü表示：“我们的子公司已经开始了前期准备，希望能尽快将该技术推向市场。”
雷峰网原创文章，未经授权禁止转载。详情见转载须知。
