您正在使用IE低版浏览器,为了您的雷锋网账号安全和更好的产品体验,强烈建议使用更快更安全的浏览器
此为临时链接,仅用于文章预览,将在时失效
人工智能开发者 正文
发私信给AI研习社
发送

0

当 AI 邂逅艺术:机器写诗综述

本文作者:AI研习社 编辑:贾智龙 2017-05-12 17:50
导语:用RNN写诗,是什么效果?

引言

什么是艺术?
机器的作品能否叫艺术?
机器能否取代艺术家?

这些问题,相信不同的人,会有不同的答案。很多人认为机器生成的作品只是简单的模仿人类,没有创造性可言,但是人类艺术家,不也是从模仿和学习开始的吗?本文是为 PaperWeekly 写的一篇机器诗歌生成的综述文章,希望能增进大家对这个领域的了解。

诗歌是人类文学皇冠上的明珠。我国自《诗经》以后,两千年来的诗篇灿若繁星。让机器自动生成诗歌,一直是人工智能领域一个有挑战性的工作。

基于传统方法的诗歌生成

机器诗歌生成的工作,始于 20 世纪 70 年代。传统的诗歌生成方法,主要有以下几种:

  • Word Salada(词语沙拉):是最早期的诗歌生成模型,被称作只是简单将词语进行随机组合和堆砌而不考虑语义语法要求。

  • 基于模板和模式的方法:基于模板的方法类似于完形填空,将一首现有诗歌挖去一些词,作为模板,再用一些其他词进行替换,产生新的诗歌。这种方法生成的诗歌在语法上有所提升,但是灵活性太差。因此后来出现了基于模式的方法,通过对每个位置词的词性,韵律平仄进行限制,来进行诗歌生成。

  • 基于遗传算法的方法:周昌乐等 [1] 提出并应用到宋词生成上。这里将诗歌生成看成状态空间搜索问题。先从随机诗句开始,然后借助人工定义的诗句评估函数,不断进行评估,进化的迭代,最终得到诗歌。这种方法在单句上有较好的结果,但是句子之间缺乏语义连贯性。

  • 基于摘要生成的方法:严睿等 [2] 将诗歌生成看成给定写作意图的摘要生成问题,同时加入了诗歌相关的一些优化约束。

  • 基于统计机器翻译的方法:MSRA 的何晶和周明 [3] 将诗歌生成看成一个机器翻译问题,将上一句看成源语言,下一句看成目标语言,用统计机器翻译模型进行翻译,并加上平仄押韵等约束,得到下一句。通过不断重复这个过程,得到一首完整的诗歌。

基于深度学习技术的诗歌生成

传统方法非常依赖于诗词领域的专业知识,需要专家设计大量的人工规则,对生成诗词的格律和质量进行约束。同时迁移能力也比较差,难以直接应用到其他文体(唐诗,宋词等)和语言(英文,日文等)。随着深度学习技术的发展,诗歌生成的研究进入了一个新的阶段。

RNNLM

基于 RNN 语言模型 [4] 的方法,将诗歌的整体内容,作为训练语料送给 RNN 语言模型进行训练。训练完成后,先给定一些初始内容,然后就可以按照语言模型输出的概率分布进行采样得到下一个词,不断重复这个过程就产生完整的诗歌。Karpathy 有一篇文章,非常详细的介绍这个:The Unreasonable Effectiveness of Recurrent Neural Networks

Chinese Poetry Generation with Recurrent Neural Networks

RNNPG 模型 [5],首先由用户给定的关键词生成第一句,然后由第一句话生成第二句话,由一,二句话生成第三句话,重复这个过程,直到诗歌生成完成。模型的模型由三部分组成:

  • Convolutional Sentence Model(CSM):CNN 模型,用于获取一句话的向量表示。

  • Recurrent Context Model (RCM):句子级别的 RNN,根据历史生成句子的向量,输出下一个要生成句子的 Context 向量。

  • Recurrent Generation Model (RGM):字符级别 RNN,根据 RCM 输出的 Context 向量和该句之前已经生成的字符,输出下一个字符的概率分布。解码的时候根据 RGM 模型输出的概率和语言模型概率加权以后,生成下一句诗歌,由人工规则保证押韵。

模型结构如下图:

当 AI 邂逅艺术:机器写诗综述

模型生成例子如下图:

当 AI 邂逅艺术:机器写诗综述

Chinese Song Iambics Generation with Neural Attention-based Model

模型 [6] 是基于 attention 的 encoder-decoder 框架,将历史已经生成的内容作为源语言,将下一句话作为目标语言进行翻译。需要用户提供第一句话,然后由第一句生成第二句,第一,二句生成第三句,并不断重复这个过程,直到生成完整诗歌。
基于 Attention 机制配合 LSTM,可以学习更长的诗歌,同时在一定程度上,可以保证前后语义的连贯性。

模型结构如下图:

当 AI 邂逅艺术:机器写诗综述

模型生成例子如下图:

当 AI 邂逅艺术:机器写诗综述

Chinese Poetry Generation with Planning based Neural Network

模型 [8] 不需要专家知识,是一个端到端的模型。它试图模仿人类开始写作前,先规划一个写作大纲的过程。整个诗歌生成框架由两部分组成:规划模型和生成模型。

规划模型:将代表用户写作意图的 Query 作为输入,生成一个写作大纲。写作大纲是一个由主题词组成的序列,第 i 个主题词代表第 i 句的主题。

生成模型:基于 encoder-decoder 框架。有两个 encoder, 其中一个 encoder 将主题词作为输入,另外一个 encoder 将历史生成的句子拼在一起作为输入,由 decoder 生成下一句话。decoder 生成的时候,利用 Attention 机制,对主题词和历史生成内容的向量一起做打分,由模型来决定生成的过程中各部分的重要性。

前面介绍的几个模型,用户的写作意图,基本只能反映在第一句,随着生成过程往后进行,后面句子和用户写作意图的关系越来越弱,就有可能发生主题漂移问题。而规划模型可以使用户的写作意图直接影响整首诗的生成,因此在一定程度上,避免了主题漂移问题,使整首诗的逻辑语义更为连贯。

总体框架图如下:

当 AI 邂逅艺术:机器写诗综述

生成模型框架图如下:

当 AI 邂逅艺术:机器写诗综述

诗歌图灵测试:给定一个题目,让机器和人分别做一首诗 ,由人来区分哪首诗是人写的。实验结果也很有意思,对普通人来说,已经无法区分诗是由机器生成的还是人生成的,下面是一组测试的例子:

当 AI 邂逅艺术:机器写诗综述

现代概念诗歌生成例子:

当 AI 邂逅艺术:机器写诗综述

i, Poet: Automatic Poetry Composition through Recurrent Neural Networks with Iterative Polishing Schema

模型 [7] 基于 encoder-decoder 框架。encoder 阶段,用户提供一个 Query 作为自己的写作意图, 由 CNN 模型获取 Query 的向量表示。decoder 阶段,使用了 hierarchical 的 RNN 生成框架,由句子级别和词级别两个 RNN 组成。

句子级别 RNN:输入句子向量表示,输出下一个句子的 Context 向量。

字符级别 RNN:输入 Context 向量和历史生成字符,输出下一个字符的概率分布。当一句生成结束的时候,字符级别 RNN 的最后一个向量,作为表示这个句子的向量,送给句子级别 RNN。

这篇文章一个比较有意思的地方,是想模拟人类写诗反复修改的过程,加入了打磨机制。反复迭代来提高诗歌生成质量。

总体框架图如下:

当 AI 邂逅艺术:机器写诗综述

Generating Topical Poetry

模型 [9] 基于 encoder-decoder 框架,分为两步。先根据用户输入的关键词得到每句话的最后一个词,这些词都押韵且与用户输入相关。再将这些押韵词作为一个序列,送给 encoder, 由 decoder 生成整个诗歌。这种机制一方面保证了押韵,另外一方面,和之前提到的规划模型类似,在一定程度上避免了主题漂移问题。

模型框架图如下:

当 AI 邂逅艺术:机器写诗综述

生成例子如下:

当 AI 邂逅艺术:机器写诗综述

SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient

模型 [10] 将图像中的对抗生成网络,用到文本生成上。生成网络是一个 RNN,直接生成整首诗歌。而判别网络是一个 CNN。用于判断这首诗歌是人写的,还是机器生成的,并通过强化学习的方式,将梯度回传给生成网络。
模型框架图如下:

当 AI 邂逅艺术:机器写诗综述

总结

从传统方法到深度学习,诗歌生成技术有了很大发展,甚至在一定程度上,已经可以产生普通人真假难辨的诗歌。但是目前诗歌生成技术,学习到的仍然只是知识的概率分布,即诗句内,诗句间的搭配规律。而没有学到诗歌蕴含思想感情。因此尽管生成的诗歌看起来有模有样,但是仍然感觉只是徒有其表,缺乏一丝人的灵性。
另外一方面,诗歌不像机器翻译有 BLEU 作为评价指标,目前仍然依赖人工的主观评价,缺乏可靠的自动评估方法,因此模型优化的目标函数和主观的诗歌评价指标之间,存在较大的 gap,也影响了诗歌生成质量的提高。在围棋博弈上,以 AlphaGo 为代表的机器已经超过了人类顶尖选手,但是在诗歌生成上,离人类顶尖诗人水平,尚有很长的路要走。

参考文献

[1] 一种宋词自动生成的遗传算法及其机器实现
[2] i,Poet: Automatic Chinese Poetry Composition through a Generative Summarization Framework under Constrained Optimization
[3] Generating Chinese Classical Poems with Statistical Machine Translation Models
[4] Recurrent neural network based language model
[5] Chinese Poetry Generation with Recurrent Neural Networks
[6] Chinese Song Iambics Generation with Neural Attention-based Model
[7] i, Poet: Automatic Poetry Composition through Recurrent Neural Networks with Iterative Polishing Schema
[8] Chinese Poetry Generation with Planning based Neural Network
[9] Generating Topical Poetry
[10] SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient

雷锋网(公众号:雷锋网)按:本文原作者萧瑟,原载于作者的知乎专栏


深度学习之神经网络特训班

20年清华大学神经网络授课导师邓志东教授,带你系统学习人工智能之神经网络理论及应用!

课程链接:http://www.mooc.ai/course/65

加入AI慕课学院人工智能学习交流QQ群:624413030,与AI同行一起交流成长


雷锋网版权文章,未经授权禁止转载。详情见转载须知

当 AI 邂逅艺术:机器写诗综述

分享:
相关文章

文章点评:

表情

编辑

聚焦数据科学,连接 AI 开发者。更多精彩内容,请访问:yanxishe.com
当月热门文章
最新文章
请填写申请人资料
姓名
电话
邮箱
微信号
作品链接
个人简介
为了您的账户安全,请验证邮箱
您的邮箱还未验证,完成可获20积分哟!
请验证您的邮箱
立即验证
完善账号信息
您的账号已经绑定,现在您可以设置密码以方便用邮箱登录
立即设置 以后再说