清华对话式人工智能课题组六篇长文被ACL 2018、IJCAI-ECAI 2018录用

雷锋网 AI 科技评论按：本文首发于「人工智能THU」，作者钱桥，雷锋网 AI 科技评论获授权转载。

ACL 2018, the 56th Annual Meeting of the Association for Computational Linguistics 将于 2018 年 7 月 15 日至 20 日在澳大利亚墨尔本举行。ACL 是自然语言处理领域的顶级国际会议，被评定为 CCF-A 类会议，起于 1963 年每年举办一次。本届会议共收到 1621 篇投稿（长文 1045 篇，短文 576 篇），录取文章约占投稿总量的 20%。

IJCAI-ECAI 2018, the 27th International Joint Conference on Artificial Intelligence and the 23rd European Conference on Artificial Intelligence 将于 2018 年 7 月 13 日至 19 日在瑞典斯德哥尔摩举行，由 IJCAI、EurAI 和 SAIS 联合发起举办。IJCAI 是人工智能领域的顶级国际会议，被评定为 CCF-A 类会议。IJCAI 起于 1969 年，每两年举办一次，随着投稿量的增加，2016 年起每年举办一次。本届会议共收到 3470 篇长文投稿，其中 710 篇被录取。

清华大学计算机系对话式人工智能课题组多篇论文被 ACL 2018 和 IJCAI-ECAI 2018 会议录用，涉及对话系统、语言生成、强化学习等领域。下面是论文列表及介绍：

• Generating Informative Responses with Controlled Sentence Function

作者：柯沛、关健、黄民烈、朱小燕

会议：ACL 2018 长文

本文着眼于闲聊对话生成领域，研究如何控制生成回复的全局功能特征，并解决功能控制和内容丰富性的兼容问题。句子功能（Sentence Function）是一种重要的语言学特征，按句子功能可将语言划分为疑问句、陈述句、祈使句等多个类别，该特征在对话中能够体现说话者的目的。本文引入条件变分自编码器，利用隐变量来建模和控制生成回复的功能特征；同时，我们在模型中设计了类别控制器，解码回复中的每个词之前会先根据隐变量和当前解码状态预测待生成词所属的类别（即功能控制词、话题词或普通词），再根据类别信息解码出相应的词，使得功能特征和内容信息能够在生成的回复中有机结合。自动评测和人工评测的结果表明，我们的模型生成的回复不仅在结构上符合设定的功能类别，而且在内容上具备丰富的信息量。

• Learning to Ask Questions in Open-domain Conversational Systems with Typed Decoders

作者：王延森，刘辰屹，黄民烈，聂礼强

会议：ACL 2018 长文

（本篇文章与山东大学聂老师合作）

本文研究如何赋予开放领域对话系统提问的能力，从而增强闲聊系统的交互性与持续性。如何提一个好问题，也较大程度体现了机器理解的能力。我们发现，一个好的提问由三种类型的词构成：疑问词、主题词与普通词，为此我们提出了"类型化解码器"（Soft/Hard Typed Decoder）。在每个解码的位置上，解码器会先决定生成词的类型分布，并利用概率偏置提高生成对应类型词的可能性。对于 Soft 类型化解码器而言，每个解码位置上词的类别分布与词的生成概率分布进行混合；对于 Hard 类型化解码器，我们采用了 Gumbel-Softmax 的概率操作技巧（近似 argmax 功能），使得解码器具有选择动态词表的能力。自动评测和人工评测的结果说明了我们的模型所生成的提问相对基线模型具有明显的优势，更容易驱动对话继续下去。

• Commonsense Knowledge Aware Conversation Generation with Graph Attention

作者：周昊，杨天吉，黄民烈，赵海舟，许静芳，朱小燕

会议：IJCAI-ECAI 2018 长文

（本篇文章与搜狗公司许静芳团队合作）

本文研究如何通过常识知识的引入提升对话模型在开放领域对话生成任务上的语言理解和生成能力。给定用户输入的语句，对话模型首先从常识知识库中检索出相关的知识图谱，然后使用一种静态的图注意力机制，将这些知识图谱编码成向量输入到编码器中，通过丰富语义知识从而提升模型对语言的理解能力。在语言生成的过程中，模型通过动态的图注意力机制根据当前解码器状态注意到合适的知识图谱以及其内的知识三元组，之后选择合适的常识知识或普通单词去生成，从而加强了模型的语言生成的信息量和知识方面的连贯性。自动评测和人工评测结果说明了我们提出的引入常识知识的对话模型可以生成语义合适且富有信息量的回复。

• A Weakly Supervised Method for Topic Segmentation and Labeling in Goal-oriented Dialogues via Reinforcement Learning

作者：高信龙一，黄民烈，陈海青，赵中州，李凤麟，朱小燕，聂礼强

会议：IJCAI-ECAI 2018 长文

（本篇文章与阿里巴巴陈海青团队合作）

本文研究话题结构分析在理解任务导向性对话上的作用，我们基于弱监督学习对大规模无标签的对话语料进行话题分割与标注，采用深度强化学习方法来建模对聊天对话中意图识别的未来奖励。模型由一个基于层次化 LSTM 的表示学习网络，和一个在对话主题的局部连续性与全局结构性的奖励序列上实现最优的强化学习网络两部分组成。首先用简单的先验知识自动对数据进行粗标注，然后通过两个网络的迭代训练来进一步提炼数据。大量实验的评价与分析证明了我们新提出的训练模式在该任务上有显著的提升。

• Assigning Personality to a Chatting Machine for Coherent Conversation Generation

作者：钱桥 黄民烈 赵海舟 许静芳 朱小燕

会议：IJCAI-ECAI 2018 长文

（本篇文章与搜狗公司许静芳团队合作）

为聊天机器人赋予固定的人物设定是对话领域的重大挑战之一，本文着眼于聊天机器人在提及自身属性时是否可以给出与人设相符的答案，同时保证了前后回答的一致性。我们提出了一种方法，使用从社交媒体上抓取的通用对话数据训练生成模型，使用有监督的属性检测器 (Profile Detector) 判断用户的问题是否提及聊天机器人的属性设定，以及具体哪一条预设的属性值。随后使用训练好的双向解码器 (Bidirectional Decoder) 生成包含属性值的回复。此外，为了消除训练数据与预设属性值不一致的问题，我们使用无监督的属性值定位器 (Position Detector) 来帮助模型更好地训练。我们同时使用了自动评价和人工评价，实验结果表明我们生成的回复通顺、逻辑正确并且语言多样化。

• Densely Connected CNN with Multi-scale Feature Attention for Text Classification

作者：王诗瑶 黄民烈 邓志东

会议：IJCAI-ECAI 2018 长文

（注：王诗瑶是邓志东教授的博士生，黄民烈老师合作指导该论文工作）

用于文本分类的卷积神经网络大多数采用固定窗口大小的卷积核，因此无法灵活地学习可变 n-gram 特征。在本文中，我们提出了一种密集连接的卷积神经网络，其包含基于多尺度特征的注意力模型。密集的连接建立了底层特征和高层特征之间的跨层连接，从而产生丰富的多尺度特征，即可变的 n-gram 特征。此外，我们提出了多尺度特征的注意力模型，使其可以自适应地选择合适的特征尺度用于文本分类。实验表明，我们的模型在六个公开数据集上达到了超过基线的效果。注意力模型的可视化进一步揭示了该模型具有为文本分类选择合适的 n-gram 特征的能力。

雷峰网版权文章，未经授权禁止转载。详情见转载须知。