admin
08-30 05:12
87次浏览
点击上方，选择星标或置顶，每天给你送干货！
来自：天宏NLP
本文介绍一篇2020EMNLP-findings上的论文《Consistent Response Generation with Controlled Specificity》，介绍在对话生成中控制回复的specificity。
所谓specificity，我把它翻译成“具体的程度”，举个例子，我跟机器说：“今天天真冷”，机器可以以三种不同的specificity回答我：
是的
确实挺冷的
哎呀 心疼 喝热水，多穿 快回 外面冷，你忙 好梦 早点睡，早安 晚安 睡了没，确实冷，多喝热水注意保暖别着凉了
谁不想要一个像第3种这么贴心的聊天机器人呢？（
这篇论文其实是作者发表在2019ACL workshop上的工作《Relevant and Informative Response Generation using Pointwise Mutual Information》的延续。
这篇论文提出了一个叫做Positive Pointwise Mutual Information(PPMI)的东西，首先使用PPMI给训练集中的每个word打分，找出keywords，设计了一个loss，鼓励模型生成属于keywords的单词，做法和下面要介绍的论文大同小异。
PPMI的定义如下， 为单词 出现在上句 中的概率， 为单词 出现在回复 中的概率， 是单词 和 同时分别出现在一对 中的概率，这些概率P都可以通过对训练集预先的统计得到。由此可以得到PPMI矩阵，PPMI[x][y]就是PPMI(x, y)的值，预先存储好以供后面模型使用。
作者进一步提出一条数据的MaxPMI，定义如下
通过min-max normalization将每条数据的MaxPMI分数归一化
模型的整体架构如下
模型架构
首先对于一条数据 ，使用GRU将utterance? 编码为一个向量 ，然后把这条数据的MaxPMI分数丢到一个多层全连接网络里(MLP)输出一个vector? ，接着把整个词表 上的每一个单词 和utterance? 中所有的单词 求PPMI分数之和，得到一个长度和词表大小 一样的vector? ，
然后，同样地把 丢到一个多层全连接网络中输出一个vector? ，把得到的三个向量给concat起来得到 ，把h作为decoder的初始状态，因此decoder应该可以利用PPMI所定义的词与词之间的共现关系，来学习如何生成更具体specific的回复。
为了直接地提升decoder输出更specific的单词的概率，作者还把 和decoder在每个timestep i输出的概率 通过加权的方式加在了一起得到
用于平衡二者，由decoder当前输出的隐状态 通过一层MLP得出
Inference阶段只需要手动定义MaxPMI的值s，就可以生成不同specificity程度的回复。同时作者还提出inference不手动提供值s的方法，可使用下式自动求出 的值， 是整个词表， 是给出的问句
作者的实验在DailyDialog和Twitter(Japanese)上进行，对比的模型是SC-Seq2Seq，它出自ACL2018上的《Learning to Control the Specificity in Neural Response Generation》，同样是控制生成的，最大的区别可能在于本文用的是作者定义的PPMI，那篇也是作者定义了一个指标，并提前告诉decoder每个词的得分。
作者发现使用 的效果最好
作者也举了一个生成效果的例子，通过控制s的大小可以操控回复的specificity
有什么想法欢迎在评论区讨论，扫码关注加星标以第一时间获得推送文章～
说个正事哈
由于微信平台算法改版，公号内容将不再以时间排序展示，如果大家想第一时间看到我们的推送，强烈建议星标我们和给我们多点点【在看】。星标具体步骤为：
（1）点击页面最上方“深度学习自然语言处理”，进入公众号主页。
（2）点击右上角的小点点，在弹出页面点击“设为星标”，就可以啦。
感谢支持，比心。
投稿或交流学习，备注：昵称-学校（公司）-方向，进入DL&NLP交流群。
方向有很多：机器学习、深度学习，python，情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。
记得备注呦
推荐两个专辑给大家：
专辑 |?mldtk人类语言处理2020笔记
专辑 | NLP论文解读
专辑 |?情感分析
整理不易，还望给个在看！
CSS中div滚动条样式如何设置
错误651宽带连接解决办法,错误郑愁原文
急性心肌梗死最特异敏感,敏感系数怎么理解
