【评论生成】AI生成评论,如何既相关又多样?

AI评论生成,如何既相关有多样?

筛选评论

Learning comment generation by leveraging user-generated data, ICASSP 2019

当前开放域的评论生成常常产生重复且无趣的回复。作者认为原因是直接使用真实用户评论会带入大量的噪音,比如同一篇文章会有多个、且可能相互矛盾的评论,并且由于检索方法会比较刻板,最终导致生成的结果问题。因此文章提出了结合检索和生成的方法,利用已有用户评论和检索出相关评论,训练一个打分器scorer(怎么训练呢?)。然后利用这些评论和文章,作为copy机制生成模型的训练数据。

image.png

上文提到了打分器,这里有三个:

  • relevance scorer:这里相关性是通过计算标题和评论的bag-of-word向量的点积,只不过向量的每个词语是带TF-IDF的权重。
  • upvote scorer:半监督的方法,主要是预测这些文章的评论没有任何赞。训练数据来源于文章中有评论的文章,并且评论至少10个赞做为正样本,其余负样本。模型如上,文章和评论通过BiLSTM之后,通过attention获得两者的context向量u
\\begin{array}{c}u=\\sum_{i=1}^{n} \\frac{\\exp \\left(e_{i}\\right)}{\\sum_{k=1}^{n} \\exp \\left(e_{k}\\right)} h_{i}^{a} \\ e_{i}=\\left(h_{i}^{a}\\right)^{T} \\mathbf{W}_{a} h\\_{m}^{c}\\end{array}
  • ensemble:集成上面俩,可以看到图中的α是一个超参,通过它平衡两者之间的权重,从而得到最终的得分。relevance是评估相关性,避免千篇一律,而upvote也是为了生成更好容易获赞的评论。

道理是这样,两个relevance和upvote也是文章的点,但是实际过程中,好评论不一定会获得很多点赞,因为点赞的基础是该作品有大量的人看到,而大多数长尾可能没有,或者冷启动阶段多数文章没有。所以大概率正样本都是热门的文章,因此对于冷门文章可能是欠拟合。
所以正样本和负样本选择还是有待考究。

而生成模型,用到的是CopyNet机制,通过设置超参控制生成和拷贝的概率叠加。

DeepCom

Read, Attend and Comment: A Deep Architecture for Automatic News Comment Generation, 2019
https://cloud.tencent.com/developer/news/454058

借鉴人的阅读思想,先读文章,然后选择自己的关注点,再进行评论。因此文章提出了reading network和generation network。

  • reading network:负责理解文章,提取重要的观点信息。
  • generation network:通过关注标题和reading网络获取的观点信息,来生成回复。

两个网络通过端到到的方式训练,目标是最大化真实目标的变分下界(variational lower bound)。

image.png

reading network:representation层分别对body和title做表征学习(title的token表征经过一个GRU获得隐变量表征,body通过attention加权和),然后fusion层对body和title做融合,然后prediction层是预测多个(开始,结束)对,每个对代表一段span。这样的话,不同的span就可以代表不同的要点。

Generation Network:输入HT和HS(要点span),然后按词解码输出评论

这篇文章挺复杂的。。。并且作者实验,没有reading网络效果下降最多,这一跨也是最复杂的。。。

TPGN

Generating Pertinent and Diversified Comments with Topic-aware Pointer-Generator Networks

相关性和多样性是评论生成的两个要点,本文提出了一种Topic-aware Pointer-Generator Networks (TPGN),通过提取文章中的topic,来知道生成相关和多样的评论。在encoder中引入keyword和topic级别的attention机制来获取文章中的topic信息,然后生成过程中在融合topic信息来知道评论的生成。

Keyword-level encoder attention:文章使用TextRank抽取关键词片段,然后放入BiLSTM后的final state作为keyword的表征h_n,然后h_n通过使用attention机制获取文章中词语加权获得最终的contex表征。

Topic-level encoder attention: 文章使用LDA主题模型和Gibbs采样从数据中训练topic向量表征,然后抽取主题的top n词语作为主题词,然后计算每个topic词语的向量表征。其中Cwz是该词w在topic z中出现的次数。

`$$

p(z \\mid w) \\propto \\frac{C{w z}}{\\sum{z^{\\prime}} C_{w z^{\\prime}}}

$$`

Pointer机制和之前提出的模型很像,也不是本文重点,就不介绍了。

Reader-Aware Topic Modeling

Generating Diversified Comments via Reader-Aware Topic Modeling and Saliency Detection, 2021, AAAI 2021

评论生成不仅要关注文章中的重点和有趣的信息,并且多样性也很重要,之前的一些论文关注文章中的重要信息,忽略了评估中的读者理解因素。因此论文提出一个读者理解的话题和关键信息检测的统一框架。

image.png

reader-aware topic modeling:从评论中获取读者的topic,提出variational generative clustering algorithm,从训练集中的评论语料获取K个读者的topic标注向量。

reader-aware saliency information detection:提出Bernoulli distribution estimating。预估文章中的每个词语是否重要,用于指导下游生成,模型即转化为一个序列任务,预估每个词语是否重要。

两个模块通过端到端方式集合生成任务一起训练。

利用用户知识

Automatic Generation of Personalized Comment Based on User Profile ACL 2019

社交媒体中的用户评论非常多样,不同的用户有不同表达风格,因此论文重要集中于如何利用用户信息来做社交中的评论生成。提出PCGN模型,将用户特征通过gated memory 编码,并且加入用户描述(可能是个性签名之类)。

模型如下图,主要关注用户编码部分:

  • 用户个性签名:通过BiLSTM编码,Attentive其实就是attention机制,加权求和后获得contexD向量。
  • 数值特征:embedding编码后,通过gated memory机制针对生成不同步产生动态的用户表征,gate的计算是g_t^u=sigmoid(W^u_g s_t)。(讲真,fixed也不是不可)
image.png

利用外部知识图谱来生成:

modeling global and local node contexts for text generation from knowledge graph TACL, 2020

这篇主要是结合外部知识来生成,不止是评论生成,只是评论生成是,针对某些明星的评论,可能需要结合外部知识,例如明星的领域、代表作等,可以做参考。

关注公众号接收最新文章:百川NLP

image.png

版权声明:
作者:百川NLP
链接:https://jkboy.com/archives/15864.html
来源:随风的博客
文章版权归作者所有,未经允许请勿转载。

THE END
分享
二维码
打赏
海报
【评论生成】AI生成评论,如何既相关又多样?
当前开放域的评论生成常常产生重复且无趣的回复。作者认为原因是直接使用真实用户评论会带入大量的噪音,比如同一篇文章会有多个、且可能相互矛盾的评论,并且由于检索方法...
<<上一篇
下一篇>>