Incorporating Structured Commonsense Knowledge in Story Completion

    科技2022-08-09  93

    论文目的

    利用常识知识来选择故事结尾

    论文方法

    任务描述

    给定句子长度为L的故事S,我们的任务是在两个候选答案中选出正确的从而使得故事更为合理和一致。其实是0 or 1二分类问题

    method

    三部分组成

    narrative sequencesentiment evolutionstructured commonsense knowledge

    Narrative Sequence

    为叙事链开发更好的语义表示对于我们预测正确的结局是很重要的。作者在一个无标签的大数据语料集上预训练一个高度兼容的语言模型来学习文本隐藏信息。将训练好的语言模型利用transform结构迁移到我们的任务当中。计算语义连贯性得到最终0 or 1概率

    Sentiment Evolution

    考虑到故事在情感方面与其他文本不同,我们预训练一个情感预测模型:

    将训练样本的故事分为五个部分,利用VADER工具,获取每个部分的情感向量E_i(positive, negative or neutral)利用LSTM模型编码句子情感和文本得到hidden state h_i,并使用激活函数的得到第五个的预测情感向量E_p计算第五个的预测情感向量E_p与第五个的真实情感向量E_5的cosine相似度作为训练过程。 将训练好的模型应用在测试文本上得到整个故事的预测情感向量E_p,同时获得候选答案的预测情感向量,利用softmax + 二次型得到最终0 or 1概率。

    Commonsense Knowledge

    给定故事体,候选集和标签,我们使用NLTK对他们进行tokenize和去停用词,计算候选结局和故事的知识距离向量。

    Combination Gate

    最后综合上述三种计算结果

    实验内容

    Dataset

    使用ROCStories

    实验过程

    baseline消融实验casestudy

    论文亮点

    三个部分是并行的
    Processed: 0.014, SQL: 8