文本生成技术总结

    科技2022-07-11  98

    decoder本质是一个lm问题

    常用框架:encoder+decoder,  技术: seq2seq+attention-mechasim

    encoder处理trick:增加feature输入维度要远好于语料累加;  feature维度:tfidf,ner,pos

    decoder:利用 encoder-sequence+encoder-word-attention+encoder-sentence+attention

    oov问题解决:lvt,利用decoder时候门口机制,generator/pointer

    基于 embedding模型,对于低频词汇并不友好,pointer可以解决这个问题

    生成式评估指标rouge acc=lcs(x,y)/y,recall=lcs(x,y)/x, 

     β=precision/(recall+e-12)

    rouge= (1+β2)*precision*recall/( β2*precision+recall)

     

     

    Processed: 0.050, SQL: 8