语言模型中unigram、bigram、trigram的概念

    科技2022-07-10  115

    语言模型中unigram、bigram、trigram的概念 unigram 一元分词,把句子分成一个一个的汉字 bigram 二元分词,把句子从头到尾每两个字组成一个词语 trigram 三元分词,把句子从头到尾每三个字组成一个词语.

    softword :视情况而定的分词?????

    Processed: 0.020, SQL: 8