知乎:深度ctr预估中id到embedding目前工业界主流是端到端直接学习还是预训练?

    科技2022-08-24  110

    深度ctr预估中id到embedding目前工业界主流是端到端直接学习还是预训练? 回答一 2.1如果实体的已有特征已经能够提供模型需要的所有信息,那么可学习的embedding就没有太多效果。但不少领域我们对实体的了解的信息太少,但数据量较为充足,这时候可以给模型一个“存储空间”,让其可以从数据中学习每个实体的特性。这在我见过的一些符合这类情况的问题下很明显。 3.2 这样我们就能够“理解”为什么增加了一个会提供新信息的特征后,模型效果会变差——我们在过程中同时引入了过多的模型复杂度增量。

    Processed: 0.025, SQL: 9