【NLP】Seq2Seq | Beam Search

Seq2Seq

62 序列到序列学习(seq2seq)【动手学深度学习v2】

Seq2Seq模型介绍
Transformer:Seq2Seq model with attention

encoder-decoder 架构,使用的都是 RNN

Beam Search 束搜索

在选择softmax输出时,使用贪心算法(每次选择概率最大值)不一定能达到最优
每次搜索保存k个最好的候选。k=1 是贪心,k=n 是穷举

赞赏