在Sequence-to-sequence（seq2seq）模型中，预训练可以帮助模型更好地学习语言模式和语义，从而提高模型的性能和泛化能力。以下是几种常见的预训练技术：

  1. Word2Vec: Word2Vec是一种常见的词嵌入预训练技术，通过学习语料库中单词的分布模式来生成单词向量。这些向量可以捕捉到单词之间的语义关系，可以用于初始化seq2seq模型的词嵌入层。

  2. GloVe: GloVe是另一种常见的词嵌入方法，它通过在大规模语料库中统计单词之间的共现信息来生成单词向量。GloVe向量也可以用于seq2seq模型的词嵌入层的初始化。

  3. ELMO: ELMO是一种基于上下文的词嵌入模型，它使用双向语言模型来生成每个单词的向量表示。ELMO能够捕捉到单词在不同上下文下的语义变化，可以进一步提高seq2seq模型的表示能力。

  4. BERT: BERT是一种基于Transformer的预训练技术，它通过使用大规模无标签的语料库来学习深层双向表示。BERT的模型结构允许在下游任务中进行微调，其中包括了seq2seq任务。通过使用BERT的预训练模型，可以将其中的编码器部分作为seq2seq模型的一部分，以提高其性能。

  需要注意的是，以上列举的预训练技术主要是用于初始化seq2seq模型的词嵌入层或编码器层，以提供更好的初始表示。此外，还可以将这些预训练技术与传统的seq2seq模型结合，使用预训练模型进行微调或作为特征提取器等。预训练的选择取决于任务和数据集的特点，需要根据具体情况进行选择。