上下文嵌入是一种将文本表示为连续向量的方法，它可以捕捉到词语之间的语义关系和上下文信息。以下是常用的上下文嵌入技术和方法：

  1. Word2Vec：Word2Vec是一种基于神经网络的模型，它通过学习词语在上下文中的分布来得到词向量表示。Word2Vec有两种实现方式：Skip-gram和CBOW。Skip-gram模型通过上下文预测目标词语，而CBOW模型通过目标词语预测上下文。

  2. GloVe：GloVe是一种基于全局词频统计和共现矩阵的上下文嵌入模型。它将词语的共现概率转化为损失函数，并通过优化损失函数得到词向量表示。

  3. FastText：FastText是一种基于子词（n-grams）的上下文嵌入模型。它将词语表示为其子词的平均向量，并通过神经网络模型学习子词的嵌入表示。

  4. ELMo：ELMo是一种基于深层双向LSTM的上下文嵌入模型。它通过对词语进行多层表示，将上下文信息编码为词向量表示。

  5. BERT：BERT是一种基于Transformer模型的上下文嵌入方法。它通过遮盖词语并预测其上下文信息来生成词向量表示，同时使用双向Transformer模型学习句子级别的语义。

  6. Transformer-XL：Transformer-XL是一种改进版的Transformer模型，它在处理长文本时可以捕获更长的上下文信息。Transformer-XL通过可重用的缓存机制来建模上下文。

  这些技术和方法在上下文嵌入领域都具有广泛的应用，根据具体任务和数据集的特点，选择适合的方法可以得到更好的表征效果。