BERT的输入是通过将文本编码为token序列并添加特殊的token进行构造的。这些特殊的token包括[CLS]、[SEP]和[PAD]。

  首先，文本被分割成一个或多个token。这些token可以是单个字、子词或完整的单词，这取决于预训练时使用的分词器。

  接下来，特殊的[CLS] token被添加到序列的开头，用于表示整个输入序列的起始。[CLS] token在预训练中起到了重要的作用，用于获取整个句子的表示。

  然后，在每个句子的末尾添加一个[SEP] token。BERT的设计初衷是用于处理句子对的任务，因此每个输入序列由两个句子组成。[SEP] token用于分隔这两个句子。

  如果输入序列的长度不足，则使用[PAD] token填充到最大长度，以确保所有输入序列具有相同的长度。

  最后，每个token都被映射到其对应的词向量，并添加特定的位置嵌入。这些位置嵌入表示每个token在序列中的位置顺序，用于捕捉词之间的语义关系。

  经过这些处理，BERT的输入就是一个由多个token和对应的词向量组成的向量序列。这个序列将作为输入喂给BERT模型进行训练或推理。