预训练是一种深度学习中常用的技术，旨在通过在大规模未标记数据上进行自监督学习，预先“训练”模型的参数。在预训练阶段，模型通过尝试通过自动编码器（如自回归模型或自编码器）或预测缺失部分的上下文（如掩码语言建模）等任务来学习数据的内部表示和语义特征。预训练阶段通常使用的数据集也称为“预训练数据集”。

  在预训练完成后，可以通过在特定任务上进行微调来利用预训练模型。微调过程中，模型将在标记数据上进行训练，以适应特定的任务，例如图像分类、文本生成或机器翻译等。通过这种方式，使用预训练模型可以在更少的标记数据和较短的训练时间内获得更好的性能。

  预训练的主要优势在于它可以利用大规模未标记数据来学习通用的语义表示。这些通用的表示可以捕捉数据中的潜在结构和模式，从而提高在特定任务上的性能。此外，预训练还能够缓解数据稀缺问题，并提供对多种不同任务的迁移能力。

  近年来，预训练技术在自然语言处理（如BERT、GPT）和计算机视觉（如ImageNet预训练模型）等领域取得了巨大成功，并在许多任务上成为了标配。预训练模型的不断发展和改进也在促进着人工智能的发展和应用。