评估文本摘要的生成效果通常可以使用以下几种方法：

  1. 人工评估：请一些人来评估生成的摘要是否准确、简洁、完整，与原文内容是否一致。这可以通过让评估者打分或提供反馈的方式来进行。然后通过计算平均分数、计算一致性等指标来评估模型的效果。

  2. ROUGE评估：ROUGE（Recall-Oriented Understudy for Gisting Evaluation）是一种常用的自动评估方法，可以用于评估生成文本与参考文本之间的重叠程度。ROUGE指标包括ROUGE-N、ROUGE-L和ROUGE-S等，其中ROUGE-N计算n-gram重叠，ROUGE-L计算最长公共子序列，ROUGE-S计算连续子序列。通过计算ROUGE得分可以评估生成的摘要与参考摘要之间的相似度。

  3. 目标相关度评估：可以使用语义相似度模型来计算生成的摘要与参考摘要之间的语义相似度。常用的语义相似度计算方法包括词向量表示（如Word2Vec、GloVe）和基于预训练模型（如BERT、RoBERTa）的计算方法。通过计算两者之间的相似度可以评估生成摘要的语义相关度。

  4. 信息覆盖评估：生成摘要应该包含原文中最重要的信息。可以通过计算生成摘要中包含的关键词、实体或其他重要内容的个数或比例来评估摘要的信息覆盖程度。

  5. 人类阅读测试：将生成的摘要与其他已有的质量较好的摘要进行对比，通过人类阅读来判断生成的摘要质量是否符合要求。

  需要注意的是，除了上述方法外，还应该考虑使用多个评估方法综合评估生成摘要的效果，以获取更准确的评估结果。同时，评估的效果还受限于参考摘要的质量和数量，因此在评估时应该使用多个不同的参考摘要进行比较。