关于如何最好地将语言模型用于搜索,有很多研究。这些模型的三大类是密集检索、重新排序和检索增强生成(RAG)

Dense retrieval 密集检索#

密集检索系统依赖于嵌入的概念,这是我们在前几章中遇到的相同概念,并将搜索问题转化为检索搜索查询的最近邻 NeatReader-1744464950586

Reranking 重新排序#

搜索系统通常是多个步骤的流水线。重排序语言模型是这些步骤之一,其任务是根据查询对结果子集的相关性进行评分;然后根据这些分数更改结果的顺序。 NeatReader-1744464932015

RAG#

生成式搜索是更广泛的一类系统的一个子集,这类系统更好地被称为检索增强生成(RAG)系统。这些是结合了搜索功能的文本生成系统,用于减少幻觉、增加事实性和/或在特定数据集上为生成模型提供基础。 NeatReader-1744464950586

comments powered by Disqus