RAG 整体框架

• 将语料库喂给LLM

  1. 文字分块向量化（利用LLM），从而基于向量相似度进行搜索
  2. 将得到的向量存储到向量数据库中

• 搜索

  1. 将用户问题进行向量化，在向量数据库中进行搜索，得到相关内容
  2. 将检索得到的相关内容（不一定相关）和关用户问题 一起传给 LLM
  3. LLM提取出相关信息，生成正确结果

LLM 常见参数

temperature

控制生成文本的随机性。温度越高，生成的文本越随机和创造性；温度越低，文本越趋向于确定性和重复性。