参考文章

什么是agent

Agent = LLM（大模型）+ Planning（规划）+ Memory（记忆）+ Tools（工具）

向量数据库

• 向量检索，看的是语义相似度

prompt 太长会怎么样

• 注意力稀释，导致出现幻觉
  • case ： 会议太长，无法记住所有内容，迷失在中间（只能记住头尾记不住中间的所有内容）
• 物理缓存瓶颈
  • case： 后台分配巨大的缓存空间

prompt怎么写（怎么优化）

• zero-shot 零样本提示 ： 直接向模型提问，只能回答简单的问题，无法解决无法的场景，比如算术题
• few-shot 少样本提示： 给出一些样本（几个高质量的问答），解决不了链路很长的场景
• chain-of-thought（CoT） 思维链 (相当于给样本的时候，同时给出了解题步骤)

top K值怎么设置

• 两阶段阈值
  • 先进行粗排Recall（保召回），然后进行精排ReRank（保质量）
• 动态阈值
  • 定义一个分数线标准，如果任然不符合标准, 有多少符合，就选多少个

Step-back prompting（后退一步提问）

• 先引导模型思考一个与当前具体任务相关的通用性问题，
• 然后将该通用问题的答案作为上下文，
• 输入到后续处理具体任务的prompt中，从而提升模型表现。