## 框架、架构 1. 主流模型架构: * transformer (大语言模型LLM几乎都是) * encoder-only 理解类,分类,语义匹配 * decoder-only 生成类。对话、写作、代码 * encoder-decoder 翻译、摘要 * MOE混合专家,比transeformer块 * 传统机器学习、画画、视觉cv都是其他架构 2. 推理框架:运行模型 * vLLM * llama.cpp * transformers * ... 3. 开发框架:LangChain、ADK 4. 系统架构: * Chain:固定流程、工作流、流水线 * RAG:带知识库的Chain,检索-》生成 * Agent:智能体,会自己思考、自己决定用工具 * Multi-Agent 多智能体,协作 * 主流开发架构 融合! 智能体+工作流,RAG当做工具知识补充 ## AI 提示词 1. 系统提示词 系统级提示词,整体约束智能体。平时的那种,你是一个xxxx 2. 用户提示词 具体要做的事,怎么做,结果 ## 检索增强 RAG 1. 知识库切片 解决问题:a.太长的知识,容易出现幻觉,丢失精度细节。比如某本书,里面相关的内容出现很多处,匹配精度困难;b.上下文会有限制,也节省token;c.为后续向量化做准备,更友好 2. 策略: * 按照固定长度,容易破坏语义,适合代码、日志、无结构文本 * 语义切,根据NLP自然语言处理分句,分词效果好,文档、说明书、知识库等 * 层级切,书籍、技术文档,有章、小结、段落 * 递归切片(主流框架默认),先分句 -》 再组合成块 3. 进阶 RAG,需要LLM,一般的语义切,靠 规则 + 词法,标点、换行等 4. langchain、adk都是属于开发框架。LangChain 是通用型全栈框架;ADK **更聚焦 Agent 与工程化的框架**。