37 lines
1.8 KiB
Markdown
37 lines
1.8 KiB
Markdown
## 框架、架构
|
||
1. 主流模型架构：
|
||
* transformer （大语言模型LLM几乎都是）
|
||
* encoder-only 理解类，分类，语义匹配
|
||
* decoder-only 生成类。对话、写作、代码
|
||
* encoder-decoder 翻译、摘要
|
||
* MOE混合专家，比transeformer块
|
||
* 传统机器学习、画画、视觉cv都是其他架构
|
||
2. 推理框架：运行模型
|
||
* vLLM
|
||
* llama.cpp
|
||
* transformers
|
||
* ...
|
||
3. 开发框架：LangChain、ADK
|
||
4. 系统架构：
|
||
* Chain：固定流程、工作流、流水线
|
||
* RAG：带知识库的Chain，检索-》生成
|
||
* Agent：智能体，会自己思考、自己决定用工具
|
||
* Multi-Agent 多智能体，协作
|
||
* 主流开发架构 融合！ 智能体+工作流，RAG当做工具知识补充
|
||
|
||
## AI 提示词
|
||
1. 系统提示词
|
||
系统级提示词，整体约束智能体。平时的那种，你是一个xxxx
|
||
2. 用户提示词
|
||
具体要做的事，怎么做，结果
|
||
## 检索增强 RAG
|
||
1. 知识库切片
|
||
解决问题：a.太长的知识，容易出现幻觉，丢失精度细节。比如某本书，里面相关的内容出现很多处，匹配精度困难；b.上下文会有限制，也节省token；c.为后续向量化做准备，更友好
|
||
2. 策略：
|
||
* 按照固定长度，容易破坏语义，适合代码、日志、无结构文本
|
||
* 语义切，根据NLP自然语言处理分句，分词效果好，文档、说明书、知识库等
|
||
* 层级切，书籍、技术文档，有章、小结、段落
|
||
* 递归切片（主流框架默认），先分句 -》 再组合成块
|
||
3. 进阶 RAG，需要LLM，一般的语义切，靠 规则 + 词法，标点、换行等
|
||
4. langchain、adk都是属于开发框架。LangChain 是通用型全栈框架；ADK **更聚焦 Agent 与工程化的框架**。
|