obsidian_note/各种项目/AI/字节-火山/学习笔记/2026-03-30.md

框架、架构

1. 主流模型架构：
   • transformer （大语言模型LLM几乎都是）
   • encoder-only 理解类，分类，语义匹配
   • decoder-only 生成类。对话、写作、代码
   • encoder-decoder 翻译、摘要
   • MOE混合专家，比transeformer块
   • 传统机器学习、画画、视觉cv都是其他架构
2. 推理框架：运行模型
   • vLLM
   • llama.cpp
   • transformers
   • ...
3. 开发框架：LangChain、ADK
4. 系统架构：
   • Chain：固定流程、工作流、流水线
   • RAG：带知识库的Chain，检索-》生成
   • Agent：智能体，会自己思考、自己决定用工具
   • Multi-Agent 多智能体，协作
   • 主流开发架构 融合！ 智能体+工作流，RAG当做工具知识补充

AI 提示词

1. 系统提示词 系统级提示词，整体约束智能体。平时的那种，你是一个xxxx
2. 用户提示词 具体要做的事，怎么做，结果

检索增强 RAG

1. 知识库切片 解决问题：a.太长的知识，容易出现幻觉，丢失精度细节。比如某本书，里面相关的内容出现很多处，匹配精度困难；b.上下文会有限制，也节省token；c.为后续向量化做准备，更友好
2. 策略：
   • 按照固定长度，容易破坏语义，适合代码、日志、无结构文本
   • 语义切，根据NLP自然语言处理分句，分词效果好，文档、说明书、知识库等
   • 层级切，书籍、技术文档，有章、小结、段落
   • 递归切片（主流框架默认），先分句 -》 再组合成块
3. 进阶 RAG，需要LLM，一般的语义切，靠 规则 + 词法，标点、换行等
4. langchain、adk都是属于开发框架。LangChain 是通用型全栈框架；ADK 更聚焦 Agent 与工程化的框架。