语义缓存:LLM 应用的降本增效利器
同样的问题问三遍,token 烧三遍?语义缓存:把相似问题映射到同一答案,命中率 30% 就能省下三成成本、降低一半延迟。实现、阈值、场景边界全解析。
同样的问题问三遍,token 烧三遍?语义缓存:把相似问题映射到同一答案,命中率 30% 就能省下三成成本、降低一半延迟。实现、阈值、场景边界全解析。
AI 编程工具爆发式增长,怎么选?Claude Code、Cursor、开源方案(Aider/Cline)实测对比:场景匹配、成本、可控性、上手教程,附我的选择结论。
公司有 8 个模型供应商、十几个模型,业务方各接各的,计费乱成一锅粥。One-API 网关统一接入、路由、限流、计费,一个入口管所有模型。
MCP Server 暴露的是’能力’,能力被滥用就是事故:越权读简历、刷爆上游接口、Prompt 注入。Token 鉴权、会话隔离、工具级权限、审计——企业 MCP 的安全边界设计。
让 LLM 按流程走完一场面试,最大的敌人是模型自己——它会在第 3 步跳到第 8 步。System 强元规则 + User 变量 + Assistant 预填开场,三层结构把流程越级率压到 0%。
MCP 正在成为 AI 应用的 USB-C 接口。协议分层、Server/Client/Host 三方角色、注册表与 Hub、主流实现对比——MCP 生态的一次全景扫描。
笔记记了十年,要用时找不到。用 Obsidian + 本地知识库 + RAG 检索,把碎片笔记变成可问答的个人知识库,让 AI 替你翻笔记。
AI 面试官记不住候选人前面说过什么,是产品硬伤。短期记忆(上下文)、长期记忆(向量库)、工作记忆(状态)——Agent 记忆体系的设计与落地。
AI 对话要打字机效果,选 SSE 还是 WebSocket?从协议机制、代理兼容、断线重连、服务端实现四个维度对比,结论:90% 的 AI 场景选 SSE,剩下 10% 才需要 WebSocket。
改一个开关要发版?配置散在 20 个服务里?配置中心把配置从代码里拿出来,动态生效、版本回滚、灰度发布——微服务基础设施的最后一块拼图。