AI 应用可观测:LLM 调用的追踪与评估
LLM 应用是个黑盒:为什么回答变差了?为什么 token 花了这么多?Prompt 追踪、成本审计、质量评估、A/B 实验——AI 应用的可观测体系搭建。
LLM 应用是个黑盒:为什么回答变差了?为什么 token 花了这么多?Prompt 追踪、成本审计、质量评估、A/B 实验——AI 应用的可观测体系搭建。
Opcache 是 PHP 性能的第一杠杆:命中率 99% 和 80% 的差距是 3 倍吞吐。内存分配、max_accelerated_files、预热、K8s 冷启动——完整的 Opcache 调优手册。
幻觉是 LLM 的’天性’,治理是系统工程:Prompt 约束、RAG 兜底、引用强制、评测闭环。把 AI 面试的越级率打到 0% 的幻觉治理体系完整复盘。
PHP 常驻内存 + 协程,Swoole 让 PHP 摸到了高并发的边。七年的使用心得:协程、进程模型、连接池、常驻内存的坑,以及为什么最终还是迁移到了 Go。
写了 10 年 PHP,两年前开始转 Go。这条路怎么走、踩了什么坑、什么时候可以真正上生产,这份转型路线图是亲身经历。
一个 Agent 搞不定复杂任务怎么办?编排(谁先谁后)、协商(意见冲突)、黑板模式(共享状态)——多智能体协作的三种模式与选型。
微服务之间怎么找到彼此?服务注册、心跳续约、负载均衡、摘除机制——Nacos 在 Go 微服务里的完整落地,含健康检查与故障演练。
入口流量是观察系统的第一扇窗。Ingress-Nginx + Prometheus 指标 + 自定义 Grafana 大盘,把请求量、延迟、错误率、上游状态一屏看全,异常 5 分钟内就能定位。
ES 默认排序为什么好用?BM25 的 TF、IDF、文档长度归一化三个因子,调 k1/b 参数的实战,以及和向量检索的配合。
服务拆成 20 个,排障却要登录 20 台机器 grep。ELK 日志中台把采集、解析、存储、检索、告警串成全流程,从此查日志是搜索不是翻文件。