Featured Project
云宿数字员工
基于飞书的连锁酒店数字员工：渠道与内核解耦，确定性安全护栏前置
- 我的角色
- 独立开发者（产品定义 / 内核实现 / 评测体系）
- 周期
- 2026.04 — 2026.05
- 规模
- 2,360 行 · 18 个 Python 文件 · 140 条评测集
为虚构连锁酒店集团「云宿」（约 50 家门店、含加盟店）打造的飞书数字员工：对内做门店员工 SOP 与加盟店政策问答，对外做住客文字客服。渠道层与内核层解耦，先定义「什么不能答」，再让模型回答「能答的」——答不准的一律转人工兜底。
§问题：客服场景里，答错的代价比不答高得多
酒店客服的高频问题高度标准化（退房时间、早餐、押金、会员权益），非常适合 AI 接管；但退款赔偿、人身财产安全这类问题一旦答错就是事故，绝不能交给模型自由发挥。
切入点：用确定性规则把「红线」拦在 LLM 之外，让模型只在安全边界内自主工作，边界外一律固定话术拒答或直接转人工。
§方案：渠道与内核解耦 + 护栏前置 + 有界 Agent loop
渠道层（飞书长连接）只做协议适配；内核层（章节切分 + jieba/BM25 检索 + 有界 Agent loop + 规则引擎）可脱离渠道离线调用与评测——渠道未来可插拔扩展到 H5、微信小程序。
处理顺序固定为：红线检测 → 安全护栏（注入 / 越狱 / 越权 → 固定话术拒答）→ 显式转人工 → 澄清接续 → 超边界短路 → 有界 Agent loop（最多 3 轮工具调用：search_knowledge / clarify / transfer_human / final_answer，触顶回落固定话术）。转人工必附「身份 / 诉求 / 已尝试 / 未解决 / 情绪」五要素摘要。
§六维评测体系：先建裁判，再谈效果
行为准确率 / 可审计 / 可干预 / 自主性 / 成本 / 体验六个维度各设硬指标，140 条评测集（基础 80 + 安全对抗 60）离线可重复跑，mock 模式无需 API Key 即可验证管线。
真实模型（DeepSeek）实测：作答 / 拒答 / 转人工准确率均 100%，答案来源附著率 100%，单次对话成本 ¥0.0041（约束 ≤0.10 元），首响 P95 3.2s（目标 <5s），转人工率 17.5%（目标 <30%）；安全对抗集拦截率 100%（36/36 应拦截全部拦截）。
- 检索离线评测（与生成解耦）：Recall@1 0.94 / Recall@3 1.0 / MRR 0.97
- badcase 飞轮：全量 trace 落库后五类规则信号零 LLM 成本检测，人工复核一键晋升回评测集
- 负载测试 mock 基准（并发 50 / 请求 500）约 6,600 req/s、P95 0.4ms、错误率 0%（仅框架开销）
§诚实的边界
这是求职作品集项目：酒店集团为虚构，语料为自建，没有真实住客数据。OTA 平台（携程 / 美团）生态封闭、禁止爬虫，评价只能人工导出后做 AI 归因；语音电话渠道因 ASR/TTS 成本与错误率主动降级到 P2。mock 压测数字只代表框架开销，生产容量设计另见《高并发与稳定性设计》文档。
§难点与取舍
为什么红线规则不进 LLM
退款赔偿、人身安全这类问题答错的代价不可控，确定性关键词直接路由值班经理——零延迟、零幻觉空间，也不花 token。
为什么内核要脱离飞书可离线运行
渠道会换，评测不能换：内核可离线调用让 140 条评测随时回归，模型或提示词变更导致退化时立刻可见。