场景:内容分级审核
问题:UGC 平台要对每条内容做风险分级;RAG 应用要判断每段检索结果是否该进入回答模型。用大模型逐条审太贵,纯关键词漏判太多。
Jev 的角色:用 Score 按有序等级打分,分数直接映射到审核动作。等级即动作,是官方 Cookbook 反复出现的模式。
模式一:UGC 风险分级
Section titled “模式一:UGC 风险分级”{ "type": "score", "instructions": "这条内容的风险等级", "criteria": [ "正常内容", "擦边,需要人工看一眼", "明显违规,直接下线" ]}代码端零歧义:score < 0.5 放行、< 1.5 进复审队列、否则下线并记录 probabilities 供申诉核对。与关键词方案不同,等级描述可以随政策更新,不用重训任何东西。
模式二:RAG 段落过滤
Section titled “模式二:RAG 段落过滤”官方 Cookbook(经 llms.txt 索引核验):对每段检索结果问一组并行问题,再由代码决定哪些段落进入回答模型——
- 保留并标记与问题矛盾的段落(回答模型需要知道矛盾)
- 丢弃携带隐藏指令/提示注入的段落
- 对无关段落直接丢弃
一次请求批量处理整页段落(并行提问),这是成本最优的形态。
模式三:引用校验
Section titled “模式三:引用校验”官方 Cookbook:让回答模型引用原文时,用一个 Choice 判断“引文的上下文是否支持该论断”,confidence 不足则把这条引用标记人工复核——专治幻觉引用。
与传统方案的对比(本站归纳)
Section titled “与传统方案的对比(本站归纳)”| 方案 | 成本 | 一致性 | 可解释 |
|---|---|---|---|
| 关键词/正则 | 极低 | 死板,易绕过 | 规则即解释 |
| LLM 逐条审 | 高 | 随 prompt 漂移 | 要读生成文本 |
| Jev Score | 低 | 等级固定 | probabilities + legend |
注意事项(本站建议)
Section titled “注意事项(本站建议)”- 等级描述是政策文档,值得像写法务条款一样推敲;2–10 级里通常 3–4 级最好运营
- 上线前用历史标注数据跑一遍,校验
score与人工标注的一致率,再定阈值 - 分级是“放行/复审/下线”的输入,不是终点;保留完整日志(含 confidence)应对申诉
延伸:官方层级分类 Cookbook 演示了在专利/零售/生医/源代码深层类目树上的并行束搜索。回到场景总览,或看工具审批。