跳转到内容

场景:内容分级审核

问题:UGC 平台要对每条内容做风险分级;RAG 应用要判断每段检索结果是否该进入回答模型。用大模型逐条审太贵,纯关键词漏判太多。

Jev 的角色:用 Score有序等级打分,分数直接映射到审核动作。等级即动作,是官方 Cookbook 反复出现的模式。

{
"type": "score",
"instructions": "这条内容的风险等级",
"criteria": [
"正常内容",
"擦边,需要人工看一眼",
"明显违规,直接下线"
]
}

代码端零歧义:score < 0.5 放行、< 1.5 进复审队列、否则下线并记录 probabilities 供申诉核对。与关键词方案不同,等级描述可以随政策更新,不用重训任何东西。

官方 Cookbook(经 llms.txt 索引核验):对每段检索结果问一组并行问题,再由代码决定哪些段落进入回答模型——

  • 保留并标记与问题矛盾的段落(回答模型需要知道矛盾)
  • 丢弃携带隐藏指令/提示注入的段落
  • 对无关段落直接丢弃

一次请求批量处理整页段落(并行提问),这是成本最优的形态。

官方 Cookbook:让回答模型引用原文时,用一个 Choice 判断“引文的上下文是否支持该论断”,confidence 不足则把这条引用标记人工复核——专治幻觉引用。

与传统方案的对比(本站归纳)

Section titled “与传统方案的对比(本站归纳)”
方案 成本 一致性 可解释
关键词/正则 极低 死板,易绕过 规则即解释
LLM 逐条审 随 prompt 漂移 要读生成文本
Jev Score 等级固定 probabilities + legend
  • 等级描述是政策文档,值得像写法务条款一样推敲;2–10 级里通常 3–4 级最好运营
  • 上线前用历史标注数据跑一遍,校验 score 与人工标注的一致率,再定阈值
  • 分级是“放行/复审/下线”的输入,不是终点;保留完整日志(含 confidence)应对申诉

延伸:官方层级分类 Cookbook 演示了在专利/零售/生医/源代码深层类目树上的并行束搜索。回到场景总览,或看工具审批