FactRelayBlog
返回博客测量标准

自然问题与引用诊断为什么不能混在一起

给问题追加“请提供来源”会改变搜索触发和回答行为。自然回答与强制引用诊断必须分成两条面板。

提示词会改变实验条件

如果每次采样都追加编号、随机尾词或引用要求,看似在重复运行,实际提交的是不同问题。

三类面板的职责

不同面板回答不同问题,结果不应该合并成一个综合分。

  • 自然问题:观察普通用户提问下的回答
  • 引用诊断:明确要求来源,定位证据路径
  • 同意图改写:观察不同表达方式的稳健性

版本发布后不可覆盖

问题集一旦进入基线,应当冻结版本。需要修改时创建新版本,并保留旧版本与测量结果的关系。