提示词会改变实验条件
如果每次采样都追加编号、随机尾词或引用要求,看似在重复运行,实际提交的是不同问题。
三类面板的职责
不同面板回答不同问题,结果不应该合并成一个综合分。
- 自然问题:观察普通用户提问下的回答
- 引用诊断:明确要求来源,定位证据路径
- 同意图改写:观察不同表达方式的稳健性
版本发布后不可覆盖
问题集一旦进入基线,应当冻结版本。需要修改时创建新版本,并保留旧版本与测量结果的关系。
如果每次采样都追加编号、随机尾词或引用要求,看似在重复运行,实际提交的是不同问题。
不同面板回答不同问题,结果不应该合并成一个综合分。
问题集一旦进入基线,应当冻结版本。需要修改时创建新版本,并保留旧版本与测量结果的关系。