引用看似有据,检索证据却未支撑:HERALD 如何审计智能体奖励
信号摘要
研究简介
HERALD 研究多跳检索智能体的奖励设计:答案质量、引用依据、工具成本和防投机要求被放在同一奖励中,高分并不一定意味着引用内容确实经过检索。作者提出离线反事实审计,在策略优化前检查检测规则的作用,寻找能抵御引用洗白攻击的最小修复。研究对象是检索基准中的智能体,而非保险业务。
保险关联
这项研究可作为保险决策证据保障和理赔案件证据质量的方法参考:保险机构可能借鉴同题反事实审计,检查引用与原始证据之间的对应关系,并研究奖励或规则设计中的漏洞。这属于从检索智能体评估向保险证据审查的迁移假设,尚无保险场景验证。可关注的范围限于理赔案件证据受理,以及模型验证、治理与决策可追溯性;不能据此宣称已改善理赔结果、完成反欺诈识别或适用于核保定价。