据arXiv预印本论文,Reza Yousefi Maragheh等作者提出MAREval多智能体框架,用于评估推荐系统中的自然语言解释。论文称,人工评估准确但成本高、难以支撑现代推荐平台规模,单智能体大模型自动评估则受提示敏感性和输出不一致困扰。MAREval由规划智能体(采用新提出的Chain of Debate提示策略协调角色并约束评估计划逻辑一致)、调节智能体(抑制提示漂移)、仲裁智能体(汇总多轮评估输出)组成,并结合蒙特卡洛采样提升稳健性。论文称在公开数据集TopicalChat与专有推荐数据集上,MAREval与人类判断的一致性优于强单智能体与多智能体基线,重复试验波动明显更低;大规模人工标注关卡中达到生产质量阈值,在线A/B测试显示互动与收入指标有统计显著提升。上述结果来自预印本,尚未经同行评审。
MAREval:多智能体框架评估推荐解释,据论文称在线A/B测试提升互动与收入
arXiv