论文称大模型多实例汇总对输入顺序极敏感

Jingxuan Chen、Mohammad Taher Pilehvar与Jose Camacho-Collados发表论文称，用户常让大模型汇总多条独立输入并给出单一聚合答案，即多实例处理（MIP），正确结果本应与实例顺序无关。作者在五数据集、七种顺序模式下评估15个大模型，各实例集跨模式固定，发现顺序敏感性显著：最佳与最差顺序模式之间准确率可相差约90个百分点，多数标签实例靠前时一般更准，居中或靠后时更差。部分模型的推理轨迹与基于梯度的归因显示位置权重不均，轨迹更常提及靠前实例，归因分数在开头与结尾通常高于中间。作者称实例顺序可系统性偏置聚合预测，评估MIP需覆盖不同输入排列。