CIRCE利用约束结构预测大模型任务复杂度

据arXiv预印本论文，Hong、Xu、Singh、Zhang与Wu提出CIRCE方法，用低成本大模型从问题中抽取约束中间表示，并确定性地编译为约束图，从而在模型作答前估计任务复杂度。作者称，现有估计器依赖问题文本、大模型标注的难度标签或模型作答后的隐状态等信号，均未显式利用问题固有的约束结构。研究在SAT、逻辑与数学等七个推理基准和四个大模型上测试，结果显示即使随机初始化的图神经网络编码器也能改进对模型回答正确性的预测：相比各指标最强基线，负对数似然由0.465降至0.423，AUROC由0.691升至0.727。该论文为预印本，尚未经同行评审。