研究提出TARGRS:测试时去毒框架,毒性最高降69.38%
据论文《LLM Detoxification via Transition-Aware Reward-Guided Representation Sampling》,Aishan Liu、Yisong Xiao、Xianglong Liu等作者提出测试时去毒框架TARGRS,在潜在表示空间学习面向毒性转变的奖励引导。该方法在探索阶段沿毒性方向渐进引导,构建从无毒到有毒状态的轨迹,并将轨迹上的毒性分数转化为密集的逐点监督,用于训练转变感知的token级奖励模型;推理阶段则沿相反的无毒方向进行由粗到细采样。作者称,在RealToxicityPrompts、BOLD和AttaQ上对10个LLM的实验显示,TARGRS持续优于现有基线,在RealToxicityPrompts上毒性最多降低69.38%,运行速度接近原始LLM且核心能力受影响很小;该方法还可扩展至大型视觉语言模型,在…