Perplexity改进AI自蒸馏：不光训练学生，也要训练老师
-
最新报道：币界网消息，Perplexity在AI自蒸馏训练中提出新方法，不仅训练学生，还要训练老师。在这一过程中，同一个模型会扮演学生和老师两种角色，学生独立解题，老师则能提前看到参考答案并提供逐token指导。两种角色共享参数，无需额外运行更大的教师模型，获得更细致的训练信号。UCLA等团队提出的SDPG方法保留最终结果奖励，只让表现高于同组平均水平的解题过程接受蒸馏指导，训练后期逐步降低蒸馏权重，避免过度模仿妨碍模型探索。Perplexity与NVIDIA新提出的JOLT方法结合，老师利用额外信息独立解题并获得奖励，同时用KL散度约束老师与学生的输出差异。JOLT在Qwen3-0.6b的数学测试中准确率达到72.14%，高于此前自蒸馏方法OPSD的61.20%。
下一篇
未知钱包转账780枚BTC，价值约6385万美元
- 币界网数据：据Whale Alert监测，780枚BTC（约6385万美元）刚刚从一个未知钱包转出。
24小时热点
热点专题
410950