蚂蚁UBTree改进推测解码：并行筛选草稿树，让大模型一次验证更多Token
-
最新报道：币界网消息，蚂蚁百灵开源了大模型推测解码方案UBTree。该方案通过并行筛选草稿树，让小模型提前「打草稿」，再由大模型一次验证多个token，从而减少逐个生成所需的计算轮次。UBTree改进了筛选方法，先并行预测后面几个位置可能出现的token，再用轻量级模型判断相邻token能否合理衔接。经过调整，使用dflash 2选择器构树的平均加速比为5.95倍，换成ubtree选择器并调整训练方法后，提高到6.88倍，进一步提升约16%。
下一篇
美银全球研究预计美联储将在2026年加息
- 币界网消息，美银全球研究预计，美联储将在2026年12月和2027年3月各加息25个基点。
24小时热点
热点专题
418154