Zyphra发布AMD生态首个扩散语言模型，最高提速7.7倍
-
最新报道：币界网消息，Zyphra发布了AMD生态首个混合专家（MoE）扩散语言模型zaya1-8b-diffusion-preview，最高提速达到7.7倍。尽管官方宣传称其为首个实现该架构转化的模型，但这一路线在去年底已被sdar和llada 2.0等团队率先跑通。zaya1的唯一性在于它是首个在AMD硬件生态内完成训练的扩散语言模型。该模型验证了扩散架构的工程提效价值，结合zaya1专属的cca注意力机制，使用标准无损采样器能在不降低生成质量的前提下达到4.6倍的接收加速比，切换至混合logit采样器后加速比更是跃升至7.7倍，为高耗时的大规模推理任务提供了实质性的降本空间。
暂无相关内容
下一篇
未知钱包转入128,887,358枚USDT
- 币界网消息，据Whale Alert数据，128,887,358枚USDT（约合128,840,959美元）刚刚从未知钱包转入。
24小时热点
热点专题
419795