稀疏注意力还能怎么提速？LSA让GLM千万Token下单层快22.7倍
-
最新报道：币界网消息，英国AI研究机构Prefrontal与苏黎世联邦理工学院研究者开源了Latent Sparse Attention（LSA），一种针对超长上下文的稀疏注意力技术。DeepSeek、MiniMax、智谱等模型已采用稀疏注意力，每次处理少量关键token以减少计算。研究者在1000万token的GLM-5.3-Flash实验中发现，单层稀疏注意力的预填充时间98%用于筛选信息。LSA通过内容相似度将token聚成组，再让索引器对组打分，选出相关token。研究者将LSA接入GLM-5.3-Flash和Qwen-3.8-27B，保留原有模型权重，额外训练少量索引参数。在NVIDIA H200上，GLM的单层预填充比原有稀疏注意力快22.7倍，整模型首token延迟降低约55%Qwen的单层预填充快72.4倍，整模型首token延迟降低约89%。
暂无相关内容
下一篇
广钢气体：董事长邓韬提议以2亿元-4亿元回购公司股份
- 币界网消息，广钢气体公告，董事长邓韬提议公司使用自有资金或自筹资金，通过集中竞价交易方式回购公司A股，回购资金总额不低于人民币2亿元（含）、不超过人民币4亿元（含），回购价格不超过...
24小时热点
热点专题
418366