当前位置: 首页 -> 信息动态  -> 新闻中心

单台部署DeepSeek 671B大模型的联想问天WA7785a G3上实测吞吐量达6708 token/s

信息来源:www.bjjlty.com.cn | 发布时间:2025年05月07日
依托联想万全异构智算平台,联想通过访存优化、显存优化、PCIe 5.0全互联架构创新以及精选SGLang框架中性能算子等诸多创新方式,对大模型从预训练、后训练到推理的全流程进行持续优化。

在单台部署DeepSeek 671B大模型的联想问天WA7785a G3上实测吞吐量达6708 token/s。



硬核配置构筑强大DeepSeek算力底座
联想问天 WA7785a G3服务器是联想与AMD双方深度合作的智慧结晶,正是双方通力合作带来的技术创新、软硬协同能力与架构突破为DeepSeek-R1满血版大模型插上性能腾飞的翅膀。
▋强大算力引擎:联想问天WA7785a G3搭载了2颗AMD处理器和8颗AMD新一代Instinct OAM GPU,它们为大模型训练、推理等场景提供了强大的算力引擎。

▋超大显存优势:联想问天WA7785a G3拥有超大的显存容量,单颗GPU的HBM3e显存容量高达192GB,总计达1.5TB。超大显存使得单机支持全量模型推理情况下,仍保留充足的KV缓存空间。而其显存带宽达到了惊人的5.3TB/s,GPU聚合带宽达896GB/s,节点间网络带宽3.2TB/s,更高的带宽可为推理解码实现加速,充分满足了大模型并行计算时对跨节点通信的高带宽需求,使其成为大模型推理服务器。

▋特有创新架构:
联想问天WA7785a G3的架构设计也为大程度地释放算力潜能、突破带宽限制发挥了关键作用,其三重独立风道设计分别针对CPU节点、GPU节点和交换机节点进行精准散热控制,提高了散热效率,为服务器的稳定性和可靠性提供了有力保障。

返回列表
+ 微信号:添加微信咨询