标签：大模型推理
共 8 篇文章
AI
腾讯开源AngelSpec框架：用“投机解码”把大模型推理速度拉到2.4倍
7月29日，腾讯混元开源AngelSpec投机解码框架，覆盖drafter训练、架构设计到线上部署全流程。框架支持6种草稿架构，针对对话与代码/数学等场景差异化......
AI
DeepSeek R1推理测试揭晓：英伟达Vera Rubin NVL72每兆瓦Token吞吐量达H100十倍
测试数据显示，英伟达Vera Rubin NVL72平台在运行DeepSeek R1推理模型时，每兆瓦Token吞吐量达H100的10倍。提升源于Rubin G......
共1页 2条