得物优化昇腾910C上的Qwen推理
热点事件持续更新
得物优化昇腾910C上的Qwen推理
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
得物技术在昇腾910C上优化Qwen3.5-35B-A3B在线推理，针对低并发解码场景，将vllm-ascend从0.22.0rc1升级至0.23.0rc1后，单并发TPOT从14.2毫秒降至12.0毫秒；未开启投机解码时，叠加其他优化后降至7.8毫秒。 测试负载为输入1024 token、输出512 token，覆盖1、4、8档并发。
AI 根据报道生成 · 2 小时前更新
最新进展10月21日 18:30
国产算力·昇腾 910C 大模型推理优化（上）：镜像更新与参数调优，提速 40%｜得物技术报道时间线
沿着报道，了解事件的不同侧面。
10月21日
- 得物技术精选国产算力·昇腾 910C 大模型推理优化（上）：镜像更新与参数调优，提速 40%｜得物技术
得物技术介绍了在昇腾 910C 上优化 Qwen3.5-35B-A3B 在线推理的实践，重点是低并发 decode 的 TPOT。将 vllm-ascend 从 0.22.0rc1 升至 0.23.0rc1 后，c=1 TPOT 从 14.2ms 降至 12.0ms；未开启投机解码时，叠加优化后降至 7.8ms。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。