智谱近日宣布推出一款面向企业客户的高速版API——“GLM-5.1-highspeed”，该模型输出速度高达400 tokens/s，成为全球大模型厂商API中速度最快的产品之一。这一突破不仅刷新了行业纪录，更在国产大模型领域首次实现了旗舰级能力与低延迟的完美结合，打破了“高速即轻量”的传统认知。
GLM-5.1高速版的成功离不开智谱GLM团队与TileRT团队的深度合作。双方从推理引擎、调度系统到基础设施层面进行了系统性优化：在推理引擎层，针对模型架构特点重写核心路径，显著提升单卡吞吐能力；调度系统通过动态批处理、请求合并和KV缓存调度优化，有效降低高并发场景下的尾延迟；基础设施则围绕集群部署、网络链路和负载均衡展开协同优化，确保400 tokens/s的输出速度成为稳定可靠的生产级能力。
传统大模型推理速度受限于调度框架的设计。主流框架以算子为基本调度单元，每个算子需经历完整的“启动-计算-同步”流程，导致在单token、小batch场景下，调度开销被急剧放大。TileRT团队通过彻底重构推理流程，在编译期将整个计算图静态编排为常驻GPU的持久化引擎内核，实现了单卡内计算、异步IO与通信的微任务级拆解。这种设计使得推理过程仅需启动一次引擎内核，中间结果通过寄存器、共享内存和L2缓存直接传递，大幅减少了全局内存访问和主机调度开销。
在多卡协同方面，TileRT将NVIDIA SM单元的Warp特化思想扩展至8卡NVL拓扑结构。不同GPU根据计算密度和数据依赖关系执行差异化任务，形成高效的分工协作模式。这种架构突破了传统同构计算的局限，在保持低延迟的同时，充分释放了多卡集群的并行计算潜力。
目前，GLM-5.1高速版已面向智谱MaaS平台的部分企业客户开放服务，特别适用于AI编程、实时交互、商业决策和实时语音等对响应速度要求严苛的场景。该模型的推出标志着国产大模型在工程化落地方面取得重要进展，为企业级应用提供了更高效的技术解决方案。
