在人工智能领域，模型发展的两极分化趋势愈发显著。一方面，企业级应用更倾向于采用小参数模型，因其在实际应用中展现出高效与便捷；另一方面，通用大模型的参数规模持续攀升，已迈入万亿参数的新纪元。
MoE（Mixture of Experts）高效模型架构的兴起，成为推动大模型参数规模不断增长的驱动力。例如，采用MoE混合专家架构的KIMI K2开源模型，其参数量高达1.2万亿，但在推理过程中，每个Token仅需激活32B参数，实现了高效与性能的平衡。
然而，随着模型参数的激增，算力系统正面临前所未有的挑战。万亿参数模型对算力的需求极为庞大，传统计算架构难以满足。以GPT-3为例，其1750亿参数的训练量已相当惊人，需要在2.5万张A100 GPU上运行90-100天。而万亿参数模型的算力需求更是数十倍于此，对算力系统架构提出了全新要求。
算力需求的激增不仅体现在训练阶段，推理阶段同样面临巨大挑战。大模型推理属于敏感型计算，对分布式计算通信延时要求极高。MoE架构模型在分布式训练过程中涉及大量跨设备通信，通信时间占比高达40%，进一步加剧了算力系统的压力。
为了应对这些挑战，企业开始探索构建大规模Scale Up系统。传统Scale Out集群通过增加节点数量来扩展算力，但节点间通信瓶颈在万亿参数模型训练中被无限放大。相比之下，Scale Up系统通过超节点技术，将数百颗AI芯片封装为统一计算实体，实现跨节点通信性能接近节点内水平，有效解决了算力瓶颈问题。
浪潮信息副总经理赵帅指出，构建具有更大显存空间、更大高速互连域、更高算力的超节点系统，是应对万亿模型算力挑战的关键。浪潮信息近期发布的元脑SD200超节点AI服务器，就是这一理念的典范。该产品基于创新的多主机低延迟内存语义通信架构，聚合64路本土GPU芯片，可单机运行1.2万亿参数Kimi K2模型，并支持多种模型同时运行和多Agent协同按需调用。
元脑SD200在硬件架构上采用了多主机3D Mesh系统架构，通过Open Fabric Switch实现64路GPU高速互连，拥有更大的统一地址显存空间。在软件层面，元脑SD200针对3D Mesh系统架构开发了一套PD分离框架，配合多层级通信机制，降低了通信时延，并保持了对多元算力的兼容性。
软硬协同成为解决万亿参数大模型算力瓶颈的核心路径。硬件能力的释放需要软件层的深度适配。例如，字节跳动COMET技术通过动态KV缓存重组，显著降低了MoE模型的通信延迟，提升了硬件利用率。这一案例充分说明了软件优化在提升算力利用率方面的重要作用。
在构建大规模Scale Up系统的同时，企业还需关注数据中心功耗与碳中和进程的平衡。超节点系统的功耗密度已达兆瓦级，软硬协同成为破局关键。若软件未适配硬件的动态功耗调节，可能导致芯片长期处于高功耗状态，引发过热降频等问题。
万亿参数大模型的爆发式增长，正推动算力系统进入从“量变”到“质变”的关键转折期。面对庞大的参数规模、激增的显存需求、复杂的通信开销以及MoE架构带来的负载均衡与训练稳定性挑战，企业需要不断创新硬件架构与软件系统，实现软硬协同，才能将超节点的算力优势转化为大模型落地的实际效能。
