AMD近期宣布了一项重大进展，成功将经过优化的DeepSeek-V3模型集成到其Instinct MI300X GPU上。这一模型通过SGLang进行了强化，专为AI推理设计，旨在提升性能。
事实上，早在去年12月26日，AMD已在Github上发布了支持DeepSeek-V3模型的SGLang v0.4.1版本，为这一集成奠定了基础。
据AMD透露，DeepSeek V3是目前性能最强的开源大型语言模型（LLM），其表现甚至超越了GPT-4。这一成就得益于SGLang与DeepSeek团队的紧密合作，使得DeepSeek V3在发布首日便能在英伟达和AMD的GPU上顺利运行。AMD还特别感谢了美团搜索与推荐算法平台团队以及DataCrunch提供的GPU资源支持。
DeepSeek-V3模型采用了混合专家（MoE）架构，总参数量高达6710亿，每个token激活370亿参数，展现出强大的处理能力。为了实现高效推理和高经济效益的训练，该模型引入了多头潜在注意力（MLA）和DeepSeekMoE架构。
DeepSeek-V3开创性地采用了一种无辅助损失的负载平衡策略，并设置了多标记预测训练目标，进一步提升了模型的性能。这使得开发人员能够利用高级模型，同时处理文本和视觉数据，从而广泛获取先进功能，并享受更多功能带来的便利。
AMD Instinct GPU加速器与DeepSeek-V3的结合，为AI模型的运行带来了显著改善，特别是在推理方面。AMD表示，ROCm中广泛的FP8支持有助于解决内存瓶颈和高延迟等关键问题。这使得平台能够在相同的硬件限制下处理更大的模型或批处理，从而提高了训练和推理过程的效率。
FP8降低精度计算减少了数据传输和计算中的延迟。AMD ROCm扩展了其对FP8的支持，从框架到库，全面提升了性能和效率。这一技术革新为AI模型的高效运行提供了有力保障。
