近日，DeepSeek“开源周”活动如火如荼地进行到了第四天，一项旨在优化并行策略的新项目正式对外公布。该项目聚焦于提升模型训练和推理过程中的计算与通信协同效率，力求为人工智能领域带来更为出色的性能表现。
此次开源的核心内容涵盖了三大亮点：
首先，DualPipe双向管道并行算法脱颖而出。该算法专为V3/R1训练设计，通过实现计算与通信阶段的高效重叠，显著减少了流水线中的空闲时间，即所谓的“流水线气泡”。这一创新策略极大地提高了训练资源的利用率，使得训练过程更加高效。
其次，专家并行负载均衡器（EPLB）的推出，为专家并行架构中的负载均衡问题提供了有效解决方案。在专家并行架构中，不同的专家模块被分配到不同的GPU上运行。然而，由于任务需求的变化，各专家模块的工作负载也会相应调整。为了保持GPU间的负载均衡，EPLB采用了冗余专家策略，通过复制高负载的专家模块，并利用启发式方法将其合理分配到不同的GPU上。为了减少节点间的通信开销，EPLB还尝试将同一组的专家模块尽可能部署在同一节点上。这一策略的具体实现细节已在`eplb.py`文件中开源，开发者可借此工具计算出平衡的专家复制与放置方案。尽管专家负载的预测方法未在此次开源范围内，但开发者仍可采用移动平均法等常见手段进行估算。
最后，项目团队还公开了V3/R1计算-通信重叠分析的相关数据。这些数据详细展示了计算与通信重叠策略的实现细节及其优化效果，为研究社区提供了深入了解和改进相关技术的宝贵资料。
关于DualPipe算法，它首次亮相于深度搜索-V3技术报告中。该算法的核心思想在于，通过双向流水线机制实现正向与反向计算阶段的完全重叠，从而大幅提升整体效率。而专家并行负载均衡器（EPLB）则不仅解决了专家并行架构中的负载均衡难题，还通过优化专家模块的部署策略，进一步降低了节点间的通信成本。
此次开源活动，项目团队旨在向社区提供更多实用的技术参考，推动人工智能领域相关技术的进一步发展。这些开源内容和数据的发布，无疑将为研究者和开发者提供更为丰富的资源和灵感，助力他们在人工智能的道路上不断前行。
