近日，中国科学家在人工智能领域取得了重大突破，他们联合研发了一种名为GroPipe的全新混合并行算法，成功地将流水线模型并行与数据并行融合，实现了AI训练速度的大幅提升，近乎翻倍。
据悉，这一创新成果由西北农林科技大学信息工程学院智能计算与农业信息系统团队领衔，团队负责人刘斌教授担任核心作者，并与美国纽约州立大学及云南大学展开合作。相关研究成果已在国际计算机体系结构领域的权威期刊《IEEE Transactions on Computers》上发表。
在大型深度卷积神经网络（DCNNs）的训练过程中，为了提高模型精度，使用越来越大的数据集已成为常态，但这也导致了训练时间的显著增加。传统的数据并行（DP）和流水线模型并行（PMP）等分布式训练方法虽然提供了解决方案，但仍面临负载不平衡和通信开销大等挑战。
针对这些问题，研究团队提出了GroPipe算法架构，该架构通过协同整合PMP和DP，采用基于性能预测技术的自动模型分割算法，实现了负载的平衡和性能的量化评估。这一创新方法不仅解决了传统训练方法的痛点，还构建了一种全新的“组内流水线 + 组间数据并行”的分层训练架构。
在GroPipe方法中，自动模型划分算法（AMPA）发挥了关键作用，它实现了计算负载的动态均衡调度，大幅提升了GPU资源的利用率。在一台8-GPU服务器上进行的广泛测试中，GroPipe方法展现出了卓越的性能优势。
具体来说，在ImageNet数据集上，GroPipe方法相较于主流方案（如DP、Torchgpipe、DAPPLE和DeepSpeed）在ResNet系列模型上平均加速比达到了42.2%，在VGG系列模型上更是高达79.2%。在BERT-base模型训练中，GroPipe方法的性能提升最高可达51%。
这一研究成果不仅为中国科学家在国际人工智能领域赢得了荣誉，更为人工智能的发展注入了新的活力。GroPipe算法的创新性和实用性，将有望推动人工智能技术在更多领域的应用和发展。
