大模型分布式并行

本文介绍了目前大模型分布式并行的几种方式，包括流水并行、张量并行、数据并行，并介绍了相关的里程碑工作。