本文介绍了目前大模型分布式并行的几种方式，包括流水并行、张量并行、数据并行，并介绍了相关的里程碑工作。

传统编译器与AI编译器的对比，包括AI编译器前后端的详细优化流程，内容来自B站ZOMI大佬。

内容来自B站ZOMI大佬，做个文字版笔记，有兴趣可以观看ZOMI大佬的原视频。