InfiniPipe: 効率性の高い変長長コンテキスト LLM 訓練のための弾力性 Pipeline 並列化

arXiv:2509.21275v3 Announce Type: replace-cross Abstract: 長文脈訓練は、LLM のコンテキスト拡張において不可欠です。既存の手法、例えばシーケンス並列化は、大きな通信オーバーヘッドをもたらします。Pipeline 並列化（PP）はこのコストを削減しますが、その効性は割当て粒度に依存します。シーケンスパッキングを活用したバッチレベル PP は、長文脈シナリオで高いメモリ消費を示しますが、トークンレベル PP がシーケンスをスライスに分割することはメモリオーバーヘッドを軽減しながらも、ハードウェアの利用率低下を招く可能性があります。さらに、現実のデータセットにおけるシーケンス長の偏り分布は、単一で静的な粒度を持つ PP の性能を最適化されません。この論文では、我々は 1) トークンレベル PP とバッチレベル PP を協調させることで、リソースとワークロードの異質性に適応する extit{弾力性 Pipeline 並列化（EPP）}を提案し、2) 勾配チェックポインティングを効率的に EPP に統合する extit{Stage-Aware Chunk-Level Adaptive Checkpointing}を提案します。包括的な実験は、InfiniPipe が最先进システムに対して 1.69 倍の速度向上を示すことを示唆しました。当社のコードは、https://github.com/wsjdsg/InfiniPipe.git でオープンソース化されています。

arXiv:2509.21275v3 Announce Type: replace-cross Abstract: Long context training is crucial for LLM's context extension. Existing schemes, such as sequence parallelism, incur substantial communication overhead. Pipeline parallelism (PP) reduces this cost, but its effectiveness hinges on partitioning granularity. Batch-level PP employing sequence packing exhibits high memory consumption in long-context scenarios, whereas token-level PP splitting sequences into slices alleviates memory overhead but may incur hardware under-utilization. Moreover, the skewed distribution of sequence length in real-world datasets renders monolithic and static granularity PP's sub-optimal performance. In this paper, we propose 1) \textit{Elastic Pipeline Parallelism} (EPP) that orchestrates token-level PP and batch-level PP to adapt to resource and workload heterogeneity, and 2) \textit{Stage-Aware Chunk-Level Adaptive Checkpointing} that efficiently integrates gradient checkpointing with EPP. Comprehensive experiments demonstrate that InfiniPipe achieves a 1.69x speedup over state-of-the-art systems. Our code is open-sourced at https://github.com/wsjdsg/InfiniPipe.git.