PyTorch Geometric (PyG) 是建立在 PyTorch 之上的一個庫，專注于提供幾何深度學習領域的工具、模型和示例。關于 PyTorch PyG 是否支持分布式訓練的問題，實際上應該關注的是 PyTorch 本身是否支持分布式訓練，因為 PyTorch PyG 是基于 PyTorch 構建的。
torch.nn.parallel.DistributedDataParallel，它支持在多個 GPU 上并行訓練模型，適用于單機多卡和多機多卡場景。torch.distributed.init_process_group 初始化分布式訓練環境。DistributedDataParallel 中。DistributedDataParallel 包裝的模型進行訓練，就像在單機上訓練一樣，但 PyTorch 會自動處理分布式訓練的細節。PyTorch PyG 本身并不直接支持分布式訓練，但可以通過 PyTorch 提供的 DistributedDataParallel 來實現分布式訓練。這意味著，如果你在 PyTorch PyG 中定義了模型，你可以使用 PyTorch 的 DDP 來實現分布式訓練。
