DistributedDataParallel

# Pytorch 并行：DistributedDataParallel 一个节点上往往有多个 GPU（单机多卡），一旦有多个 GPU 空闲（~~当然得赶紧都占着~~），就需要合理利用多 GPU 资源，这与并行化训练是分不开的。 ## O、数据并行化 按 《深入浅出Pytorch》的话来说，pyto ......