项目说明

pytorch分布式训练

环境

• torch==1.7.1

• python3.6.9

单机器多卡

sh train.sh 0 1 # 需要将里面的ip和端口号设置为自己机器的ip

多机器多卡

A机器运行

sh train.sh 0 2

B机器运行

sh train.sh 1 2

采坑记录

• 两台机器的torch版本需要保持一致，我在实验过程中，一个使用torch1.2，一个使用1.7，导致两台机器跑不起来，之后都换成1.7之后才成功。

• 主机器的node_rank必须为0

最后

• 您的小星星将是对我最大的鼓励，谢谢！