Pytorch¶

Pytorch: Writing Distributed Applications with PyTorch ¶

Collective Communicationの種類は以下がある。

Scatterはデータを各ノードに分散させる。0,1,2,3というデータがあればあるノードには0を、別のノードには1をなどのように振り分ける。つまり、1:Nの通信である。
GatherはScatterの逆で各データに散らばったデータを集約する。つまりN:1の通信である。
Reduceは

python3 -m venv test
source test/bin/activate
pip3 install torch