# Pytorch

## Pytorch: [Writing Distributed Applications with PyTorch](https://pytorch.org/tutorials/intermediate/dist_tuto.html)
### 総論
Collective Communicationの種類は以下がある。

- `Scatter`はデータを各ノードに分散させる。`0,1,2,3`というデータがあればあるノードには`0`を、別のノードには`1`をなどのように振り分ける。つまり、`1:N`の通信である。
- `Gather`は`Scatter`の逆で各データに散らばったデータを集約する。つまり`N:1`の通信である。
- `Reduce`は


```
python3 -m venv test
source test/bin/activate
pip3 install torch
```

## PyTorch: [Distributed and Parallel Training Tutorials](https://pytorch.org/tutorials/distributed/home.html)

# PyTorch: [Distributed communication package - torch.distributed](https://pytorch.org/docs/stable/distributed.html#basics)

# PyTorch: [Custom C++ and CUDA Extensions](https://pytorch.org/tutorials/advanced/cpp_extension.html)

# 集合計算: [静岡理工科大学・大学院「分散処理」受講生向け情報](https://na-inet.jp/tutorial/)