20230810: VMでRoCEv2Pingをする¶
–
前提¶
- おなじセグメント内でいるLinuxがVMWareなどで立ち上がっている。(同じセグメントは必須要件ではない)
- NW I/Fはens34とする
共通¶
IF=ens34
sudo apt -y install infiniband-diags ibverbs-utils infiniband-diags
sudo apt -y install perftest rdma-core wireshark python3-pip libibverbs-dev
sudo apt -y install rdmacm-utils tshark
rdma link show
> なにもない
ls /sys/class/infiniband/
> なにもない
sudo rdma link add rxe0 type rxe netdev $IF
rdma link show
> link rxe0/1 state ACTIVE physical_state LINK_UP netdev ens34
ls /sys/class/infiniband/
> rxe0
sudo modprobe rdma_ucm
sudo modprobe ib_uverbs
sudo modprobe ib_iser
sudo modprobe ib_umad
sudo modprobe ib_ipoib
状態の確認¶
ibstat¶
kanai@ubuntu1:~$ ibstat
> ここで、LIDが0のままだがよい。
> IBの場合DiscoverされるがRoCEの場合LIDはつかない。
CA 'rxe0'
CA type:
Number of ports: 1
Firmware version:
Hardware version:
Node GUID: 0x020c29fffe9122a4
System image GUID: 0x020c29fffe9122a4
Port 1:
State: Active
Physical state: LinkUp
Rate: 10 (FDR10)
Base lid: 0
LMC: 0
SM lid: 0
Capability mask: 0x00010000
Port GUID: 0x020c29fffe9122a4
Link layer: Ethernet
ibv_devinfo -v¶
ibv_devinfo -v
---
hca_id: rxe0
num_comp_vectors: 2
port: 1
GID[ 0]: fe80::20c:29ff:fe46:4c04, RoCE v2
GID[ 1]: ::ffff:192.168.244.128, RoCE v2
GID[ 4]: fe80::6ddb:b1ea:ec80:a442, RoCE v2
# ここで、ipv6のついているモノがあるが、 ip addr showなどでどれが使われているのかを見ておく
# 私の環境ではGID0のアドレスが ip addr showでens34についていなかった...
---
ping¶
rping(IPv4)¶
kanai@ubuntu1:~$ rping -s -a 192.168.101.174 -C 10 -v
> -aでLISTENを指定する必必要はない。rping -sでもOK
server ping data: rdma-ping-0: ABCDEFGHIJKLMNOPQRSTUVWXYZ[\]^_`abcdefghijklmnopqr
server DISCONNECT EVENT...
kanai@ubuntu2:~$ rping -c -a 192.168.101.174 -C 2 -v
ping data: rdma-ping-0: ABCDEFGHIJKLMNOPQRSTUVWXYZ[\]^_`abcdefghijklmnopqr
ping data: rdma-ping-1: BCDEFGHIJKLMNOPQRSTUVWXYZ[\]^_`abcdefghijklmnopqrs
tcpdump
14:53:14.201551 IP 192.168.101.147.55410 > 192.168.101.174.4791: UDP, length 280
14:53:14.201572 IP 192.168.101.147.64713 > 192.168.101.174.4791: UDP, length 32
rping(IPv6)¶
kanai@ubuntu1:~$ rping -s -a ::0
> -a で::0を指定しないといけない
> -s server side. To bind to any address with IPv6 use -a ::0
kanai@ubuntu2:~$ rping -c -a fe80::6ddb:b1ea:ec80:a442%ens34 -C 2 -v
tcpdump
14:52:31.957600 IP6 fe80::9f3c:546c:7e0e:29ca.49984 > fe80::6ddb:b1ea:ec80:a442.4791: UDP, length 32
14:52:31.957623 IP6 fe80::6ddb:b1ea:ec80:a442.49984 > fe80::9f3c:546c:7e0e:29ca.4791: UDP, length 20
IP Verb ping(IPv4)¶
Server
kanai@ubuntu1:~$ sudo ibv_rc_pingpong -d rxe0 -g 1
local address: LID 0x0000, QPN 0x000014, PSN 0xb86d37, GID ::ffff:192.168.101.174
remote address: LID 0x0000, QPN 0x000014, PSN 0x71370e, GID ::ffff:192.168.101.147
Client
ibv_rc_pingpong -d rxe0 -g 1 192.168.101.174
local address: LID 0x0000, QPN 0x000014, PSN 0x71370e, GID ::ffff:192.168.101.147
remote address: LID 0x0000, QPN 0x000014, PSN 0xb86d37, GID ::ffff:192.168.101.174
Server (tcpdump)
sudo tcpdump -ni ens34
14:33:20.876929 IP 192.168.101.174.49593 > 192.168.101.147.4791: UDP, length 20
14:33:20.876943 IP 192.168.101.174.49593 > 192.168.101.147.4791: UDP, length 1040
tcpdump
14:47:58.174977 IP 192.168.101.147.57730 > 192.168.101.174.4791: UDP, length 32
14:47:58.174990 IP 192.168.101.174.57730 > 192.168.101.147.4791: UDP, length 20
IPv4で通信されている
IP Verb ping(IPv6)¶
ここで興味深いのは以下でClient側がv4でtargetを指定しているものの、IPv6で通信されていること
Server
kanai@ubuntu1:~$ sudo ibv_rc_pingpong -d rxe0 -g 4
local address: LID 0x0000, QPN 0x00001b, PSN 0x600c60, GID fe80::6ddb:b1ea:ec80:a442
remote address: LID 0x0000, QPN 0x00001b, PSN 0x5fe13c, GID fe80::9f3c:546c:7e0e:29ca
kanai@ubuntu2:~$ ibv_rc_pingpong -d rxe0 -g 4 192.168.101.174
local address: LID 0x0000, QPN 0x00001b, PSN 0x5fe13c, GID fe80::9f3c:546c:7e0e:29ca
remote address: LID 0x0000, QPN 0x00001b, PSN 0x600c60, GID fe80::6ddb:b1ea:ec80:a442
Server (tcpdump)
14:39:00.613401 IP6 fe80::9f3c:546c:7e0e:29ca.49936 > fe80::6ddb:b1ea:ec80:a442.4791: UDP, length 1040
14:39:00.613404 IP6 fe80::9f3c:546c:7e0e:29ca.49936 > fe80::6ddb:b1ea:ec80:a442.4791: UDP, length 1040