[NVIDIA] InfiniBand

NVIDIA InfiniBand 란

---

인피니밴드는 고성능 컴퓨팅 환경을 위해 특별히 설계된 고속 네트워크 기술이다. 단순한 네트워크 프로토콜을 넘어, 컴퓨터 간 통신을 위한 완전한 아키텍처이다. 

 

특징

• NVIDIA의 최신 인피니밴드 솔루션은 400Gbs의 속도를 지원해준다.
• GPU와 직접 통신할 수 있기 때문에, CPU 개입 없이도 GPU 메모리만으로 직접 데이터 전송 가능.
• NVIDIA의 AI 소프트웨어 스택과 완벽히 호환 가능
• NVIDIA의 다른 기술들과의 시너지를 통해 End-to-end 솔루션을 제공함으로 AI 워크로드 최적화에 가장 특화된 성능을 가지고 있다. 

---

NVIDIA InfiniBand 접속 케이블

---

1. 광섬유가 사용이 된다.

2. 접속 단자 : OSFP, CX4가 사용된다.

3. CA 탑재 : 노드에 꽂는 카드

HCA  : 일반 컴퓨터에 꽂는 카드

TCA : 그 외 스토리지 제품에 꽂는 카드

---

InfiniBand 장점

---

1. 높은 처리량

2. 짧은 레이턴시

3. 흐름 제어

4. RDMA

- 데이터를 송신처로 전송

- 원격 노드의 메모리 어드레스를 지정해서 데이터를 기록

- 메모리를 읽는 기능

5. 제로 카피

6. Software Defined Network

- 서브넷 내에 있는 노드로부터 노드로의 패킷 경로는 SM 컨트롤러가 소프트웨어적으로 제어함

- 여유도가 높아서 병목현상이 적은 토폴로지를 구성가능 하다.

---

InfiniBand Fabric

---

Fabric

- InfiniBand 네트워크를 칭함. 이더넷의 스타형 네트워크와 달리 루프를 포함한 결선이 가능하다. 

- HCA와 스위치에는 GUID라는 식별자가 고유하게 할당된다. 

- 이더넷 : 48bit

- 인피니밴드 : 64bit

- GUID 는 HCA는 각 포트마다, 스위치는 1개가 할당 된다.

- GUID는 식별자가 고유하게 할당된다. 

인피니 로컬 네트워크 : Subnet

- 복수의 서브넷을 라우터로 연결 가능

- 단, 인피니밴드 규격에는 라우팅 기능은 일부 정의 되어 있지 않음.