GPUDirect RDMA Nedir? ConnectX'te RoCE Offload ve ASAP²

GPUDirect RDMA Nedir? ConnectX'te RoCE Offload ve ASAP²

GPUDirect RDMA Nedir? ConnectX'te RoCE Offload ve ASAP²

Yayın
20 November, 2026
Kategori
Teknik Rehber

Kısa cevap: GPUDirect RDMA, ConnectX adaptörün GPU belleğini PCIe üzerinden doğrudan okuyup yazmasını sağlar, böylece ağ trafiği ana bellekte ara kopyadan geçmez. RoCEv2 offload, RDMA taşıma katmanını yönlendirilebilir UDP/IP Ethernet üzerinde kartın kendisinin yürütmesi demektir. ASAP², Open vSwitch veri düzlemini kartın gömülü switch’ine taşır. PFC, ECN ve DCQCN bir RoCE ağını yük altında kayıpsız ve kararlı tutar. VPI ise aynı kartın InfiniBand veya Ethernet olarak çalışmasına izin verir. Hangisinin önemli olduğu, düğümün eğitim mi, servis mi, depolama mı yaptığına bağlıdır.

ConnectX-7 ve ConnectX-8 ürün sayfalarında bu özellikler listelenir. Bu yazı her birinin ne yaptığını NVIDIA’nın veri sayfaları, kullanım kılavuzları ve sürücü belgelerine dayanarak açıklıyor.

RDMA neyi değiştirir?

NVIDIA’nın sürücü belgelerine göre RDMA, sunucular arasında CPU’yu devreye sokmadan bellekten belleğe doğrudan veri aktarımıdır. ConnectX adaptörler RDMA servislerini donanımda yürüterek CPU yükünü ve gecikmeyi azaltır. Pratikte taşıma katmanını çekirdeğin ağ yığını değil kart çalıştırır ve veriyi hedef belleğe kendisi yerleştirir.

InfiniBand’de RDMA protokolün kendisinde var. ConnectX-7 InfiniBand veri sayfası donanım tabanlı güvenilir taşıma, RDMA ve send/receive semantiği, atomik işlemler, XRC ve DCT taşıma modlarını sayar. RoCE ise aynı InfiniBand taşıma katmanını Ethernet paketlerinin içinde taşır. İki tarafta da uygulamalar aynı verbs API’sini kullanır.

Operasyonda bilinmesi gereken bir ayrıntı: RoCE trafiğini donanım işlediği için bu trafik standart Ethernet arayüz sayaçlarında görünmez. NVIDIA, sayaçlar için /sys/class/infiniband/<aygıt>/ports/<port>/counters/ dizinini gösterir.

GPUDirect RDMA: veri yolu

NVIDIA’nın CUDA belgelerine göre GPUDirect RDMA, Kepler sınıfı GPU’lar ve CUDA 5.0 ile gelmiş bir teknolojidir ve GPU ile üçüncü taraf bir aygıt arasında, PCI Express’in standart özelliklerini kullanarak doğrudan veri yolu açıyor. Bu olmadan GPU belleğinden ağa çıkacak veri önce ana belleğe kopyalanır, kart onu oradan okur. GPUDirect RDMA ile kart GPU belleğini doğrudan okur ve yazar.

Yazılım tarafında NVIDIA GPU sürücüsü nvidia-peermem çekirdek modülüyle gelir. Bu modül ConnectX adaptörlere GPU belleğine eşler arası (peer-to-peer) okuma ve yazma erişimi verir. ConnectX-3 VPI ve sonrası kartlarda desteklenir ve hem InfiniBand hem RoCE ile çalışır. ConnectX-7 InfiniBand veri sayfası da ConnectX-8 veri sayfası da GPUDirect RDMA’yı listeler.

İşlerin ters gittiği yer donanım tarafıdır. NVIDIA’nın PCIe topolojisi için koyduğu kurallar net:

  • GPU ile adaptör aynı üst PCIe root complex’i paylaşmalıdır.
  • Arada yalnızca PCIe switch’ler bulunan yol en iyi performansı verir.
  • Tek bir CPU üzerinden geçen yol çalışır, ancak performans düşer.
  • Soketler arası bağlantıyı aşan yolda performans ciddi biçimde sınırlanabilir, hatta bağlantı güvenilir çalışmayabilir.

Aynı belge, GPUDirect RDMA için IOMMU’nun kapalı veya pass-through modunda olması gerektiğini de not eder. NCCL bu kuralı NCCL_NET_GDR_LEVEL ile doğrudan yansıtır: PIX GPUDirect RDMA’yı yalnızca GPU ve kart aynı PCIe switch altındaysa, PXB birden fazla PCIe switch üzerinden, PHB aynı NUMA düğümü içinde, SYS ise soketler arası bağlantıyı aşsa bile kullanır. Değişken ayarlanmazsa NCCL platforma göre kendisi seçer. Kartın hangi yuvaya takılacağına bu yüzden sunucu tasarlanırken, sipariş verilmeden karar verilmeli.

GPUDirect Storage ve NVMe-oF

GPUDirect Storage (GDS) aynı fikri depolamaya uygular: GPU belleği ile depolama arasında, CPU üzerinden ara tampona (bounce buffer) uğramayan doğrudan bir DMA yolu. Uygulamalar buna cuFile API ile erişir. Yerel depolamada DMA’yı NVMe aygıtı yapar. Uzak depolamada RDMA’yı ağ kartı yapar ve dağıtık dosya ve blok sistemlerinde GDS, kart ile GPU belleği arasındaki doğrudan yol için GPUDirect RDMA’ya dayanır.

Yani paralel dosya sisteminden okuyan bir GPU düğümünde GDS, adaptörün GPUDirect RDMA desteğine bağlı. ConnectX-7 InfiniBand ve ConnectX-8 veri sayfaları GPUDirect Storage’ı listeler. NVIDIA’nın GDS destek matrisinde DDN EXAScaler, IBM Storage Scale, WekaFS ve VAST gibi iş ortağı dosya sistemleri yer alır. Dosya sistemi sınıflandırma tablosunda BeeGFS ve NFS de bulunur. GDS sürüm notları bazı MLNX_OFED sürümlerinde NVMe-oF’nin çalışmadığını belirtir, bu yüzden kurulum öncesinde sürücü sürümü kontrol edilmelidir.

NVMe over Fabrics (NVMe-oF), NVMe komutlarını Ethernet veya InfiniBand gibi bir ağ üzerinden taşır. Target offload özelliği ise depolama sunucusu tarafını ilgilendirir. ConnectX-5’ten itibaren desteklenen NVMe-oF target offload’da olağan G/Ç isteklerini kart kendisi işler ve eşler arası PCIe üzerinden doğrudan NVMe diske iletir. NVIDIA’ya göre bağlantı yönetimi ve hata akışları dışında NVMe-oF trafiği sırasında CPU kullanımı gözlenmez. ConnectX-7 veri sayfaları NVMe-oF target offload’unu, TCP ve RoCE üzerinde NVMe-oF hızlandırmasını, T10-DIF imza aktarımını ve SRP, iSER, NFS over RDMA, SMB Direct gibi depolama protokollerini listeler.

RoCEv2 donanım offload’u: kart ne yapar?

RoCEv2, RDMA’yı hedef portu 4791 olan UDP/IP paketlerinin içine koyar. IP başlığı sayesinde trafik Katman 3 ağlarda yönlendirilebilir. UDP kaynak portu da ECMP yük dağıtımı için akış kimliği olarak kullanılabilir. RoCEv1 ise kendine ait bir EtherType kullanır ve tek bir yayın alanının (broadcast domain) dışına çıkamaz.

“RoCE offload”, ConnectX kartın bu paketler için RDMA taşıma katmanını InfiniBand’de olduğu gibi donanımda yürütmesi anlamına gelir. ConnectX-7 kılavuzunun ifadesiyle, veri merkezi köprüleme (DCB) yetenekleri ve kartın donanım tıkanıklık kontrolü sayesinde RoCE, Katman 2 ve Katman 3 ağlarda düşük gecikmeli RDMA servisi sunar. ConnectX-8 veri sayfası RDMA ve RoCEv2 hızlandırmalarını listeler.

RoCE’de subnet manager ve LID bulunmadığı için yol bilgisi (path record) bir SM’den sorgulanamaz. NVIDIA bunun için RDMA bağlantı yöneticisini (RDMA CM) önerir. Kayıpsızlık ve tıkanıklık yönetimi Ethernet tarafında ayrıca yapılandırılmalıdır. Bu ödünleşimler RoCEv2 ve Ultra Ethernet: InfiniBand’e gerçek alternatif mi? ve InfiniBand vs Ethernet yazılarında ele alınıyor.

ASAP²: neyi hızlandırır, ne zaman önemlidir?

ASAP² (Accelerated Switching and Packet Processing), yazılım tanımlı ağlar için geliştirilmiş bir Ethernet özelliği. Çözdüğü sorunu NVIDIA şöyle anlatır: Hipervizörde çalışan Open vSwitch paketleri yazılımda anahtarladığı için CPU’yu yorar ve mevcut bant genişliğinin tamamının kullanılmasını engeller. ASAP², ConnectX-5’ten itibaren OVS veri düzlemini kartın gömülü switch’inde (eSwitch) işler, OVS kontrol düzlemi ise olduğu gibi kalır.

Klasik kurulum SR-IOV üzerine kurulur: sanal fonksiyonlar (VF) doğrudan sanal makinelere verilir, kartın eSwitch’i switchdev moduna alınır ve her VF için bir representor aygıtı oluşur, ardından varsayılan olarak kapalı olan OVS donanım offload’u açılır. ConnectX-8 veri sayfası kapsamı şöyle sayar: OVS hızlandırma, overlay ağlar (VXLAN, GENEVE, NVGRE), bağlantı izleme (L4 güvenlik duvarı) ve NAT, hiyerarşik QoS, başlık yeniden yazma, akış yansıtma, akış istatistikleri ve akış yaşlandırma.

Ne zaman önemli? Sanal switch çalıştıran sunucularda: SR-IOV ile çalışan sanal makineler, çok kiracılı özel bulutlar, VXLAN overlay kullanan ağ fonksiyonları. Yalnızca InfiniBand fabric’e bağlı bare-metal bir GPU eğitim düğümünde ASAP²’nin bir katkısı olmaz.

QoS ve tıkanıklık kontrolü (PFC, ECN, DCQCN)

InfiniBand. QoS mimarinin içinde tanımlı. Paketler bir servis seviyesi (SL) taşır, switch’ler SL’yi sanal hatlara (VL) eşler, politikayı fabric genelinde subnet manager uygular. ConnectX-7 InfiniBand veri sayfası 8 sanal hat artı VL15, donanım tabanlı tıkanıklık kontrolü ve uyarlamalı yönlendirme desteğini listeler.

RoCE kullanılan Ethernet. Üç mekanizma birlikte çalışır:

  • PFC (IEEE 802.1Qbb) duraklatmayı trafik sınıfı bazında uygular. NVIDIA’nın örneğinde aynı port üzerinde RoCE trafiği kayıpsız, olağan trafik ise best-effort hizmet alır. PFC sunucunun yanında switch’te de etkinleştirilmelidir.
  • ETS ve trust modu, trafik sınıflarının bant genişliğini nasıl paylaşacağını ve paketlerin nasıl sınıflanacağını belirler. ConnectX kartlar varsayılan olarak VLAN PCP alanına göre sınıflar, istenirse DSCP’ye göre çalışacak şekilde ayarlanır.
  • ECN, IP başlığındaki iki bit ile paket düşürmeden tıkanıklık sinyali verir. Yol üzerindeki her düğümün desteklemesi gerekir.

DCQCN, ECN üzerine kurulu hız denetim döngüsüdür. NVIDIA’nın anlatımında switch tıkanıklık noktasıdır (congestion point) ve çıkış kuyruğu büyüdükçe artan bir olasılıkla ECN işaretler. Alıcı kart, yani bildirim noktası, ilgili queue pair için donanımda bir tıkanıklık bildirim paketi (CNP) üretir. Gönderen kart, yani tepki noktası, hızını düşürür ve ardından aşamalı olarak geri yükseltir. Güncel NVIDIA belgeleri DCQCN’i ConnectX SuperNIC ve BlueField DPU’larda geriye uyumluluk için sunulan algoritma olarak tanımlar. Yanında donanım zaman damgalı gidiş-dönüş süresi (RTT) ölçümü ekleyen ZTR-RTT de yer alır. ConnectX-8 veri sayfası programlanabilir tıkanıklık kontrolünü listeler.

Sık sorulan “uçtan uca QoS” konusunun pratik karşılığı şu: sunucu ile switch aynı dili konuşmuyorsa bunların hiçbiri işe yaramaz. Öncelik eşlemesi ve PFC sınıfları kart ile switch arasında tutarlı olmalı, yol üzerindeki her düğüm de ECN’i desteklemelidir. Bu ayarlar adaptör kadar RoCE switch’ler üzerinde de yapılır.

VPI: tek kart, InfiniBand veya Ethernet

ConnectX-7 kartlar iki gruba ayrılır: hem InfiniBand hem Ethernet destekleyenler ve yalnızca Ethernet olanlar. Kılavuz bazı çift portlu QSFP112 ve dört portlu SFP56 modelleri yalnızca Ethernet olarak listeler, yani parça numarasına bakmak gerekir. NVIDIA’nın VPI dediği çift protokollü kartlarda port tipi mlxconfig (LINK_TYPE_P1, LINK_TYPE_P2) ile veya UEFI üzerinden ayarlanır ve yeniden başlatmadan sonra geçerli olur.

Varsayılanlar parça numarasına göre değişir. ConnectX-7 kılavuzuna göre MCX75310AAS-NEAT InfiniBand NDR olarak gelirken MCX755106AS-HEAT ve MCX755106AC-HEAT 200GbE Ethernet, MCX715105AS-WEAT ise 400GbE Ethernet olarak gelir. ConnectX-8’de tek portlu OSFP kart InfiniBand, çift portlu QSFP112 kart Ethernet varsayılanıyla gelir. Ethernet hızları port başına 400 Gb/s’ye kadar listelenir. Kablolamaya geçmeden önce kendi parça numaranızın varsayılanını ve desteklenen port kombinasyonlarını kontrol edin.

Eğitim, çıkarım ve depolama düğümlerinde hangi özellikler önemli?

Düğüm rolüÖnemli olan özelliklerGenellikle önemsiz
Çok düğümlü eğitimGPUDirect RDMA, kart-GPU PCIe yerleşimi, kayıpsız RoCE veya InfiniBand tıkanıklık kontrolü, ağ içi kolektiflerASAP², NVMe-oF target offload
Çıkarım (inference) servisiModel birden fazla düğüme yayılıyorsa GPUDirect RDMA; servis sanal makinede veya sanallaştırılmış Kubernetes ağında çalışıyorsa SR-IOV ve ASAP²NVMe-oF target offload
Depolama sunucularıNVMe-oF target offload, RDMA depolama protokolleri (iSER, NFS over RDMA, SMB Direct), T10-DIFSunucunun kendisinde GPUDirect RDMA
Paralel depolamayı kullanan GPU istemcileriGPUDirect Storage (GPUDirect RDMA’ya dayanır)ASAP²
Sanallaştırılmış / çok kiracılı sunucularSR-IOV, ASAP², donanım şifreleme (inline crypto)Ağ içi kolektifler

Eğitim kümelerinde ağ içi hesaplama tarafı NVIDIA SHARP: kolektif MPI işlemlerini ağın içinde toplamak yazısında anlatılıyor. ConnectX-8 kılavuzu, ConnectX-8 InfiniBand SuperNIC’lerin SHARP yeteneklerini genişlettiğini belirtir.

Mevasis, NVIDIA ConnectX adaptörlerini tedarik ediyor, GPUDirect için PCIe yerleşim kontrolü dahil InfiniBand ve RoCE fabric’leri tasarlıyor. Modeller ve teklif için InfiniBand ağ kartı kategori sayfasına bakabilirsiniz.

Sıkça Sorulan Sorular

GPUDirect RDMA, ConnectX gibi bir PCIe aygıtına GPU belleğine doğrudan erişim yolu açar. GPUDirect Storage aynı fikri cuFile API üzerinden dosya ve blok G/Ç'ye uygular: yerel NVMe diskler GPU belleğine doğrudan DMA yapar, uzak depolamada ise bu yolu ağ kartı GPUDirect RDMA ile sağlar.

Hayır. NVIDIA, ConnectX adaptörlere GPU belleğine eşler arası erişim veren nvidia-peermem çekirdek modülünün hem InfiniBand hem RoCE ile çalıştığını ve ConnectX-3 VPI ve sonrası kartlarda desteklendiğini belirtir.

Genellikle hayır. ASAP², Open vSwitch veri düzlemini kartın gömülü switch'ine taşır. Sanal makine veya konteyner için sanal switch çalıştıran Ethernet sunucularında anlam kazanır, yalnızca InfiniBand fabric'e bağlı bare-metal düğümlerde değil.

Klasik RoCE tasarımı kayıpsız Ethernet üzerine kurulur ve bir trafik sınıfını kayıpsız yapan mekanizma, hem sunucuda hem switch'te etkinleştirilen PFC'dir (IEEE 802.1Qbb). NVIDIA ayrıca özel switch yapılandırması gerektirmeyecek şekilde tasarlanmış ZTR-RTT tıkanıklık kontrolüyle Zero Touch RoCE'yi de belgeliyor. Kartlarınızın ve switch'lerinizin hangi modu desteklediğini kontrol edin.

VPI modellerde evet. Port tipi mlxconfig ile veya UEFI üzerinden port bazında ayarlanır ve yeniden başlatmadan sonra geçerli olur. Her parça numarasının belgelenmiş bir varsayılanı var, örneğin tek portlu OSFP kart InfiniBand, çift portlu QSFP112 kartlar Ethernet olarak gelir.

  • Paylaş:

Birlikte Geleceği İnşa Edelim.