RoCEv2 ve Ultra Ethernet: InfiniBand'e Gerçek Alternatif mi?

“InfiniBand mı Ethernet mi?” sorusunun cevabını ayrı bir karşılaştırma sayfasında veriyoruz. Bu yazı bir adım sonrasını ele alıyor: Ethernet tarafını seçtiyseniz, onu HPC’ye yakışır hâle nasıl getirirsiniz — ve Ultra Ethernet bu tabloyu gerçekten değiştirecek mi?

Cevabın kısası şu: standart Ethernet HPC için yeterli değildir. Onu yeterli kılan şey RoCEv2 ve altındaki kayıpsız taşıma katmanıdır — ki bu katman doğru yapılandırılmadığında faydadan çok zarar verir. Aşağıda RoCEv2’nin nasıl çalıştığını, PFC ve ECN ayarlarının neden kritik olduğunu ve Ultra Ethernet’in hangi zayıflıkları hedeflediğini ele alıyoruz.

Neden HPC Ağı Özel Bir Konu?

Masaüstü veya kurumsal IT ortamlarında milisaniye düzeyindeki ağ gecikmeleri sorun yaratmaz. Ancak 1.024 çekirdekli MPI simülasyonunda her MPI çağrısında yaşanan 100 µs gecikme, toplamda saatlerce kayba dönüşebilir.

HPC ağlarını özel kılan iki temel metrik:

• Gecikme (Latency): Mesajın bir node’dan diğerine ulaşma süresi. Mikrosaniye ve altı önemlidir.
• Bant Genişliği (Bandwidth): Saniyede aktarılabilen veri miktarı. Gb/s cinsinden ölçülür.
• MPI Collective Performansı: Allreduce, Broadcast gibi toplu işlemlerde ağ topolojisinin rolü.

InfiniBand: Temel Kavramlar

InfiniBand 1999 yılında HPC ve veri merkezi uygulamaları için tasarlanmış, CPU bypass’ı sağlayan yüksek hızlı bir ağ teknolojisidir. RDMA (Remote Direct Memory Access) desteği, veriyi CPU’yu atlatarak doğrudan uzak belleğe kopyalayarak işlemci yükünü minimuma indirir.

Nesil ve Hız Sınıfları

Mevcut yeni kurulumlar için HDR200 veya NDR400 tercih edilmektedir.

InfiniBand’ın Ayırt Edici Özellikleri

RDMA (Remote Direct Memory Access): Uzak node belleğine doğrudan erişim. CPU interrupt veya OS müdahalesi olmaksızın veri transferi; gecikmeyi dramatik biçimde düşürür.

Zero-Copy: Veri, uygulama belleğinden doğrudan ağa kopyalanır; ara tampon bellek gerektirmez.

Kernel Bypass: Ağ işlemleri OS çekirdeğini atlayarak doğrudan HCA (Host Channel Adapter) donanımı tarafından yürütülür.

Yüksek Hızlı Ethernet: RoCE ve DPDK

Standart Ethernet protokol yığını HPC için yavaştır; ancak iki teknoloji Ethernet’i HPC’ye yaklaştırır:

RoCE (RDMA over Converged Ethernet)

InfiniBand’ın RDMA avantajını Ethernet üzerinde sağlamak için geliştirilmiştir. İki versiyonu vardır:

• RoCE v1: L2, yalnızca aynı subnet içi
• RoCE v2 (iWARP üzeri): L3, yönlendirilebilir; daha geniş dağıtım imkânı

RoCE v2, Priority Flow Control (PFC) ve ECN (Explicit Congestion Notification) gerektirerek kayıpsız Ethernet altyapısına ihtiyaç duyar.

DPDK (Data Plane Development Kit)

Kernel bypass yaklaşımıyla standart Linux ağ yığınının işlemci yükünü ve gecikmesini azaltır. HPC’den çok NFV ve telekom uygulamalarında kullanılsa da veri yoğun pipeline’larda tercih edilir.

Performans Karşılaştırması

Tek Mesaj Gecikmesi

MPI Allreduce Karşılaştırması (1024 çekirdek, 1 MB mesaj)

MPI yoğun iş yüklerinde ağ seçimi toplam hesaplama süresini %20–40 oranında etkileyebilir.

Topoloji Tasarımı

Fat-Tree Topolojisi

HPC ağlarında en yaygın topoloji fat-tree’dir. Her node aynı hop sayısıyla diğerine ulaşır; tıkanma (oversubscription) yoktur.

         Core Switches
        /      |       \
    Spine    Spine    Spine
   /    \   /    \   /    \
 Leaf  Leaf Leaf  Leaf Leaf Leaf
  |     |    |    |    |    |
 N1    N2   N3   N4   N5   N6

1:1 (non-blocking) fat-tree: Tüm node’lar eşzamanlı tam hızda iletişim kurabilir. Maliyet yüksek; büyük kurulumlar için.

2:1 oversubscribed fat-tree: Çekirdek seviyesinde bant genişliği yarı oranda; maliyet %30–40 düşük. Çoğu HPC iş yükü için yeterli.

Dragonfly+ Topolojisi

Çok büyük sistemlerde (10.000+ node) fat-tree’nin yerini Dragonfly+ gibi topolojiler alır. Hop sayısını azaltarak gecikmeyi düşürür; ancak yönlendirme karmaşıklığı artar.

Maliyet Analizi

Örnek: 64 Node’luk HPC Cluster

InfiniBand, Ethernet’e göre 5–15× daha pahalıdır; ancak MPI yoğun iş yüklerinde bu fark performans avantajıyla telafi edilir.

Ultra Ethernet: hangi zayıflıkları hedefliyor?

RoCEv2’nin sahadaki üç bilinen zaafı var ve Ultra Ethernet Consortium (UEC) tam olarak bunları hedefliyor.

1. Sıralı teslim zorunluluğu

RoCEv2 paketlerin sırayla geldiğini varsayar. Bu varsayım, çok yollu yönlendirmeyi (multi-path) pratikte kullanılamaz hâle getirir: trafik tek bir yola sıkışır, diğer bağlantılar boş dururken o yol tıkanır.

Ultra Ethernet sırasız teslime izin verip yeniden sıralamayı uç noktadaki donanıma bırakıyor. Sonuç: paketler tüm yollara serbestçe dağılabiliyor, fabric’in gerçek kapasitesi kullanılabiliyor.

2. PFC’ye bağımlılık

Kayıpsız Ethernet bugün PFC (Priority Flow Control) ile kuruluyor. PFC, tampon dolduğunda karşı tarafa “dur” sinyali gönderir. Çalışır, ama iki bilinen yan etkisi vardır:

• Baş-bloklama (head-of-line blocking): Duran bir akış, arkasındaki ilgisiz akışları da durdurur.
• Tıkanıklığın yayılması: “Dur” sinyali yukarı doğru yayılır ve tıkanıklık, kaynağı olmayan switch’lere kadar genişler. Kötü senaryoda PFC fırtınası (PFC storm) fabric’in tamamını kilitler.

UEC, kayıp toleranslı bir taşıma katmanı hedefliyor: paket kaybını felaket değil normal bir olay olarak ele alıp hızlı yeniden iletimle telafi ediyor.

3. Bağlantı başına durum yükü

Klasik RDMA’da her bağlantı çifti için durum tutulur. Binlerce GPU’nun kolektif işlem yaptığı bir fabric’te bu, adaptör belleğinde ciddi bir yük oluşturur. UEC daha hafif bir bağlantı modeliyle büyük ölçekte ölçeklenmeyi kolaylaştırmayı amaçlıyor.

Bugün ne yapmalı?

Dürüst değerlendirme: Ultra Ethernet ürünleri sahaya yeni çıkıyor. InfiniBand’ın on yılı aşkın üretim geçmişi, olgun teşhis araçları ve bilinen davranışıyla kıyaslanabilir bir olgunlukta değil.

• 12-24 ay içinde satın alacaksanız kararı bugün alınabilir donanım üzerinden verin. Ultra Ethernet’i bir gelecek opsiyonu olarak not edin, satın alma gerekçesi yapmayın.
• Beş yıllık plan yapıyorsanız Ethernet tarafının bu yönde hareket ettiğini hesaba katın; kablolama ve rack planınızı ileride daha yüksek port hızlarını kaldıracak şekilde kurun.
• Bugün RoCEv2 kuruyorsanız PFC ve ECN ayarlarını devreye alma raporuna yazdırın. Bu ayarlar “kurdum gitti” işi değildir; iş yükü profili değiştikçe yeniden ölçülmelidir.

GPUDirect RDMA: GPU’lar Arası Doğrudan Transferler

NVIDIA GPUDirect RDMA, GPU belleğini InfiniBand ağ adaptörüne doğrudan erişime açar. CPU müdahalesi ve sistem belleği arabelleği olmaksızın GPU-GPU transferi sağlar.

Geleneksel yol: GPU → CPU (pinned memory) → NIC → Ağ
GPUDirect RDMA: GPU → NIC → Ağ  (CPU bypass)

Dağıtık derin öğrenme eğitiminde (NCCL AllReduce) bu özellik %20–30 iletişim süre azalması sağlar.

Mevasis Ağ Tasarım Hizmetleri

Mevasis, HPC cluster ağ tasarımı ve InfiniBand kurulumu konusunda danışmanlık ve uygulama hizmetleri sunar. Mellanox/NVIDIA Quantum-2, Cornelis Networks OmniPath ve yüksek hızlı Ethernet çözümleri için teknik destek ekibimizle iletişime geçin.

Sıkça Sorulan Sorular

InfiniBand ve Ethernet aynı cluster’da kullanılabilir mi? Evet. Yönetim ve depolama trafiği için Ethernet, MPI iletişim için InfiniBand kullanılan çift ağlı mimari yaygındır. Bu yapı maliyet ve performans optimizasyonu açısından iyi bir denge sağlar.

RoCE kurulumu zor mudur? RoCE v2, PFC ve ECN yapılandırması gerektirdiğinden standart Ethernet’e göre daha karmaşıktır. Doğru yapılandırılmadığında paket kaybı nedeniyle performans ciddi ölçüde düşer.

InfiniBand switch’ler Ethernet switch’lerle karşılaştırıldığında ne kadar dayanıklı? Kurumsal InfiniBand switch’leri (NVIDIA Quantum serisI) 5–7 yıl garantili üretim ortamı için tasarlanmıştır. MTBF değerleri Ethernet muadilleriyle karşılaştırılabilir düzeydedir.

Küçük bir HPC kurulumu (8 node) için InfiniBand gerekli midir? Genellikle hayır. 8 node ve altı ölçekte 25GbE veya RoCE 100GbE maliyet-performans dengesini daha iyi karşılar. InfiniBand avantajı 32+ node ve MPI yoğun iş yüklerinde belirginleşir.