HDR, NDR, XDR: InfiniBand Hız Katmanı Nasıl Seçilir?

InfiniBand hız katmanı seçerken en sık yapılan hata, kararı GPU modeline bakarak vermektir. “Blackwell aldık, o hâlde XDR gerekir” cümlesi kulağa mantıklı gelir ama yanlıştır. Hız katmanını belirleyen şey, düğümlerin ne kadar hızlı hesapladığı değil, ne kadar haberleştiğidir.

Bu yazıda 200G HDR, 400G NDR ve 800G XDR arasındaki kararı üç somut eksende ele alıyoruz: iş yükünün haberleşme profili, port ekonomisi ve topoloji derinliği.

Üç katman, tek tabloda

Tablodaki asıl bilgi hız sütununda değil, port sütunundadır. Her nesilde port hızı ikiye katlanırken switch başına port sayısı da artıyor. Bu, aynı düğüm sayısına daha az switch ve daha sığ bir topolojiyle ulaşmak anlamına gelir — ve maliyet farkının büyük kısmı burada oluşur.

1. İş yükünüz ağı gerçekten doyuruyor mu?

Hız katmanı kararının başlangıç noktası, kümenizde koşan işlerin haberleşme yoğunluğudur.

Ağ bağımlılığı düşük iş yükleri. Gömülü paralel (embarrassingly parallel) işler, parametre taramaları, Monte Carlo simülasyonları, tek düğümde biten çıkarım işleri. Bu profilde port hızını artırmak ölçülebilir bir kazanç üretmez; HDR fazlasıyla yeterlidir, hatta bazı durumlarda 100G Ethernet bile tartışılabilir.

Orta yoğunluklu MPI. Klasik CFD, yapısal analiz, hava tahmini, moleküler dinamik. Düzenli bariyer senkronizasyonu ve komşu değişimi vardır ama mesaj boyutları görece küçüktür; darboğaz çoğu zaman bant genişliği değil gecikmedir. HDR’nin 130 ns altı anahtarlama gecikmesi bu işler için yeterlidir. Türkiye’deki üniversite ve kurumsal HPC kümelerinin büyük çoğunluğu hâlâ bu profilde.

All-reduce ağırlıklı dağıtık eğitim. Burada durum değişir. Veri paralel eğitimde her adımda tüm GPU’ların gradyanları toplanır; taşınan veri miktarı model boyutuyla doğru orantılıdır. Milyar parametreli bir modelde her adımda gigabaytlarca veri fabric üzerinden geçer. NDR ve üzeri bu profilde doğrudan iş tamamlanma süresine yansır.

Tensör/pipeline paralelliğinin düğüm sınırını aştığı eğitim. Bir model tek sunucunun GPU’larına sığmıyorsa, düğüm içi NVLink trafiğinin bir kısmı fabric’e taşar. XDR’nin hedeflediği senaryo tam olarak budur.

Pratik kural: ağ kullanımınızı ölçmeden katman yükseltmeyin. Mevcut kümenizde perfquery sayaçlarıyla port doluluğunu birkaç hafta izleyin. Tepe kullanım port kapasitesinin %40’ını aşmıyorsa, bir üst katman size hız değil yalnızca fatura getirir.

2. Port ekonomisi: pahalı port her zaman pahalı değildir

Port başına liste fiyatı her nesilde artar. Ama toplam maliyet port fiyatıyla değil, hedeflenen bisection bant genişliğine ulaşmak için gereken toplam donanımla belirlenir.

Non-blocking fat-tree’de leaf switch portlarının yarısı omurgaya ayrılır. 512 düğümlük bir kümeyi ele alalım:

• HDR (40 port/switch): leaf başına 20 düğüm → 26 leaf switch, üstüne omurga katmanı. Üç katmanlı yapıya çıkma ihtimali yüksek.
• NDR (64 port/switch): leaf başına 32 düğüm → 16 leaf switch, iki katman yeterli.
• XDR (144 port/switch): leaf başına 72 düğüm → 8 leaf switch, iki katman bol bol yeter.

Switch sayısı düştükçe yalnızca switch maliyeti değil; rack alanı, güç tüketimi, optik modül sayısı, kablo sayısı ve arıza yüzeyi de düşer. Özellikle optik modül sayısı hesabı çoğu teklifte gözden kaçar: leaf-spine bağlantılarının her biri iki modül demektir ve büyük kurulumlarda optik kalemi switch kaleminden büyük olabilir.

Bu yüzden karşılaştırmayı port fiyatı üzerinden değil, “hedef bisection için toplam kalem listesi” üzerinden yapmak gerekir.

3. Topoloji derinliği ve gecikme

Fat-tree’de her ek katman, uçtan uca yolda iki switch atlaması daha demektir. Switch başına ~130-150 ns’den konuşursak, üç katmanlı bir yapıda iki uzak düğüm arasındaki fabric gecikmesi iki katmanlıya göre belirgin biçimde artar.

MPI’nin MPI_Barrier ve MPI_Allreduce gibi kolektif işlemleri bu farkı doğrudan hisseder çünkü toplam süre en yavaş yolun süresidir. Yüksek radix’li switch seçmek (yani daha çok portlu) topolojiyi sığlaştırır ve gecikme dağılımını daraltır. XDR’nin 144 portluk Q3400-RA’sı, iki katmanlı fat-tree ile on binin üzerinde ağ kartına ulaşabildiği için pratikte üçüncü katmanı tamamen ortadan kaldırır.

Karışık hız katmanları: aynı fabric’te HDR ve NDR

Sık sorulan bir soru: mevcut HDR kümesine NDR switch eklenebilir mi? Evet. InfiniBand geriye dönük uyumludur; bağlantı iki ucun desteklediği en düşük ortak hızda kurulur.

Ancak pratikte iki şeye dikkat etmek gerekir:

1. Topoloji planı karmaşıklaşır. Farklı hızdaki leaf’ler arasında trafik dengesizliği oluşur; uyarlamalı yönlendirme bunu bir ölçüde telafi eder ama tasarımın bilinçli yapılması gerekir.
2. Kablo ve modül uyumu. QSFP56 (HDR) ile OSFP (NDR/XDR) farklı konektörlerdir. Geçiş noktalarında doğru kablo tipi ve gerekirse breakout planı çıkarılmalıdır.

Kademeli geçişte yaygın ve işe yarayan yaklaşım: yeni GPU düğümlerini NDR leaf’lere bağlamak, mevcut CPU düğümlerini HDR’de bırakmak ve iki adayı omurgada birleştirmek.

HDR100: unutulan ara basamak

QM8700’ün az bilinen bir özelliği, 200G portları ikişer lane’lik iki ayrı 100G porta bölebilmesidir. ConnectX-6 adaptörlü sunucularda tek switch 80 düğüme bağlanır.

Bu, düğüm başına 100Gb/s’in yeterli olduğu ama düğüm sayısının yüksek olduğu kurulumlarda — tipik olarak CPU ağırlıklı üniversite kümelerinde — gereken switch sayısını yarıya indirir. Karar tablosuna bu seçeneği eklemeden HDR’yi elemek, çoğu zaman erken bir karardır.

Karar özeti

Mevasis ağ tasarım ve tedarik hizmetleri

Hız katmanı kararı, tek başına bir switch seçimi değildir: adaptör, optik, kablo, topoloji ve güç planı birlikte belirlenir. Mevasis, yetkili bayi olarak InfiniBand switch, ağ kartı, transceiver ve kablo kalemlerini uyumluluk doğrulaması yapılmış tek liste hâlinde sunar.

Mevcut kümenizin envanterini ve iş yükü profilini paylaşırsanız, ölçüme dayalı bir katman önerisi ve geçiş planı çıkarıyoruz — iletişime geçin veya HPC Network Tasarımı sayfasına göz atın.

Sıkça Sorulan Sorular

NDR switch aldım ama adaptörlerim HDR. Ne olur? Bağlantı 200Gb/s’te kurulur ve sorunsuz çalışır. Switch’in fazla kapasitesi adaptörler yükseltilene kadar kullanılmaz. Bu, kademeli geçişte bilinçli olarak tercih edilen bir yaklaşımdır.

XDR için mutlaka aktif optik kablo mu gerekir? Hayır, kısa mesafelerde pasif bakır DAC kullanılabilir. Ancak seçim güç bütçesini doğrudan etkiler: Q3400-RA pasif kabloyla tipik 2.900 W çekerken, tamamen aktif optikli yapılandırmada azami 7.000 W’a çıkar. Rack güç planı kablo tipi netleşmeden kesinleştirilmemelidir.

Hız katmanını yükseltmek eğitim süresini ne kadar kısaltır? Kesin oran iş yüküne bağlıdır. Ağın darboğaz olduğu all-reduce yoğun eğitimde HDR’den NDR’ye geçiş belirgin fark yaratır; ağın zaten boşta olduğu iş yüklerinde ölçülebilir bir fark oluşmaz. Bu yüzden geçiş kararından önce mevcut fabric’in doyum ölçümü yapılmalıdır.

Modüler şasi ne zaman sabit switch’ten mantıklı hâle gelir? Kabaca omurga katmanının onlarca ayrı switch gerektirdiği ölçekte. O noktada leaf-spine bağlantılarının şasi arka panelinde kurulması, yüzlerce optik modülü ve kabloyu ortadan kaldırır.