InfiniBand Kablolama: DAC, AOC, Transceiver ve MTP/MPO Seçimi

HPC ağ projelerinde bütçenin ve gecikmelerin sürpriz kalemi çoğu zaman switch değil, kablolamadır. Switch ve adaptör seçimi nispeten nettir; kablo tarafında ise mesafe, konektör tipi, modül gövdesi, breakout planı ve yapısal kablolama kararları iç içe geçer. Yanlış seçilen bir modül, kutular geldikten sonra haftalarca gecikmeye yol açabilir.

Bu yazıda InfiniBand kablolama kararlarını sırayla ele alıyoruz.

Üç seçenek: DAC, AOC, transceiver + fiber

DAC rack içi bağlantıların varsayılanıdır: pasif bakır, neredeyse sıfır güç tüketir, en ucuzdur ve en az arızalanan seçenektir. Sınırı mesafedir — hız arttıkça kullanılabilir uzunluk kısalır.

AOC iki ucunda optik modül gömülü, tek parça kablodur. Rack’ler arası orta mesafeler için pratiktir; ayrı modül sipariş etme ve uyumluluk derdi yoktur. Dezavantajı: bir uç bozulursa tüm kablo değişir ve uzunluk sabittir.

Transceiver + fiber trunk büyük kurulumların tercihidir. Modüller ve kablolar ayrı yönetilir; yapısal kablolamayla birleştiğinde rack’ler arası bağlantı bir kablo değil bir altyapı hâline gelir. Arızada yalnız modül değişir.

Pratik kural: rack içi DAC, rack’ler arası transceiver + trunk, aradaki birkaç özel bağlantı için AOC.

Konektör: QSFP56 mı, OSFP mi?

Nesil değiştikçe konektör de değişir ve bu, karışık kurulumlarda en sık hata yapılan yerdir.

QSFP56 ve OSFP fiziksel olarak farklıdır; birbirine takılmaz. HDR kümesine NDR switch eklerken geçiş noktalarındaki kablo tipini baştan planlamak gerekir.

Finned ve flat top OSFP: gözden kaçan ayrıntı

OSFP modüllerin iki gövde tipi vardır ve ikisi birbirinin yerine kullanılmaz:

• Finned (kanatçıklı) gövde: switch tarafında kullanılır. Switch port yoğunluğu yüksek olduğu için modülün kendi soğutma yüzeyine ihtiyaç duyulur.
• Flat top (düz üst yüzey): sunucudaki adaptör (HCA) tarafında kullanılır. Adaptör kafesinde kanatçığa yer yoktur.

Aynı bağlantının iki ucuna farklı gövde tipi gerekir. Teklif listesinde bu ayrım yapılmamışsa, kutular geldiğinde modüllerin yarısı takılmaz. Bu, pratikte en sık karşılaştığımız tedarik hatasıdır.

Breakout: bir portu ikiye bölmek

Yüksek hızlı portlar çoğu zaman daha düşük hızlı iki bağlantıya bölünebilir. Bu, port ekonomisini doğrudan etkiler.

HDR100. QM8700/QM8790’da 200G QSFP56 portlar, ikişer lane’lik iki ayrı 100G porta bölünür. ConnectX-6 adaptörlü sunucularda tek switch 80 düğüme bağlanır — 40 yerine.

NDR twin-port. QM9700/QM9790’da 32 fiziksel OSFP konektör, twin-port modüllerle 64 mantıksal 400G bağlantı taşır. Omurga katmanında aynı kapasite için gereken switch sayısı ve rack alanı düşer.

Breakout kullanırken iki nokta önemlidir: kablo tipi bölme yapılandırmasıyla uyumlu olmalı ve port bölme ayarı devreye alma sırasında switch üzerinde yapılmalıdır. Kabloyu alıp ayarı unutmak, portun tek bağlantı olarak görünmesine yol açar.

MTP/MPO: rack’ler arası yapısal kablolama

Rack’ler arasında düzinelerce ayrı fiber çekmek yerine, çok çekirdekli MTP/MPO trunk kablolar ve kaset (cassette) kullanmak yaygın ve doğru yaklaşımdır.

Yapı şöyle çalışır: rack’ler arasında yüksek çekirdekli bir trunk kablo çekilir, her iki uçta patch panel içine MTP/LC kaset takılır ve rack içinde kısa LC patch kablolarla dağıtım yapılır.

Kazançları:

• Kablo yolu yoğunluğu düşer. Tek trunk, onlarca ayrı fiberin yerini alır.
• Devreye alma hızlanır. Trunk bir kez çekilir; sonraki düğüm eklemeleri rack içinde kalır.
• Hava akışı korunur. Kablo demetleri rack arkasını tıkamaz.
• Dokümantasyon mümkün olur. Kaset portları etiketlenebilir ve haritalanabilir.

Dikkat edilecek nokta polarite ve kutuplama tipidir (Type A/B/C). Trunk, kaset ve patch kabloların polarite şeması birbiriyle tutarlı olmalıdır; aksi hâlde bağlantı kurulmaz ve sorun sahada teşhis edilmesi en can sıkıcı arızalardan biridir.

Mesafe planı: ölçmeden sipariş vermeyin

Kablo uzunlukları kağıt üzerinde rack aralığından hesaplanır ama gerçek uzunluk her zaman daha fazladır: kablo yolu, dikey iniş-çıkış, servis kıvrımı ve rack içi dolaşım eklenir.

Pratik yaklaşım:

1. Rack yerleşim planını çıkarın; hangi düğüm hangi leaf switch’e bağlanacak belirleyin.
2. Kablo yolunu fiziksel olarak takip ederek ölçün — düz mesafe değil.
3. Servis payı ekleyin, ama abartmayın: fazla uzun kablo rack arkasında yığılır ve hava akışını bozar.
4. Uzunlukları standart basamaklara yuvarlayın (0,5 / 1 / 1,5 / 2 / 3 m). Stok yönetimi ve yedek parça bu sayede basitleşir.

Yedek parça: %3-5 kuralı

Optik modüller ve kablolar tüketim malzemesidir. Üretim ortamında her tip için toplam adedin %3-5’i kadar yedek bulundurmak yaygın pratiktir. Tek bir modül arızası nedeniyle tedarik süresi boyunca bir düğümün kümeden düşmesi, yedek maliyetinden çok daha pahalıdır.

Mevasis kablolama ve tedarik

Kablolama kararları switch ve adaptör seçiminden ayrı düşünülemez: switch tarafında finned OSFP, HCA tarafında flat top, aradaki mesafeye göre DAC veya trunk — hepsi tek listede tutarlı olmalıdır.

Mevasis, yetkili bayi olarak DAC ve AOC kablolar, transceiver modüller ve MTP/MPO yapısal kablolama kalemlerini uyumluluk doğrulaması yapılmış tek teklif hâlinde sunar. Rack yerleşim planınızı paylaşırsanız uzunluk listesini ve polarite şemasını biz çıkarırız — iletişime geçin.

Sıkça Sorulan Sorular

Switch tarafına flat top modül takabilir miyim? Hayır. Yüksek yoğunluklu switch portlarında finned gövde soğutma için gereklidir; düz yüzeyli modül fiziksel olarak takılsa bile ısıl olarak desteklenmez. İki ucun modül tipini sipariş öncesinde ayrı ayrı belirtin.

DAC kabloyu kaç metreye kadar kullanabilirim? Hıza bağlıdır ve hız arttıkça kısalır. Pratikte rack içi bağlantılar (birkaç metre) DAC, rack dışı bağlantılar optik olarak planlanır. Sınır durumlarda üreticinin o hız için verdiği azami uzunluğu teyit edin.

Aktif optik kablo güç tüketimini ne kadar artırır? Belirgin biçimde. Örneğin Q3400-RA pasif kabloyla tipik 2.900 W çekerken, tamamen aktif optikli yapılandırmada azami 7.000 W’a çıkar. Rack güç bütçesi kablo tipi netleşmeden kesinleştirilmemelidir.

Üçüncü parti uyumlu modül kullanmak riskli mi? Teknik olarak çalışır, ancak arıza durumunda sorumluluk sınırı bulanıklaşır ve firmware uyumu sürüm geçişlerinde sorun çıkarabilir. Üretim kümelerinde switch ve modülü aynı tedarik zincirinden almak, teşhis süresini kısaltır.