Lustre ve BeeGFS: HPC için Paralel Dosya Sistemi Seçimi

HPC cluster’larında depolama sistemi, hesaplama kaynaklarının verimini doğrudan belirler. Yüzlerce çekirdeğin eşzamanlı olarak okuduğu ya da yazdığı bir ortamda geleneksel NFS çözümleri darboğaz yaratır. Paralel dosya sistemleri bu sorunu çözmek için tasarlanmıştır. Bu yazıda HPC dünyasının iki dominant çözümü olan Lustre ve BeeGFS‘yi mimari, performans, yönetim kolaylığı ve maliyet açısından karşılaştırıyoruz.

Paralel Dosya Sistemi Nedir ve Neden Gerekli?

Standart NFS (Network File System), tek bir sunucudan veri sunduğu için ölçeklenemez. 1.000 çekirdekli bir simülasyon tüm I/O taleplerini tek NFS sunucusuna yönelttiğinde sistem kilitlenir.

Paralel dosya sistemleri ise verinin birden fazla depolama sunucusuna (storage server) dağıtılması, her hesaplama node’unun birden fazla sunucuya eşzamanlı erişimi ilkesiyle çalışır.

Temel özellikler:

• Stripe (şerit) dağılımı: Tek dosya birden fazla depolama hedefine bölünerek yazılır
• POSIX uyumlu API: Uygulamaların özel kodlama gerektirmeden çalışması
• Yüksek bant genişliği: 100+ GB/s toplu okuma/yazma kapasitesi
• Metadata hizmeti: Dosya adı, izin, konum bilgisi için özel sunucular

Lustre: Endüstri Standardı

Lustre 1999 yılında Cray tarafından geliştirilmiş, bugün TOP500 listesinin %70’inde kullanılan açık kaynaklı paralel dosya sistemidir. Dünyanın en büyük ve hızlı süper bilgisayarlarının çoğu Lustre’ye dayanır.

Lustre Mimarisi

Hesaplama Node'ları (Client)
         ↕
Lustre Network (LNET – InfiniBand veya Ethernet üzeri)
         ↕
┌─────────────────────────────────────┐
│ MDS – Metadata Server               │
│  └─ MDT – Metadata Target (SSD)     │
├─────────────────────────────────────┤
│ OSS – Object Storage Server (N adet)│
│  └─ OST – Object Storage Target     │
│      (Her OSS'de N adet NVMe/HDD)   │
└─────────────────────────────────────┘

MDS (Metadata Server): Dosya adı, dizin yapısı, izin ve konum bilgisi saklar. Performans kritik; NVMe SSD zorunlu.

OSS (Object Storage Server): Gerçek veri saklar. Kapasite ve bant genişliği OSS sayısı artırılarak ölçeklenir.

Lustre Performans Kapasitesi

Doğru yapılandırılmış büyük Lustre kurulumları:

• Bant genişliği: 1 TB/s üzeri (büyük HPC sistemleri)
• Kapasite: Exabyte ölçek
• Eşzamanlı istemci: 100.000+

Orta ölçekli kurulumlar (4–16 OSS) için:

• Okuma: 20–80 GB/s
• Yazma: 15–60 GB/s

Lustre Konfigürasyon Örneği

# İstemci tarafında bağlama
mount -t lustre 192.168.1.10@tcp:/scratch /lustre/scratch

# Dosya stripe ayarı (büyük dosyalar için)
lfs setstripe -c 8 -S 4M büyük_dosya.dat
# -c 8: 8 OST'ye dağıt
# -S 4M: 4 MB stripe boyutu

# Mevcut stripe bilgisi
lfs getstripe dosya.dat

# Disk kullanımı
lfs df -h

Lustre’nin Güçlü Yanları

• En büyük ölçek: exabyte kapasiteli kurulumlar mümkün
• Geniş ekosistem ve uzun geçmiş
• HSM (Hierarchical Storage Management) entegrasyonu: Soğuk veriyi otomatik arşive taşıma
• Çok katmanlı güvenlik ve Kerberos desteği

Lustre’nin Zayıf Yanları

• Kurulum karmaşıklığı yüksek: MDS HA yapılandırması, Lustre kernel modülleri, LNET yapılandırması uzmanlık gerektirir
• Yönetim: Günlük yönetim ve sorun giderme for derin Linux bilgisi gerektirir
• Küçük dosya performansı: Çok sayıda küçük dosya işlemlerinde MDS darboğazı oluşur
• Hata kurtarma süresi: OST arızasında yeniden yapılandırma uzun sürebilir

BeeGFS: Modern ve Yönetimi Kolay Alternatif

BeeGFS (eski adıyla FhGFS), Fraunhofer Enstitüsü tarafından geliştirilmiş, Lustre’nin karmaşıklığını azaltmayı hedefleyen paralel dosya sistemidir. ThinkParQ tarafından geliştirilen ticari destek seçeneği de mevcuttur.

BeeGFS Mimarisi

İstemci Node'ları
         ↕
┌─────────────────────────────────────┐
│ Management Service (mgmtd)          │
├─────────────────────────────────────┤
│ Metadata Service (N adet)           │
│  └─ /dev/nvme* (yerel SSD)          │
├─────────────────────────────────────┤
│ Storage Service (N adet)            │
│  └─ /dev/nvme* veya HDD             │
├─────────────────────────────────────┤
│ Client (her hesaplama node)         │
└─────────────────────────────────────┘

BeeGFS’de roller ayrı sunuculara dağıtılabileceği gibi aynı fiziksel sunucu hem metadata hem storage hizmeti verebilir (daha küçük kurulumlar için ekonomik).

BeeGFS Kurulumu: Hız ve Kolaylık

# BeeGFS yönetim servisi kurulumu (Rocky Linux 9)
dnf install beegfs-mgmtd beegfs-storage beegfs-meta beegfs-client

# Yapılandırma
/opt/beegfs/sbin/beegfs-setup-mgmtd -p /data/beegfs/mgmtd
/opt/beegfs/sbin/beegfs-setup-storage -p /data/beegfs/storage -s 1 -i 101 -m mgmt01
/opt/beegfs/sbin/beegfs-setup-meta -p /data/beegfs/meta -s 1 -i 201 -m mgmt01

# İstemci bağlama
echo "mgmt01" > /etc/beegfs/beegfs-client.conf  # basitleştirilmiş
mount -t beegfs beegfs_nodev /beegfs

Lustre ile karşılaştırıldığında BeeGFS kurulumu birkaç saatte tamamlanabilirken Lustre günler alabilir.

BeeGFS Performans Kapasitesi

Orta-büyük BeeGFS kurulumları:

• Bant genişliği: 10–200 GB/s (donanıma bağlı)
• Kapasite: Petabyte ölçek
• Küçük dosya I/O: Lustre’ye kıyasla genellikle daha iyi

BeeGFS’nin Güçlü Yanları

• Kolay kurulum: Birkaç saat; Lustre karmaşıklığı yok
• Düşük yönetim yükü: Web GUI dahil (BeeGFS Monitor)
• Küçük-orta dosya performansı: Paralel metadata mimarisi sayesinde
• Yerleşik replikasyon: Buddy Mirroring ile yedeklilik
• Esnek mimari: Servis sayısı kolayca artırılabilir

BeeGFS’nin Zayıf Yanları

• En büyük kurulumlar için Lustre geride kalabilir (exabyte ölçek)
• HSM entegrasyonu Lustre kadar olgun değil
• Topluluk desteği Lustre’ye göre daha küçük

Doğrudan Karşılaştırma Tablosu

Hangi Kurulum İçin Hangisi?

BeeGFS Tercih Edin

• 8–256 node ölçekli kurulumlar
• İç HPC uzmanlığı sınırlı ekipler
• Hızlı kurulum ve operasyona geçiş önceliği
• Orta büyüklükte dosyalar ağırlıklı iş yükü
• Petabyte altı kapasiteli depolama ihtiyacı

Lustre Tercih Edin

• 256+ node büyük ölçekli kurulumlar
• Güçlü iç HPC sistem yönetimi kapasitesi
• Exabyte ölçeğinde büyüme planı
• HSM ve soğuk/sıcak depolama katmanlaması ihtiyacı
• Mevcut Lustre ekosistemiyle entegrasyon

Depolama Donanımı Tavsiyeleri

Metadata Sunucusu (Her iki sistemde)

• NVMe SSD zorunlu (yüksek IOPS için)
• İkili RAID-1 veya ZFS mirror
• ECC RAM; 128–256 GB önerilen
• InfiniBand veya 100GbE bağlantı

Storage Sunucusu

• Yüksek bant genişliği: NVMe SSD (RAID-0 veya JBOF)
• Yüksek kapasite: 7200 rpm SAS/SATA HDD (RAID-6 veya ZFS RAIDZ2)
• Dengeli: NVMe cache + HDD tiers (ZFS L2ARC + SLOG)

Örnek BeeGFS Depolama Sunucusu Yapılandırması

2× AMD EPYC 7313 (16 çekirdek)
256 GB DDR4 ECC RAM
12× 7.68 TB NVMe U.2 SSD
2× 100GbE NIC (depolama ağı)
2× 10GbE NIC (yönetim ağı)

Bu yapılandırma tekil sunucu başına ~12 GB/s okuma bant genişliği sunar.

Mevasis Depolama Çözümleri

Mevasis, HPC kurulum hizmetleri kapsamında BeeGFS ve Lustre kurulumu, yapılandırması ve performans optimizasyonu hizmetleri sunar. Depolama gereksinimlerinizi analiz edip uygun mimariyi birlikte tasarlayabiliriz.

Sıkça Sorulan Sorular

NFS kullanmak yerine neden paralel dosya sistemi gerekli? Standart NFS tek sunucudan veri sunar; 100+ node eşzamanlı yazarken darboğaz yaratır. BeeGFS ve Lustre veri dağılımı sayesinde bant genişliğini N sunucu ile N katına çıkarır.

BeeGFS ücretsiz mi? Topluluk sürümü (GPL v2 lisansı) ücretsizdir ve tüm temel özellikleri içerir. ThinkParQ ticari destek ve kurumsal özellikler için ücretli lisans sunar.

Mevcut NFS’ten BeeGFS’e geçiş nasıl yapılır? Veri rsync/cp ile transfer edilir, mount noktaları değiştirilir. Büyük veri setleri için geçiş planlaması ve paralel transfer araçları (Robocopy, Globus) önerilir. Mevasis bu geçiş için proje bazlı destek sunar.

Petabyte ölçeğinde Lustre yerine BeeGFS yeterli midir? Evet. Birden fazla BeeGFS kurulumu ölçeklendirildiğinde petabyte kapasiteye ulaşılabilir. Birden fazla site veya exabyte gereksinimleri için Lustre avantajlıdır.

GPFS (IBM Spectrum Scale) bu iki sistemle nasıl karşılaştırılır? GPFS ticari bir çözümdür; kurumsal özellik seti geniş ancak lisans maliyeti yüksektir. Büyük kurumsal ortamlarda tercih edilir. HPC odaklı kurulumlar için Lustre/BeeGFS genellikle maliyet-performans açısından üstündür.