Simülasyon Cluster: Fizik Motoru ve Monte Carlo HPC

Bilimsel simülasyon iş yükleri, hesaplama altyapısına en yüksek talepleri yönelten kategorinin başında gelir. Monte Carlo yöntemleri, parçacık fiziği simülasyonları ve iklim modelleme gibi alanlarda tek bir hesaplama görevi binlerce bağımsız deneyin koşut yürütülmesini, ya da çok sıkı MPI bağlı büyük alan ayrıştırmalarını gerektirir. Bu ölçekte iş yükü taşıyabilmek için özel tasarlanmış bir HPC cluster, araştırmanın temel altyapı bileşenidir.

Simülasyonda HPC Neden Zorunludur?

Bilimsel simülasyon iş yüklerini standart bir sunucudan ayıran üç temel özellik vardır:

Ölçek: Gerçekçi bir nükleer reaktör güvenlik analizi ya da küresel iklim modellemesi; tek bir hesaplama düğümünün sağlayabileceğinin çok ötesinde bellek ve işlemci kaynağı tüketir. 100 milyon parçacığın izlendiği bir Geant4 simülasyonu, 512–2.048 çekirdekte günlerce çalışabilir.

İstatistiksel kesinlik: Monte Carlo yöntemlerinde sonucun güven aralığı, örnekleme sayısının karekökü ile ters orantılıdır. İki kat daha dar hata payı için dört kat daha fazla hesaplama gerekmektedir. Bu, simülasyon sayısını on binlerle ifade eden batch iş yüklerine dönüşür.

Veri bütünlüğü: Nükleer güvenlik ya da klinik dozimetri gibi düzenlenmiş alanlarda simülasyon çıktıları denetlenebilir izle saklanmak zorundadır. Türkiye’de faaliyet gösteren araştırma kurumları için KVKK uyumlu, Türkiye lokasyonlu altyapı bu gerekliliği karşılamanın en güvenli yoludur.

Temel İş Yükü Kategorileri

Monte Carlo Simülasyonları

Monte Carlo yöntemi, deterministik analitik çözümün imkânsız ya da yetersiz olduğu problemlerde olasılıksal örnekleme ile nümerik sonuç üretir.

• Geant4: CERN kaynaklı parçacık-madde etkileşim simülasyon çerçevesi. Nükleer ve radyolojik tıp, dedektör tasarımı, uzay radyasyon koruma çalışmaları. MPI paralel iş bölümü ile binlerce çekirdeğe ölçeklenir.
• MCNP / OpenMC: Nötron ve foton taşınımı. Nükleer reaktör analizleri, radyasyon koruması, nükleer güvenlik değerlendirmeleri.
• FLUKA: Parçacık fiziği deneyi altyapı tasarımı ve radyodoz hesabı; CERN ve SLAC gibi kurumların operasyonel aracı.
• EGS (Electron Gamma Shower): Tıbbi fizik ve radyoterapi plan doğrulama.

Parçacık Fiziği Simülasyonları

Büyük parçacık çarpıştırıcı deneylerinde (ATLAS, CMS gibi) simülasyon verisi, gerçek olay verisini aşan hacimde üretilir.

• Geant4 + ROOT + Pythia: Dedektör yanıt simülasyonu, sinyal/arka plan ayrımı, çarpışma olay üretimi.
• PYTHIA / HERWIG / SHERPA: Yüksek enerjili parçacık saçılma olayı üreticileri; LHC deneylerinin standart araçları.
• MadGraph / MadEvent: Yeni fizik modeli kesit alanı hesapları.

Bu iş yükleri yüksek paralelleştirme verimliliğine sahiptir; bağımsız olay kümeleri ayrı çekirdeklerde eş zamanlı çalıştırıldığında doğrusal hızlanma elde edilir.

İklim ve Atmosfer Modelleme

• WRF (Weather Research and Forecasting): Bölgesel hava durumu ve iklim simülasyonu. Türkiye ölçeğinde 1 km çözünürlüklü 72 saatlik bir tahmin koşusu, 128–512 çekirdekte 4–8 saat sürer.
• NEMO / MOM6: Okyanus dolaşım modelleri; yüksek çözünürlüklü koşularda MPI bağlaşımı yoğundur.
• CESM / E3SM: Atmosfer, okyanus, kara yüzeyi ve buz örtüsünü birleştiren tam sistem iklim modelleri.
• OpenIFS (ECMWF): Sayısal hava tahmini; yüksek çözünürlük arttıkça hesaplama maliyeti küpsel büyür.

Nükleer ve Radyasyon Güvenliği Hesaplamaları

Nükleer reaktör tasarımı ve güvenlik analizlerinde deterministik ve stokastik yöntemler birlikte kullanılır.

• SERPENT 2: Monte Carlo reaktör fiziği; kritiklik hesabı, nötron spektrumu, yakıt yanması.
• SCALE (ORNL): Reaktör güvenliği, kritiklik güvenliği ve radyasyon koruması paketi.
• RELAP / TRACE: Termal-hidrolik geçici durum analizleri.
• CODE_BRIGHT / TOUGH+: Jeomekanik ve çok fazlı akış; nükleer atık depolama alanı analizi.

Simülasyon Cluster Konfigürasyonu

Bilimsel simülasyon iş yükleri, hem yüksek çekirdek sayısı hem de iyi ağ bant genişliği gerektirir. Aşağıda Mevasis referans mimarisi verilmiştir:

Yönetim / Login Düğümleri (2×, HA çifti)
├── CPU Hesaplama Düğümleri (32–256 adet)
│   └── 2× AMD EPYC 9654 (96 çekirdek/düğüm, 384 GB DDR5)
│       — Monte Carlo, MPI CFD, iklim modeli
├── Yüksek Bellek Düğümleri (4–8 adet)
│   └── 2× EPYC + 1.5–3 TB DDR5
│       — MCNP/OpenMC büyük geometri, WRF yüksek çözünürlük
├── GPU Hızlandırma Düğümleri (opsiyonel, 4–16 adet)
│   └── 2× AMD EPYC + 4× NVIDIA H100 SXM5
│       — Geant4 GPU port, ML tabanlı emülatör
└── Paralel Dosya Sistemi
    └── BeeGFS 7.x, NVMe + SAS katmanlı, ≥20 GB/s okuma

Ağ: InfiniBand HDR200 (200 Gbit/s), fat-tree topoloji — Monte Carlo job array iletişimi düşük gecikmeli olmalıdır.

Yazılım ve İş Yükü Karşılaştırma Tablosu

Paralelleştirme Stratejileri

Job Array (Tamamen Bağımsız)

Monte Carlo iş yüklerinin büyük çoğunluğu embarrassingly parallel yapıdadır: her iş aynı geometriyi farklı rastgele tohum değeriyle çalıştırır. SLURM job array ile binlerce görevi eş zamanlı göndermek mümkündür:

#SBATCH --array=1-10000
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=4
srun geant4_sim --seed=$SLURM_ARRAY_TASK_ID --events=100000

Bu model iletişim yükü sıfıra yakın olduğu için çekirdek verimliliği %98+ düzeyinde kalır.

Alanı Ayrıştırılmış MPI (Sıkı Bağlaşımlı)

WRF, CESM ve NEMO gibi iklim modelleri, simülasyon alanını MPI süreçleri arasında böler. Her adımda komşu bölgelerin sınır değerleri takas edilir (halo exchange). Bu trafik InfiniBand bağlantısının gecikmesine doğrudan bağımlıdır:

• Ethernet (25G): 4 µs gecikmeli halo exchange
• InfiniBand HDR (200G): 0.6 µs — aynı iş yükünde %20–35 daha hızlı

Karma Model (Threaded + MPI)

Modern yazılımlar (Geant4 10+, OpenMC, SCALE) düğüm içi iş parçacığı paralelliğini (OpenMP/native threads) MPI ile birleştirir. SLURM’da tipik yapılandırma:

#SBATCH --nodes=16
#SBATCH --ntasks-per-node=2      # MPI süreç/düğüm
#SBATCH --cpus-per-task=48       # OpenMP iş parçacığı
export OMP_NUM_THREADS=48
srun --mpi=pmi2 openmc -s 2

Veri Güvenliği ve Uyumluluk

Savunma uygulamaları, nükleer güvenlik değerlendirmeleri ve klinik dozimetri çalışmaları sıkı veri yönetimi politikaları gerektirir.

KVKK Uyumu: Araştırma sürecinde kişisel veri içeren dosyalar (klinik hasta planları, deneyci kimlikleri) Türkiye sınırları içinde işlenmeli ve saklanmalıdır. Mevasis tüm altyapısını Türkiye’de konumlandırılmış veri merkezlerinde veya müşterinin kendi tesisinde kurar.

Denetim İzi: Nükleer güvenlik analizleri için simülasyon girdi dosyaları, yazılım versiyonları, çıktı özetleri ve çalışma koşulları değiştirilemez log olarak saklanır. SLURM job accounting ve audit sistemi bu gerekliliği karşılar.

Erişim Kontrolü: Hassas geometri ve malzeme verileri (nükleer santral tasarım parametreleri, savunma balistik modeller) için düğüm düzeyinde ağ izolasyonu ve rol tabanlı dosya sistemi erişimi uygulanır.

Mevasis Simülasyon HPC Hizmetleri

Mevasis, araştırma ve mühendislik kurumlarına özel simülasyon altyapısı tasarımı, kurulumu ve yönetimi hizmetleri sunar:

• İş yükü analizi ve boyutlandırma: Mevcut Geant4, WRF veya OpenMC iş yüklerinizi profilleyerek doğru çekirdek sayısı, bellek ve depolama boyutlandırması yapılır.
• Turnkey cluster kurulumu: Donanım temini, InfiniBand ağ tasarımı, SLURM + OpenPBS yapılandırması, BeeGFS paralel dosya sistemi kurulumu.
• Yazılım stack kurulumu: Geant4, ROOT, OpenMC, WRF, MCNP, SCALE, SERPENT 2 ve bağımlılıklarının derlenip optimize edilmesi.
• HPC Kiralama: Proje dönemine özel hesaplama kapasitesi — sabit altyapı yatırımı olmadan.
• HPC Danışmanlık: MPI parametre optimizasyonu, SLURM politika tasarımı, performans darboğazı analizi.
• Yönetilen HPC Hizmeti: 7/24 izleme, yedekleme ve güncelleme yönetimi dahil tam destek.

Simülasyon cluster ihtiyaçlarınız için teknik ekibimizle görüşün: İletişime geçin →

Sıkça Sorulan Sorular

Geant4 simülasyonunu hızlandırmanın en etkili yolu nedir? Geant4 için en yüksek getiri job array ile çekirdek sayısını artırmaktır; olay sayısı ile doğrusal ölçekleme sağlanır. Geant4 MT build ile düğüm içi iş parçacığı paralelliği ek %15–25 kazanım sağlayabilir. GPU port (G4HepEm) belirli fizik süreçleri için araştırma aşamasındadır.

WRF için InfiniBand şart mı? Küçük alan (ör. tek il) düşük çözünürlük koşuları için 25G Ethernet yeterli olabilir. 1 km veya daha ince çözünürlük ile Türkiye ölçeğinde bölgesel modelleme yapmak için InfiniBand HDR önerilir; halo exchange gecikmesi çözüm süresini doğrudan belirler.

Monte Carlo simülasyonlarında rastgele sayı tekrarlama riski var mı? Evet, job array’de tohum değerlerinin çakışmaması kritiktir. Geant4 ve OpenMC için SLURM task ID’si tohum parametresine bağlanarak her iş benzersiz rastgele sekans kullanır. Mevasis simülasyon şablonları bu durumu otomatik yönetir.

Nükleer hesaplama verileri bulutta işlenebilir mi? Kritiklik analizleri ve reaktör güvenlik değerlendirmelerinde kullanılan detaylı geometri ve malzeme veri tabanları ihracat kontrol mevzuatı (EAR, nükleer tedarik grubu kılavuzları) kapsamında değerlendirilebilir. Türkiye’de on-premise veya Mevasis yönetilen altyapısı bu riskin bertaraf edildiği tek seçenektir.

SLURM ile job array sınırı ne kadar olabilir? Varsayılan SLURM yapılandırmasında MaxArraySize 1.001’dir; bu parametre Mevasis kurulumlarında araştırma ekibinin ihtiyacına göre 100.000’e kadar artırılmaktadır. 10.000+ iş içeren Monte Carlo kampanyaları rutin olarak yönetilmektedir.