OpenStack HPC

OpenStack, açık kaynak kodlu bir özel bulut platformudur. Compute (Nova), ağ (Neutron), depolama (Cinder/Swift) ve kimlik yönetimi (Keystone) bileşenlerini tek bir IaaS katmanı altında birleştirir. HPC iş yüklerine uyarlandığında, bare-metal hesaplama gücünü bulut esnekliğiyle buluşturan güçlü bir platform ortaya çıkar.

OpenStack HPC Nedir?

Geleneksel HPC cluster’larında kaynaklar sabit bölümlere ayrılır: bir kullanıcı kümesi belirli node’larla çalışır, kaynak paylaşımı SLURM partition’ları aracılığıyla yapılır. Bu yaklaşım basit ve verimlidir; ancak birden fazla ekip, proje veya güvenlik domaininin aynı fiziksel altyapıyı paylaşması gerektiğinde yetersiz kalır.

OpenStack HPC, fiziksel donanım üzerine bir IaaS (Infrastructure as a Service) katmanı ekler. Kullanıcılar ya doğrudan VM (virtual machine) talep eder ya da Ironic bileşeni aracılığıyla bare-metal node kiralanır. Her iki senaryoda da kaynak kotaları, ağ izolasyonu ve erişim denetimi proje ve kullanıcı bazında uygulanır.

Temel Bileşenler

Neden OpenStack HPC?

Çok Kiracılı Kaynak Yönetimi

Tek bir kurumda farklı departmanlar, projeler veya güvenlik sınıflandırmaları olan ekipler aynı donanımı paylaşabilir. OpenStack’in proje ve kota sistemi, her ekibin yalnızca kendine ayrılmış kaynakları kullanmasını garanti eder. Bir projenin iş yükü diğerini etkileyemez; ağ trafiği katman 2 düzeyinde izole edilir.

Bulut Benzeri Esneklik, Şirket İçi Kontrol

Kamuya açık bulut platformlarına (AWS, Azure, GCP) benzer bir self-servis arayüz sunar; ancak veriler kurumun kendi donanımında kalır. Bu yapı özellikle KVKK ve sektörel regülasyon gereksinimleri olan kurumlar için kritik avantaj sağlar.

Hibrit HPC Entegrasyonu

SLURM ile OpenStack arasında köprü kurulduğunda, geleneksel HPC iş kuyruğu ve bulut benzeri talep bazlı hesaplama bir arada çalışabilir. Sabit kapasiteli partition’lar dolduğunda işler otomatik olarak OpenStack üzerindeki dinamik kaynaklara taşınır.

Tekrarlanabilir Altyapı

Heat orkestrasyon şablonları (HOT — Heat Orchestration Templates) sayesinde belirli bir compute ortamı koda dönüştürülür. Aynı yazılım stack’i, ağ yapılandırması ve kota ayarıyla yüzlerce node dakikalar içinde hazır hale getirilebilir.

Nasıl Çalışır?

Mimari Katmanlar

┌─────────────────────────────────────────────┐
│          Kullanıcı / Araştırmacı            │
│     Horizon (Web UI) / OpenStack CLI        │
└────────────────────┬────────────────────────┘
                     │ API çağrıları
┌────────────────────▼────────────────────────┐
│         OpenStack Control Plane             │
│  Keystone │ Nova │ Neutron │ Cinder │ Heat  │
└──────────────┬──────────────────────────────┘
               │ Sağlama komutları
   ┌───────────┴────────────────┐
   │                            │
┌──▼──────────┐        ┌────────▼────────┐
│  VM Compute │        │  Bare-Metal     │
│  Hypervisor │        │  (Ironic)       │
│  (KVM/QEMU) │        │  HPC Node'ları  │
└─────────────┘        └─────────────────┘
               │
┌──────────────▼──────────────────────────────┐
│           Paylaşımlı Depolama               │
│  BeeGFS Paralel FS │ Cinder NVMe │ Swift    │
└─────────────────────────────────────────────┘

VM Tabanlı HPC vs. Bare-Metal Ironic

VM tabanlı yaklaşımda QEMU/KVM hypervisor üzerinde HPC işleri çalışır. Bu yöntem esneklik ve izolasyon açısından güçlüdür; ancak MPI gibi latency-sensitive iş yüklerinde küçük bir performans kaybı yaşanır. Modern NVMe SRD ve SR-IOV teknolojileri bu kaybı minimize eder.

Ironic (bare-metal) yaklaşımında ise OpenStack’in kaynak yönetimi ve kota sistemi kullanılırken işler doğrudan fiziksel donanım üzerinde çalışır. Gecikmeli RDMA ve InfiniBand iletişimi gerektiren büyük ölçekli CFD veya kuantum kimya simülasyonları için tercih edilen modeldir.

Mevasis OpenStack HPC Uygulaması

Deployment Yöntemi

Mevasis, OpenStack kurulumunu kolla-ansible tabanlı container-native deployment ile gerçekleştirir. Her servis ayrı bir container içinde çalışır; bu yaklaşım güncelleme, yatay ölçekleme ve arıza tespitini kolaylaştırır.

# kolla-ansible globals.yml — Mevasis HPC profili
openstack_release: "2024.2"
neutron_plugin_agent: "openvswitch"
enable_ironic: "yes"
enable_cinder: "yes"
enable_swift: "no"           # büyük veri için BeeGFS tercih edilir
enable_heat: "yes"
nova_compute_virt_type: "kvm"
ironic_enabled_network_interfaces: "flat,neutron"
nova_scheduler_default_filters: >-
  ComputeFilter,
  NumaTopologyFilter,
  AggregateInstanceExtraSpecsFilter,
  PciPassthroughFilter

SLURM — OpenStack Entegrasyonu

Mevasis, SLURM ile OpenStack arasındaki hibrit katmanı özel bir zamanlayıcı eklentisiyle kurar. Bu yapıda SLURM iş kuyruğu dolduğunda, bekleyen işler OpenStack’e yönlendirilerek dinamik olarak yeni compute kaynakları sağlanır. İş tamamlandığında kaynaklar otomatik olarak iade edilir.

# SLURM elastic compute — OpenStack entegrasyonu
# Partition dolduğunda yeni node talep et
squeue --noheader --states=PD | \
  awk '{print $1}' | \
  xargs -I{} openstack server create \
    --flavor hpc.compute.large \
    --image rocky9-hpc \
    --key-name cluster-key \
    --user-data /etc/slurm/cloud-init.sh \
    slurm-node-{}

Ağ Yapılandırması

HPC iş yükleri için Neutron’da iki ayrı ağ profili tanımlanır:

• HPC Veri Ağı: Düşük latency, jumbo frame (MTU 9000), VLAN ya da VXLAN segment başına izolasyon
• Yönetim Ağı: IPMI, PXE önyükleme ve OpenStack API trafiği

SR-IOV etkinleştirilmiş NIC’ler sayesinde ağ sanal işlevi (VF) doğrudan VM içine aktarılır; bu yapı yazılım tabanlı switch gecikmesini ortadan kaldırır.

Depolama Entegrasyonu

BeeGFS paralel dosya sistemi, Cinder’ın yanı sıra bağımsız bir POSIX katmanı olarak kurulur. HPC işleri doğrudan BeeGFS mount noktalarını kullanır; Cinder hacimleri ise yazılım geliştirme ve veritabanı iş yükleri için ayrılır.

Güvenlik ve Kimlik Yönetimi

Keystone, kurumsal LDAP veya Active Directory altyapısıyla federasyon (SAML, Kerberos) üzerinden entegre edilir. Her araştırma projesi ayrı bir OpenStack projesi (tenant) olarak yapılandırılır; ağ izolasyonu, kota limitleri ve rol tabanlı erişim denetimi (RBAC) merkezi olarak yönetilir.

Referans Konfigürasyon

Mevasis’in önerdiği orta ölçekli OpenStack HPC ortamı:

OpenStack HPC Kullanım Senaryoları

Çok Projeli Araştırma Ortamı

Üniversite ve araştırma enstitülerinde farklı disiplinlerden ekipler (kimya, biyoinformatik, havacılık) aynı donanımı proje izolasyonuyla paylaşır. Her projenin kaynak kotası ve ağ segmenti ayrıdır.

Hibrit HPC ve AI/ML

Deterministik simülasyon işleri (CFD, FEM) bare-metal Ironic node’larında çalışırken, AI/ML eğitim işleri GPU’lu VM’lerde yürütülür. SLURM ve OpenStack Nova aynı anda kaynak yönetimini üstlenir.

Yazılım Test ve Geliştirme

HPC uygulamaları için tutarlı test ortamları Heat şablonlarıyla dakikalar içinde ayağa kaldırılır ve iş tamamlandığında otomatik olarak silinir. Bu yapı CI/CD pipeline’larına kolayca entegre edilir.

Kurumunuza özel OpenStack HPC mimarisi için bizimle iletişime geçin.