Kubernetes Üzerinde Slurm: Slinky, Kueue ve Volcano Seçenekleri

Kubernetes Üzerinde Slurm: Slinky, Kueue ve Volcano Seçenekleri
20 November, 2026
Teknik Rehber
Kısa cevap: Kubernetes GPU kümesinde Slurm tarzı iş zamanlamaya ulaşmanın üç yolu var. Slurm ile Kubernetes’i ayrı düğümlerde yan yana çalıştırabilir, SchedMD’nin Slinky projesiyle Slurm’ü Kubernetes içinde koşturabilir ya da Slurm’ü hiç kullanmadan Kueue veya Volcano ile Kubernetes’e özgü bir batch katmanı ekleyebilirsiniz. Kullanıcılarınız sbatch, fairshare ve iş muhasebesine (accounting) bağlıysa Slinky ya da yan yana model bunları olduğu gibi korur. Her şey zaten konteynerdeyse ve ekibiniz Kubernetes ile çalışıyorsa Kueue veya Volcano daha kısa yol.
Bu yazı iki aracı birlikte kullanmayı anlatıyor. İkisini tek tek karşılaştırmak için Slurm ve Kubernetes karşılaştırmamıza bakabilirsiniz.
Neden ikisi birden
SchedMD’nin slurm-operator belgeleri ayrımı iyi özetliyor. Kubernetes; süresi belirsiz, çoğunlukla tek düğümde çalışan, gevşek politikalı ve büyüyebilen bir kaynak havuzu kullanan iş yüklerinde güçlü. Slurm ise süresi belli, kaynak ve topoloji ihtiyacı net tanımlanmış, birden çok düğüme yayılan, sıkı politikayla yönetilen ve donanımı bilinen bir havuzda çalışan işlerde güçlü.
Paylaşılan bir GPU kümesi bu iki tür işi aynı anda taşımak zorunda kalabilir. Eğitim koşuları ve simülasyonlar süresi belli, çok düğümlü batch işleridir. Inference uçları, notebook’lar ve veri hatları ise sürekli açık kalan servislerdir. İki ayrı küme kurulduğunda bir havuzdaki GPU’lar boş beklerken öbüründe kuyruk birikebilir. Zamanlayıcıları birleştirmek, iki ekibin de araç değiştirmeden aynı donanımı paylaşmasını sağlar.
Üç model: yan yana, Kubernetes içinde Slurm, Kubernetes’e özgü batch
| Model | Ne nerede çalışır | Batch işleri kim zamanlar |
|---|---|---|
| Yan yana | Slurm bare-metal düğümlerde, Kubernetes ayrı bir düğüm havuzunda | Slurm, değişmeden |
| Kubernetes içinde Slurm | Slurm servisleri pod olarak çalışır (slurm-operator) ya da Slurm, Kubernetes pod’larını zamanlar (slurm-bridge) | Slurm |
| Kubernetes’e özgü batch | Yalnızca Kubernetes, kuyruk ve kotayı Kueue veya Volcano ekler | kube-scheduler ile Kueue ya da Volcano |
Yan yana model işletmesi en kolay olanı, ama kapasiteyi iki taraf arasında kaydırmak elle yapılan bir iş. Kubernetes içinde Slurm kullanıcı deneyimini korurken Slurm bileşenlerinin yönetimini Kubernetes’e bırakır. Kubernetes’e özgü batch her şey konteynerdeyse en az parçalı seçenektir. Bunun bedeli, kullanıcıların Slurm komut satırından ve politika modelinden vazgeçmesidir.
Slinky (SchedMD’nin Slurm operatörü): neleri kurar
Slinky, SchedMD’nin Slurm’ü Kubernetes ile çalıştırmak için geliştirdiği projelerin adı. NVIDIA, 15 Aralık 2025’te SchedMD’yi satın aldığını duyurdu ve Slurm’ü açık kaynaklı, üreticiden bağımsız bir yazılım olarak geliştirip dağıtmaya devam edeceğini açıkladı. Etkin Slinky depoları şunlar:
- slurm-operator: Slurm kümelerini kuran ve yöneten Kubernetes operatörü.
- slurm-bridge: Arkasında Slurm bulunan bir Kubernetes zamanlayıcısı. Kubernetes ve Slurm iş yüklerinin aynı düğümleri paylaşmasına imkân verir.
- slurm-client ve containers: Slurm REST API için Go istemcisi ve Slurm servislerinin OCI imajları.
slurm-operator, v1beta1 sürümünde şu özel kaynakları (CRD) tanımlar: Controller (slurmctld), NodeSet (özdeş slurmd çalışanlarından oluşan grup), LoginSet (kullanıcı kimliğini SSSD ile yöneten login düğümleri), RestApi (slurmrestd), Accounting (slurmdbd) ve Token. Accounting isteğe bağlıdır ve MySQL ya da MariaDB uyumlu bir veritabanı ister. Belgeler bu veritabanı için mariadb-operator, mysql-operator ya da yönetilen bir veritabanı servisi öneriyor.
Bilinmesi gereken işletme ayrıntıları:
- Operatör Slurm’ün configless modunu,
auth/slurm,auth/jwtve dinamik düğüm özelliklerini şart koşar. Çalışanlar yapılandırmayı slurmctld’den çektiği için ortak bir yapılandırma dosya sistemine gerek kalmaz. - Bir NodeSet küçültülmeden ya da güncellenmeden önce ilgili Slurm düğümleri drain edilir. NodeSet ve LoginSet sıfıra kadar küçülebildiği için Horizontal Pod Autoscaler ile birlikte kullanılabilir.
- Hibrit küme desteklenir. slurmd bare-metal üzerinde kalıp Kubernetes’te çalışan Slurm kontrol düzlemine katılabilir. LDAP, NFS ya da MariaDB gibi servisler de küme dışında kalabilir.
- 19 Kasım 2026’da çıkan 1.3.0 sürümü slurmctld yüksek erişilebilirliği (HA) ekledi. Bu özellik ortak durum için ReadWriteMany bir birim gerektirir.
Olgunluk durumu: 1.x serisi Kasım 2025’teki v1.0.0 etiketiyle başladı. 1.3.0 sürümü Kubernetes 1.35-1.37 ve Slurm 25.11 ile sonrasını destekliyor, Helm chart’ı varsayılan olarak Slurm 26.05 kuruyor. Kod Apache 2.0 lisanslı. GitHub üzerinden gelen hata kayıtlarına “best effort” esasıyla bakılıyor, SchedMD’nin resmî hata takip sistemi support.schedmd.com.
slurm-bridge ters yönde çalışır. Kubernetes’e gönderilen bir Pod, PodGroup, Job, JobSet ya da LeaderWorkerSet, harici bir Slurm işine dönüşür. slurmctld düğüm ayırınca slurm-bridge pod’ları bu düğümlere bağlar. Doğrudan sbatch ve salloc ile gönderilen işler slurmd üzerinden çalışmaya devam eder. Belgelerde iki sınırlama var: bridge işleri varsayılan olarak düğümün tamamını tek başına alır, hibrit bir düğümde de yerel Slurm işleri ile bridge’in yönettiği pod’lar aynı anda çalışmamalıdır. slurm-bridge uyumluluk tablosunu ayrıca kontrol edin, eski sürüm serilerinde operatörünkünden farklı.
Kueue ve Volcano: Slurm’ün hangi özelliklerini karşılar, hangilerini karşılamaz
Kueue, kubernetes-sigs altında geliştirilen ve kotaları yöneten bir proje. Bir işin ne zaman kabul edileceğine, ne zaman bekleyeceğine ve ne zaman preempt edileceğine karar verir. kube-scheduler’ın yerini almaz, pod’u düğüme yerleştirme işi varsayılan zamanlayıcıda kalır. Temel yapı taşları şunlar: kotaları ve adil paylaşım kurallarını tutan küme genelindeki ClusterQueue, kullanıcıların iş gönderdiği namespace’e bağlı LocalQueue, kotayı düğüm türlerine eşleyen ResourceFlavor ve ClusterQueue’ların kullanılmayan kotayı birbirine ödünç verdiği cohort. Kubernetes Job, JobSet, MPIJob ve RayJob desteklenen iş türleri arasında.
Volcano ise kendi batch zamanlayıcısı olan, CNCF’de incubating aşamasındaki bir proje. Volcano Job’larında schedulerName: volcano varsayılan değerdir. minAvailable ile gang scheduling, ağırlık, üst sınır ve garanti kaynak tanımlanabilen hiyerarşik Queue yapısı ve enqueue, allocate, preempt, reclaim, backfill adlı zamanlama adımları sunar.
| Slurm özelliği | Kueue | Volcano |
|---|---|---|
| Partition ve limitler | ClusterQueue kotaları, ResourceFlavor | capability ve guarantee tanımlı Queue |
| Öncelik ve preemption | ClusterQueue içinde önceliğe göre preemption, cohort genelinde geri alma | preempt ve reclaim adımları |
| Kullanım geçmişi sönümlenen fairshare | Admission Fair Sharing: aynı ClusterQueue’daki LocalQueue’lar arasında sönümlenen geçmiş kullanım (v0.15’ten beri beta) | DRF ve kuyruk ağırlıkları |
| Tüm düğümlerde birlikte başlatma (gang) | waitForPodsReady ile ya hep ya hiç: süre aşımında tahliye ve yeniden kuyruk | minAvailable ile gang eklentisi |
| Topolojiye duyarlı yerleşim | Topology-Aware Scheduling (v0.14’ten beri beta) | HyperNode ile ağ topolojisine duyarlı zamanlama |
| İş süre sınırına dayalı backfill | Belgelenen kuyruk stratejilerinde (StrictFIFO, BestEffortFIFO) karşılığı yok | Kullanımı artırmak için düğümleri dolduran bir backfill adımı |
| Kullanıcı arayüzü | Kubernetes manifestleri | Kubernetes manifestleri |
Slurm’ün backfill zamanlayıcısı, düşük öncelikli bir işi ancak yüksek öncelikli işlerin beklenen başlangıcını geciktirmiyorsa başlatır ve bu hesabı iş süre sınırlarına bakarak yapar. Küme doluluğunuz bu davranışa ya da slurmdbd ve sacct ile tutulan iş bazlı muhasebeye dayanıyorsa, Kubernetes’e özgü bir kuyruğa geçmeden önce bunu ayrıca test edin.
Kubernetes’in kendisi de gang scheduling ekliyor. Özellik Kubernetes 1.37’de beta aşamasında ve GenericWorkload feature gate’i arkasında varsayılan olarak kapalı.
Her modelde GPU zamanlama
Yan yana. Slurm GPU’ları her bare-metal kümede olduğu gibi GRES ile yönetir. GRES, MIG ve MPS ayrıntıları Slurm GPU zamanlama rehberimizde. Kubernetes tarafında NVIDIA GPU Operator kullanılır.
slurm-operator. GPU zamanlama iki katmanda gerçekleşir. Kubernetes GPU’ları slurmd pod’una device plugin (nvidia.com/gpu) ya da Dynamic Resource Allocation (DRA) üzerinden verir. Slurm da bu GPU’lar üzerindeki işleri GRES ile zamanlar. Belgelerdeki örnekte gres.conf içine AutoDetect=nvidia yazılıyor, GresTypes listesine gpu ekleniyor ve NodeSet üzerinde buna uyan bir Gres tanımlanıyor. GB200 ve GB300 NVL72 sistemlerinde IMEX kanalları, Slurm prolog ve epilog betikleri yerine NVIDIA DRA sürücüsüyle yönetilir. Chart, DCGM metriklerinde GPU’ları Slurm işleriyle eşleyebilir.
slurm-bridge. Pod’lardan gelen GPU talepleri NVIDIA DRA sürücüsü üzerinden gelip slurm-bridge tarafından Slurm GRES’e eşlenebilir. Klasik nvidia.com/gpu device plugin yolu da çalışmaya devam eder.
Kueue ve Volcano. GPU’lar, NVIDIA GPU Operator aracılığıyla Kubernetes kaynağı olarak sunulur. Operator sürücüyü, container toolkit’i, device plugin’i, GPU Feature Discovery etiketlerini, DCGM exporter’ı ve MIG Manager’ı kurar. MIG’in mixed stratejisinde her profil nvidia.com/mig-1g.10gb gibi ayrı bir kaynak olarak görünür. Time-slicing de mümkün, ama NVIDIA’ya göre MIG’in aksine replikalar arasında bellek ve hata yalıtımı sağlamaz. Kueue’da düğüm etiketlerine bağlı ayrı ResourceFlavor’lar tanımlayarak farklı GPU modellerine ayrı kota verebilirsiniz. GPU Operator ve Volcano kurulumu Kubernetes GPU cluster rehberimizde anlatılıyor.
Depolama, MPI ve InfiniBand
Depolama. slurmctld durum bilgisini varsayılan olarak kalıcı bir birimde (persistent volume) tutar. Belgeler üretimde bu kalıcılığın kapatılmamasını öneriyor. Kontrolcü HA’sı ReadWriteMany bir birim, accounting de kendi veritabanını ister. Ev dizinleri ve veri setleri NodeSet ve login pod’larına NFS gibi sıradan Kubernetes birimleri olarak bağlanır. Paralel dosya sistemleri pod’lara, varsa bir CSI sürücüsüyle (BeeGFS CSI sürücüsü gibi) ya da sunucu üzerindeki mount noktalarıyla ulaşır.
InfiniBand ve RDMA. Pod’ların InfiniBand kullanabilmesi için RDMA aygıtlarının ve sürücülerinin onlara açılması gerekir. NVIDIA Network Operator DOCA-OFED sürücülerini kurar, InfiniBand ve RoCE üzerinden RDMA’yı, SR-IOV’u ve IP over InfiniBand ikincil ağlarını destekler. GPU Operator ile birlikte çalışacak şekilde tasarlanmıştır. Slinky’nin SR-IOV kılavuzu, sanal fonksiyonların (VF) sunucularda önceden oluşturulması ve her yeniden başlatmadan sonra yeniden yaratılması gerektiğini belirtiyor.
Topoloji. slurm-operator her Kubernetes düğümünün topoloji anotasyonunu o düğümdeki slurmd pod’una aktarır. Böylece Slurm’ün topolojiye duyarlı zamanlaması, bütün düğümleri önceden listelemeye gerek kalmadan çalışır. Kueue’nun Topology-Aware Scheduling özelliği bunun yerine düğüm etiketlerini ve bir Topology nesnesini kullanır. Volcano ise InfiniBand ağı için HyperNode’ları NVIDIA UFM’den keşfedebilir.
MPI başlatma. Slurm içinde srun, MPI süreçlerini her zamanki gibi PMIx ile başlatır (bkz. Slurm MPI kılavuzu). Kubernetes’e özgü batch tarafında MPI işleri, Kueue’nun da desteklediği Kubeflow MPI Operator’ün MPIJob nesnesiyle ya da bir Volcano Job ile çalıştırılabilir.
Karar tablosu
| Durumunuz | Başlangıç için model |
|---|---|
| Mevcut Slurm kullanıcıları, bare-metal MPI işleri, Kubernetes yalnızca servisler için | Yan yana |
| Slurm politikası ve komutları kalsın, düğüm, güncelleme ve ölçeklemeyi Kubernetes yönetsin | Slinky slurm-operator |
| Kubernetes iş yükleri Slurm’ün öncelik ve fairshare kurallarıyla kuyruğa girsin | Slinky slurm-bridge |
| Her şey konteynerde, ekip Kubernetes işletiyor, kube-scheduler korunsun | Kueue |
| Gang scheduling ve ayrı bir batch zamanlayıcı isteyen konteyner işleri | Volcano |
| Slurm accounting, QOS ve süre sınırına dayalı backfill bugünkü gibi kalmalı | Slurm’de kalın (yan yana ya da Slinky) |
Hangi modeli seçerseniz seçin, önce kendi işlerinizle deneyin: çok düğümlü bir MPI ya da NCCL koşusu, bir GPU paylaşım senaryosu ve bir preemption senaryosu. Her iki tarafta kurduğumuz mimarileri Slurm çözüm sayfamızda ve Kubernetes çözüm sayfamızda bulabilirsiniz.
Mevasis Slurm kümelerini kurar, danışmanlık ve yönetilen destek hizmeti verir. GPU kümeniz için bu seçenekleri tartıyorsanız nasıl çalıştığımızı Slurm hizmetleri sayfamızda anlatıyoruz.
Sıkça Sorulan Sorular
Evet. SchedMD'nin Slinky projesindeki slurm-operator; slurmctld, slurmd, slurmrestd, login düğümleri ve isteğe bağlı olarak slurmdbd bileşenlerini Kubernetes özel kaynaklarıyla yönetilen pod'lar olarak çalıştırır. 1.3 sürümü Kubernetes 1.35-1.37 ve Slurm 25.11 ile sonrasını destekler.
slurm-operator Kubernetes içinde bir Slurm kümesi çalıştırır, kullanıcılar sbatch, srun ve salloc ile iş göndermeye devam eder. slurm-bridge ise Pod, Job ve JobSet gibi seçilen Kubernetes iş yüklerini Slurm işlerine çevirip zamanlamayı Slurm'e bırakır.
Birebir tutmaz. Kueue Kubernetes'e kuyruk, kota, adil paylaşım, preemption ve topolojiye duyarlı kabul ekler ama kube-scheduler ile birlikte çalışır ve kullanıcılar betik yerine Kubernetes nesnesi gönderir. Slurm accounting, QOS ve süre sınırına dayalı backfill kullanan ekipler geçişten önce kendi politikalarını test etmelidir.
Kueue varsayılan kube-scheduler'ı korur ve işlerin kotaya göre ne zaman kabul edileceğini yönetir. Volcano ise schedulerName volcano ile seçilen ayrı bir batch zamanlayıcıdır, kendi kuyrukları ve gang scheduling desteği vardır. Belirleyici soru, pod yerleşimini kube-scheduler'da tutmak isteyip istemediğinizdir.
İki katmanda. Kubernetes GPU'ları NVIDIA device plugin ya da Dynamic Resource Allocation üzerinden slurmd pod'una verir, Slurm da bu GPU'lar üzerindeki işleri gres.conf'ta tanımlı GRES ile zamanlar.
İlgili Yazılar
- Slurm ile GPU Scheduling: Yapay Zeka İş Yükleri için Kapsamlı RehberSlurm ile NVIDIA GPU zamanlama: MIG, MPS, GRES yapılandırması. PyTorch ve TensorFlow dağıtık eğitim için Slurm betikleri. AI iş yükleri için …
- Slurm ile HPC Küme Yönetimi: Kapsamlı RehberSlurm iş kuyruğu ile HPC cluster yönetimi: mimari, kurulum, partition tasarımı, GPU zamanlama, cgroup izolasyonu, izleme ve sorun giderme.
- HPC İş Kuyruğu Yöneticisi Teknik Rehberi: SLURM, PBS Pro ve LSFSLURM, PBS Pro ve IBM Spectrum LSF mimarisi, kurulum adımları, yaygın sorunlar ve en iyi uygulamalar hakkında kapsamlı Türkçe teknik rehber.
- Kubernetes GPU Cluster: Mimari, Kurulum ve En İyi UygulamalarNVIDIA GPU Operator ve Volcano scheduler ile Kubernetes GPU Cluster mimarisi, kurulum adımları, yaygın sorunlar ve en iyi uygulamalar.
Birlikte Geleceği İnşa Edelim.
