İş Kuyruğu Yöneticisi Çözümleri

Yüzlerce hesaplama işinin aynı anda bir kümeye yüklendiğini düşünün. Hangi iş önce çalışacak? Hangi düğüm hangi görevi alacak? GPU kaynakları adil biçimde dağıtılacak mı? Bu soruların yanıtı, HPC altyapısının bel kemiğini oluşturan iş kuyruğu yöneticisinde yatar.

İş Kuyruğu Yöneticisi Nedir?

İş kuyruğu yöneticisi (job scheduler veya workload manager), yüksek başarımlı hesaplama kümelerinde işlerin düzenli ve verimli bir biçimde yürütülmesini sağlayan yazılım katmanıdır. Kullanıcılar işlerini doğrudan bir hesaplama düğümüne göndermek yerine kuyruğa bırakır; zamanlayıcı bu işleri mevcut kaynaklar, öncelik kuralları ve politikalar çerçevesinde otomatik olarak en uygun düğümlere atar.

Temel işlevleri şöyle özetlenebilir:

• Kaynak yönetimi: CPU çekirdek, bellek, GPU ve lisans gibi kaynakların izlenmesi ve tahsisi
• Önceliklendirme: Kullanıcı, proje veya departman bazlı iş önceliklerinin belirlenmesi
• Politika uygulama: Maksimum çalışma süresi, kaynak kotaları ve erişim kısıtlamaları
• İzleme ve raporlama: Küme kullanım istatistikleri ve denetim kayıtları

Neden Gerekli?

Yöneticisiz bir HPC kümesinde kaynaklar çakışır, kritik işler beklemede kalır ve altyapı verimliliği düşer. Araştırmacılar sonuç almak için günler yerine haftalar bekleyebilir. Buna karşılık iyi yapılandırılmış bir zamanlayıcı şu kazanımları doğrudan sağlar:

• Küme kullanım oranı %60-70’ten %90+ düzeye yükselir
• Acil işler bekleyen düşük öncelikli işlerin önüne geçebilir
• Adil paylaşım (fair-share) politikasıyla hiçbir kullanıcı tüm kaynakları tekeline alamaz
• Otomatik yeniden başlatma ve hata yönetimiyle el müdahalesi azalır

Önde Gelen İş Kuyruğu Yöneticileri

SLURM

Açık kaynaklı, modüler ve geniş ekosistemiyle bugün dünyanın en yaygın kullanılan iş zamanlayıcısıdır. TOP500 listesindeki süper bilgisayarların büyük çoğunluğu SLURM üzerinde çalışır. Esnekliği, aktif topluluk desteği ve sıfır lisans maliyeti onu akademik kurumlar ve araştırma merkezleri için birincil tercih haline getirir.

PBS Pro / OpenPBS

NASA kökenli PBS mimarisi, özellikle uzay, havacılık ve savunma sektöründe köklü bir geçmişe sahiptir. Altair tarafından geliştirilen ticari PBS Pro sürümü, kurumsal destek ve gelişmiş raporlama araçları sunar; OpenPBS ise topluluk tarafından sürdürülen açık kaynak dalıdır.

IBM Spectrum LSF

Finans sektörü ve büyük kurumsal ortamlar için optimize edilmiş bir platformdur. Karma iş yükleri, lisans çizelgeleme ve çok siteli küme federasyonu konularındaki güçlü özellikleriyle öne çıkar.

Altair Grid Engine (AGE)

Sun Grid Engine mirasından gelen bu platform, esnek lisanslama modeliyle orta ölçekli kurumlar için uygun maliyetli bir seçenek sunmaktadır.

Karşılaştırma Tablosu

SLURM ile Tipik Bir İş Akışı

Aşağıdaki örnek, SLURM üzerinde GPU gerektiren bir makine öğrenmesi işinin nasıl gönderildiğini göstermektedir:

#!/bin/bash
#SBATCH --job-name=ml-training
#SBATCH --partition=gpu
#SBATCH --nodes=2
#SBATCH --ntasks-per-node=4
#SBATCH --gres=gpu:a100:2
#SBATCH --mem=64G
#SBATCH --time=08:00:00
#SBATCH --output=logs/%j.out
#SBATCH --error=logs/%j.err
#SBATCH --mail-type=END,FAIL
#SBATCH --mail-user=kullanici@kurum.edu.tr

module load cuda/12.2 python/3.11

source $HOME/venvs/ml/bin/activate

srun python train.py \
  --epochs 100 \
  --batch-size 512 \
  --data-path /scratch/$USER/dataset

Bu betik SLURM’a iki düğüm, düğüm başına dört görev ve her düğümde iki adet A100 GPU talep ettiğini bildirir. Zamanlayıcı bu kaynaklar müsait olduğunda işi otomatik olarak başlatır, sekiz saat sonunda kaynakları serbest bırakır ve iş tamamlanınca kullanıcıya e-posta gönderir.

Mevasis Nasıl Uygular?

Analiz ve Planlama

Her projeye küme topolojisinin, mevcut iş yükü profilinin ve kullanıcı gruplarının ayrıntılı analizi ile başlanır. Bu analiz; hangi zamanlayıcının seçileceğini, partition tasarımını ve önceliklendirme politikalarını belirler.

Kurulum ve Yapılandırma

Seçilen zamanlayıcı, üretim ortamına uygun biçimde kurulur. SLURM özelinde yapılan çalışmalar şunları kapsar:

• Sunucu (slurmctld) ve istemci (slurmd) daemon yapılandırması
• Hesaplama düğümü envanterinin tanımlanması (CPU, bellek, GPU, NUMA topolojisi)
• Partition ve QOS (Quality of Service) katmanlarının oluşturulması
• Munge kimlik doğrulama altyapısının kurulması
• Muhasebe veritabanı (slurmdbd / MariaDB) entegrasyonu

Politika ve Optimizasyon

Kurulum tamamlandıktan sonra organizasyona özgü politikalar devreye alınır: departman bazlı kaynak kotaları, fair-share ağırlıkları, preemption kuralları ve lisans yönetimi. Bu aşamada gerçek iş yükleri üzerinde simülasyon yapılarak zamanlayıcı parametreleri ince ayara tabi tutulur.

İzleme ve Bakım

Canlı ortamda küme metrikleri Prometheus ve Grafana aracılığıyla izlenir, kapasiteye yaklaşıldığında uyarı mekanizmaları devreye girer. Düzenli bakım kapsamında SLURM sürüm güncellemeleri, politika revizyonları ve performans raporları sunulur.

Başarım Göstergeleri

Mevasis tarafından uygulanan iş kuyruğu yöneticisi çözümlerinde tipik iyileşme aralıkları:

• Küme kullanım oranı: %65 → %92
• Ortalama bekleme süresi: 45 dakika → 8 dakika
• El müdahalesi gerektiren olaylar: Aylık 12 → Aylık 2
• Kaynak israfı (boşta bekleyen düğümler): %30 → %6

Bu rakamlar, doğru yapılandırılmış bir zamanlayıcının yalnızca teknik bir kolaylık değil, ölçülebilir bir verimlilik yatırımı olduğunu ortaya koymaktadır.

Sonuç

İş kuyruğu yöneticisi, HPC kümesinin en kritik yazılım bileşenidir. Yanlış seçim veya eksik yapılandırma yüksek lisans ve donanım yatırımlarını boşa harcayabilir; doğru kurulum ise altyapıdan alınan değeri katlar.

Mevasis, SLURM başta olmak üzere PBS Pro, LSF ve Altair Grid Engine konularındaki birikimini kurumunuzun ihtiyaçlarına uyarlamak için hazırdır. Mevcut kümenizi analiz etmek veya sıfırdan kurulum planlamak için bizimle iletişime geçin.