AI Inference Cluster: Yüksek Erişilebilirlik ve Düşük Gecikme

Eğitilmiş bir modeli üretime taşımak, eğitim aşamasından çok farklı mühendislik gereksinimleri doğurur. Batch işlem yerine milisaniye düzeyinde yanıt, tek bir GPU sunucusu yerine yüzlerce eş zamanlı istek, deneme ortamı yerine yüzde 99,9 çalışma süresi taahhüdü. Üretim ortamı inference’ı, yüksek erişilebilirlik ve düşük gecikme odaklı ayrı bir altyapı disiplini gerektirir.

Inference Neden Eğitimden Farklı Bir Altyapı İster?

Model eğitimi, haftalarca süren tek bir işin tamamlanmasını hedefler: hata toleransı yüksek, throughput odaklı, gecikme toleranslıdır. Inference ise tam tersidir.

Tipik Inference İş Yükleri

Büyük Dil Modeli (LLM) Servisi

GPT tarzı otoregressif modeller (Llama, Mistral, Falcon serisi ve kurumsal fine-tune türevleri) token başına hesaplama yoğunlukları nedeniyle en zorlu inference senaryolarını oluşturur. Yanıt süresi hem prefill hem decode aşamasına bağlıdır; her iki aşama ayrı ayrı optimize edilmelidir.

Kritik yazılım bileşenleri:

Görüntü ve Video İşleme

Nesne tespiti, segmentasyon, optik karakter tanıma ve video analiz pipeline’ları; özellikle akış tabanlı (streaming) senaryolarda eş zamanlı GPU iş parçacığı yönetimi kritiktir.

Kullanılan çerçeveler: NVIDIA Triton Inference Server, ONNX Runtime, TensorRT, OpenVINO (Intel CPU fallback için)

Multimodal ve Gömülü Model Servisi

CLIP, LLaVA, Whisper gibi ses-görüntü-metin modellerinin aynı cluster üzerinde birlikte çalıştırılması, kaynak izolasyonu ve yük dengeleme açısından özel yapılandırma gerektirir.

Kurumsal Öneri ve Kişiselleştirme Motorları

E-ticaret, fintech ve medya sektörlerinde gerçek zamanlı öneri sistemleri; düşük gecikme (<10 ms) ve çok yüksek QPS (sorgu/saniye) kombinasyonunu hedefler. Bu senaryolarda model küçüktür ancak throughput gereksinimleri son derece yüksektir.

Referans Inference Cluster Mimarisi

Load Balancer (HAProxy / NGINX / Envoy)
│
├── Inference Node Grubu A — LLM (4 node)
│   └── 2× AMD EPYC 9654 + 8× NVIDIA H100 SXM5 80 GB
│       vLLM + TensorRT-LLM, FP8 inference
│
├── Inference Node Grubu B — Görüntü/Video (4 node)
│   └── 2× Intel Xeon + 4× NVIDIA L40S 48 GB
│       NVIDIA Triton IS, TensorRT
│
├── Küçük Model / CPU Fallback Node'ları (2 node)
│   └── 2× EPYC 9654 (ONNX Runtime, OpenVINO)
│       Düşük öncelikli veya maliyet odaklı istekler
│
├── Model Deposu (NFS / S3 uyumlu)
│   └── Model ağırlıkları, ONNX grafikleri, TensorRT motorları
│
└── İzleme ve Yönetim
    └── Prometheus + Grafana, DCGM Exporter, NVIDIA MIG yönetimi

Ağ: 100 Gbit Ethernet (inference node’lar arası düşük gecikmeli ağ); yük dengeleyiciden node’lara LACP bağlantı.

Performans Optimizasyonu: Katmanlı Yaklaşım

Inference altyapısında gecikme ve throughput optimizasyonu tek bir ayarla sağlanmaz; katmanlar halinde ele alınır.

1. Model Katmanı

2. Sistem Katmanı

3. Altyapı Katmanı

Yüksek Erişilebilirlik: Sıfır Kesinti Hedefi

Inference servislerinde erişilebilirliği tehdit eden başlıca senaryolar: donanım arızası, yazılım kilitleri, model güncelleme ve planlı bakım. Her biri için farklı önlemler gerekir.

Donanım Arızası Koruması

Model Güncelleme — Sıfır Kesinti Dağıtım

Mevcut model v1.0 → tüm trafik alıyor
  │
  ├── Yeni model v1.1 yükleniyor (ayrı slot)
  ├── Sağlık kontrolü geçildi
  ├── Canary: %5 trafik → v1.1
  ├── Canary: %20 trafik → v1.1
  ├── Tam geçiş: %100 trafik → v1.1
  └── v1.0 boşaltılıyor (draining)

NVIDIA Triton Inference Server, model versiyonlama ve A/B test desteğini doğrudan API üzerinden sunar.

SLA Seviyeleri

Güvenlik ve Veri Egemenliği

Kurumsal inference altyapılarında model ağırlıkları, inference girdileri ve çıktıları hassas ticari veri kapsamındadır.

Örnek Yapılandırma: LLM Servisi (Llama Serisi)

# Triton model config örneği
name: "llama-70b-fp8"
backend: "tensorrtllm"
max_batch_size: 128

instance_group:
  - kind: KIND_GPU
    count: 1
    gpus: [0, 1, 2, 3]   # 4× H100, tensor paralel

dynamic_batching:
  preferred_batch_size: [1, 4, 8, 16, 32]
  max_queue_delay_microseconds: 5000

parameters:
  max_tokens_in_paged_kv_cache: 131072
  kv_cache_free_gpu_mem_fraction: 0.9
  enable_chunked_context: true
  executor_worker_path: "/opt/tritonserver/backends/tensorrtllm"

Bu yapılandırma, 70B parametreli bir modeli 4× H100 üzerinde FP8 ile çalıştırır; continuous batching ile token başına gecikmeyi minimize ederken GPU kullanımını maksimuma çıkarır.

İzleme: Inference Altyapısına Özel Metrikler

Genel sistem izlemenin ötesinde, inference servisleri için kritik metrikler şunlardır:

Mevasis, inference cluster izlemesini Prometheus + Grafana ve NVIDIA DCGM Exporter kombinasyonu ile yapılandırır; kritik metrikler için otomatik uyarı ve esnek ölçekleme tetikleyicileri kurulur.

Mevasis Inference Cluster Hizmetleri

Mevasis, üretim ortamı AI inference altyapısını uçtan uca tasarlar, kurar ve yönetir:

Üretim ortamı inference ihtiyaçlarınız için bizimle iletişime geçin — iş yükü analizi ve boyutlandırma danışmanlığı ücretsiz sunulmaktadır.