AI Inference: LLM Çıkarımı için GPU ve HPC Altyapısı Rehberi

Büyük dil modellerinin (LLM) kurumlarda yaygınlaşmasıyla birlikte dikkat, eğitim (training) kadar çıkarım (inference) tarafına da yöneldi. Yüz milyarlarca parametreli bir modelin eğitimi aylar sürer; ama üretimde bir kurumun ihtiyacı olan asıl beceri, eğitilmiş modeli hızlı, ucuz ve kesintisiz biçimde yanıt verebilir hale getirmektir. İşte günümüzde AI inference altyapısı kurmak, HPC mimarlarının en çok üzerinde çalıştığı konulardan biri.

Bu rehberde, üretimde LLM çıkarımı için GPU ve HPC altyapısını planlarken göz önünde bulundurulması gereken teknik kararları ele alıyoruz: hangi GPU’lar, hangi serving katmanı, nasıl bir ölçekleme stratejisi?

Eğitimden Çıkarıma Geçişte Neler Değişir?

Eğitim ve çıkarım, donanımı aynı şekilde kullanmaz. Eğitim sırasında sistem yüksek kullanım oranıyla (high utilization) uzun süre çalışırken, çıkarımda düşük gecikme ve yüksek verim (throughput) hedeflenir. Aradaki farkı özetleyelim:

Eğitim kümesi tasarımını ayrıca ele aldığımız LLM Eğitim GPU Küme Tasarımı yazımızı bu rehberle birlikte okuyabilirsiniz. Çıkarım tarafında, doğru bellek kapasitesi ve serving yazılımı seçimi, donanımdan bile önemli hale gelir.

LLM Inference’ın Donanım Bileşenleri

Çıkarım sırasında modelin ağırlıkları kadar, istem ve yanıt arasında oluşan KV cache de GPU belleğini tüketir. Bu iki bileşen, GPU seçimini doğrudan belirler:

• Model ağırlıkları: 70B parametreli bir model, yaklaşık 140 GB (FP16) yer kaplar. Ağırlık sayısı * bayt sayısı = minimum bellek.
• KV cache: Uzun giriş ve çıkış sekansları, her istek için mevcut bellekten pay ayırır. Uzun bağlamlı uygulamalarda cache, ağırlıklardan daha fazla yer tutabilir.
• Bellek bant genişliği: Otoregresif çıkarım büyük ölçüde bellek bant genişliği tarafından sınırlandığı için HBM3e gibi yüksek bant genişlikli bellekler, en hızlı FLOP’lardan daha değerli olabilir.

Üzerinde çalıştığınız model ne kadar büyükse, “tek GPU belleiğine sığar mı” sorusu o kadar kritikleşir. 70B ve üzeri modeller, tek GPU belleiğine sığmadığından tensor parallel üzerinden birden çok GPU’ya dağıtılır.

GPU Seçimi: H200, A100 ve L40S

Çıkarım için GPU seçerken FLOP’lardan çok bellek kapasitesine ve bant genişliğine bakılır. GPU Seçim Rehberi yazımızda Genel karşılaştırmayı bulabilirsiniz; çıkarım özelinde değerlendirme şöyle özetlenir:

Ayrıca yeni nesil B200 mimarileri, özellikle büyük çıkarım iş yüklerinde yüksek HBM3e bellek ve bant genişliğiyle öne çıkar. NVIDIA H200 ve B200 Mimarileri yazımızda bu modelleri H100 ile karşılaştırmıştık.

Serving Katmanı: vLLM, TensorRT-LLM ve TGI

Donanım tek başına yetmez; modeli gerçek zamanlı servis eden bir inference server gerekir. Bu katmanın görevi, istekleri verimli biçimde gruplamak (batching), KV cache’i yönetmek ve GPU’yu doldurulmuş tutmaktır. Günümüzde öne çıkan çözümler:

Bu araçların ortak amacı, modelin continuous batching ile GPU’da daha fazla eşzamanlı istek işlemesini sağlamaktır. Çok aktif dönemlerde otomatik ölçekleme ile serving replicas sayısının artırılması da burada devreye girer.

Ölçekleme ve Topoloji

Çıkarım kümesinde iki tür ölçekleme söz konusudur:

1. Tek model, çok GPU (tensor parallel): Model tek GPU’ya sığmadığında ağırlıklar birden çok GPU’ya bölünür. GPU’lar arası iletişim kısa olduğundan NVLink/Bandwidth çok önemlidir. 2–4 GPU’luk tensor parallel grupları gecikme açısından idealdir.
2. Çok replica, yük dengeleme: Model başına birden çok serving replica bağımsız çalışır; istekler bir load balancer üzerinden dağıtılır. Bu model, kapasiteyi yatay olarak büyütmek için en pratik yoldur.

İki yaklaşım sıklıkla birleştirilir: her replica içinde küçük tensor parallel, replica’lar arasında yük dengeleme.

Kubernetes ve Otomatik Ölçekleme

Çıkarım iş yükleri sabit değildir; EOD veya kampanya dönemlerinde talepler katlanabilir. Bu nedenle Kubernetes üzerinde LLM serving günümüzde standart çözüm olarak kabul edilir. HPA ve custom metrics (örneğin GPU doluluk oranı) ile replica sayısı otomatik olarak ayarlanır.

Mevasis’in konteyner ve çoklu küme deneyimi bu noktada devreye girer. Kubernetes Teknik Rehberi ve HPC İş Zamanlayıcısı Teknik Rehberi yazılarımızda bu ortamların üretimde nasıl yapılandırıldığını anlattık.

Maliyet ve Kiralama Seçeneği

Çıkarım altyapısı kurarken en çok karşılaşılan hata, modele gerektiğinden büyük GPU parkı tahsis etmektedir. Talebin değişken olduğu durumlarda GPU kiralama, sabit yatırım yapmadan ölçeklenmek için etkili bir stratejidir. GPU Saat Kiralama sayfamızda anlık kapasite erişimi, HPC Küme Kiralama Rehberi yazımızda ise uzun vadeli kiralama modellerini inceleyebilirsiniz.

Sonuç

Üretimde LLM çıkarımı, eğitimden farklı bir donanım ve yazılım disiplini gerektirir. Cevap aranması gereken kilit sorular şunlardır:

1. Model hangi boyutta ve kaç parametre? Tek GPU’ya sığıyor mu?
2. Gecikme mi verim mi öncelikli? Bu, GPU ve serving teknolojisini belirler.
3. Talep ne kadar değişken? Sabit park mı, kiralama mı?
4. Replica’lar hangi ortamda ölçeklenecek? Kubernetes mi?

Doğru GPU, doğru serving katmanı ve doğru ölçekleme stratejisini bir araya getiren bir inference altyapısı; hem gecikme hem maliyet açısından optimum sonucu verir.

Mevasis olarak AI inference ve HPC altyapısı tasarımı konusunda size destek olmaktan memnuniyet duyarız. İletişim için formu doldurun.