GPU altyapısı seçilirken yalnızca “kaç tane GPU var?” sorusu yetmez. Özellikle yapay zekâ eğitim ve inference senaryolarında VRAM kapasitesi, işin yapılıp yapılamayacağını belirleyen temel kaynaktır.
VRAM ne işe yarar?
VRAM, model ağırlıklarının, ara tensörlerin ve batch verilerinin tutulduğu bellek alanıdır. Model büyüdükçe veya eşzamanlı istek arttıkça VRAM ihtiyacı artar. Yetersiz VRAM; işin hiç başlamaması, sürekli bellek taşması veya kabul edilemez yavaşlama anlamına gelebilir.
Eğitim vs inference
Eğitim genelde daha yüksek bellek ve süre ister. Inference ise gecikme ve eşzamanlılık odaklıdır. Aynı GPU kartı bile farklı iş yüklerinde farklı VRAM profili üretir. Bu nedenle “AI için GPU” demek yerine senaryoyu netleştirmek gerekir.
Seçim checklist’i
- Model boyutu ve framework ihtiyacı
- Eşzamanlı kullanıcı / istek hedefi
- Depolama ve veri hazırlık hattı
- Ağ gecikmesi (özellikle Türkiye lokasyonlu erişim)
- İzleme, maliyet ve büyüme planı
TRE Teknoloji GPU Cloud
Kahramanmaraş veri merkezimizde GPU kaynaklı altyapıyı kurumsal iş yüklerine göre planlarız. Amaç spekülasyonla kart satmak değil; VRAM ve hesaplama ihtiyacını gerçekçi boyutlamaktır. PoC sonrası üretim mimarisine geçiş, sürdürülebilirliğin anahtarıdır.