Yapay Zeka Sunucu Türkiye

Yapay Zeka için Hangi Sunucuyu Seçmeliyim?

Sunucu seçimi modelin bellek ihtiyacına ve kullandığı yazılıma bağlıdır. GPU VDSsanallaştırılmış NVIDIA GRID grafik birimi sunar. GPU SERVER 5ise AMD RX 6700 XT ayrık ekran kartına ve 12 GB VRAM'e sahiptir. GPU SERVER 1–4 paketlerinde AMD Ryzen APU ve 2 GB tümleşik grafik belleği bulunur.

İş Yüküne Göre Karar Tablosu

Yaygın Yapay Zeka Kullanım Senaryoları

Modelin Bellek İhtiyacını Değerlendirin

• Görüntü üretimi: Model ve çözünürlüğe göre değişen VRAM ihtiyacını kontrol edin.
• SDXL / FLUX: GPU VDS'in 1 GB sınırını aşan kurulumlar için ayrık kart gereksinimini inceleyin.
• LLM 7B: Kullanılan format bellek ihtiyacını değiştirir; 1 GB sınırını esas alın.
• LLM 13B: Nicemleme belleği azaltabilir; sunucunun kapasitesini ve yazılım desteğini kontrol edin.
• Ses işleme: Modelin bellek ihtiyacı ve AMD kart desteği uygulamaya bağlıdır.
• Görüntü işleme: Eğitim ve çıkarım için gereken belleği ayrı ayrı değerlendirin.

Türkiye Lokasyonunun AI için Avantajı

Veri konumu: Fotoğraf, ses ve metin kişisel veri içerebilir. Veriyi Türkiye'deki kendi sunucunuzda işlemek, yurt dışına aktarım ihtiyacını azaltabilir. KVKK kapsamındaki diğer yükümlülükleriniz devam eder.

Yakın konum: İstanbul'da barındırma, Türkiye'deki kullanıcılara yakın bir sunucu konumu sağlar. Gerçek yanıt süresi uygulamanıza ve bağlantıya göre değişir.

Kuruluma Başlarken

• Çalıştıracağınız modelin bellek ihtiyacını, kullanacağınız format ve çözünürlükle birlikte ölçün.
• Kullandığınız kütüphanenin AMD RX 6700 XT desteğini doğrulayın. CUDA gerektiren kurulumlar bu kartta doğrudan çalışmaz; ROCm desteği uygulamaya ve sürüme göre değişir.
• Kararsız kaldığınız noktada gereksinimlerinizi yazın; uygunluğu birlikte değerlendirelim.

Model Optimizasyon Teknikleri: Quantization ve LoRA

Quantization (nicemleme) ve LoRA/QLoRA bellek ihtiyacını azaltmaya yardımcı olur. Ancak bu teknikler, 1 GB VRAM sınırını aşan modelleri GPU VDS'te çalıştırılabilir hale getirmez.

Quantization, model ağırlıklarının hassasiyetini düşürerek bellek ihtiyacını azaltır. FP16, INT8 ve INT4/GGUF formatları farklı bellek ve kalite dengeleri sunar. Kazanım modele ve uygulamaya göre değişir; nicemlenmiş modelin bellek ihtiyacını ayrıca ölçün.

LoRA ve QLoRA ile Fine-Tuning

Tam fine-tuning modelin tüm parametrelerini günceller ve yüksek bellek gerektirebilir. LoRA (Low-Rank Adaptation) ise temel model ağırlıklarını sabit tutup daha küçük adaptörleri eğitir. Bellek ihtiyacı modele ve kurulum ayarlarına bağlıdır.

QLoRA temel modeli 4-bit'e indirip LoRA adaptörleri eğitir. Bu yöntem tam fine-tuning'e göre daha az bellek kullanabilir. Yine de 7B–13B modellerin eğitim gereksinimi GPU VDS'in 1 GB sınırını aşar; sunucu seçimi model ve yazılım desteğine göre yapılmalıdır.

• Adaptör dosyaları: LoRA ağırlıkları temel modelden ayrı tutulabilir.
• Adapter takas: Aynı temel model üzerinde farklı görevler için eğitilmiş birden fazla LoRA adaptörünü ihtiyaca göre değiştirebilirsiniz.
• Eğitim yükü: Daha az parametre güncellenir; süre ve bellek kazanımı kurulumunuza bağlıdır.

Hangi Formatı Ne Zaman Seçmelisiniz?

Doğru quantization seviyesi kullanım senaryonuza göre değişir. Sohbet ve özetleme görevlerinde Q4_K_M gibi GGUF formatlarını deneyebilirsiniz. Hassas görevlerde kaliteyi kendi verinizle ölçün. Daha yüksek hassasiyet daha fazla bellek gerektirebilir. Görüntü üretim modellerinde nicemlemenin etkisi farklıdır; modelin belgelerini kontrol edin.

Kendi Sunucunuzda Çalıştırmak mı, API Kullanmak mı?

Bir yapay zeka özelliği için modeli kendi sunucunuzda barındırabilir veya üçüncü taraf bulut AI API hizmetlerini kullanabilirsiniz. Seçim; modelin gereksinimlerine, kullanım hacmine ve yönetim maliyetine bağlıdır.

API kullanımında ücret genellikle istek hacmiyle artar. Kendi sunucunuzda aylık sunucu ücreti, bakım ve işletim giderleri vardır. Hangi seçeneğin daha uygun olduğunu modelinizin donanım ihtiyacı ve beklenen trafikle hesaplayın.

İki yaklaşımı birlikte kullanabilirsiniz. Bir özelliği API üzerinden deneyip gereksinimler netleştiğinde kendi sunucunuzda çalıştırmayı değerlendirebilirsiniz.

Karar Kontrol Listesi

• Kullanım hacmi sürekli mi? Beklenen istek sayısı ve modelin donanım ihtiyacıyla iki seçeneğin toplam maliyetini karşılaştırın.
• Özel model mi kullanıyorsunuz? Kendi sunucunuzda barındırmadan önce bellek ve yazılım uyumluluğunu kontrol edin.
• Veri hassasiyeti yüksek mi? Müşteri görüntüsü, ses kaydı veya özel nitelikli veri işleniyorsa kendi sunucunuz veri akışını basitleştirir.
• Proje deneme aşamasında mı? API ile başlayıp ihtiyaçlar netleştiğinde kendi sunucunuzu değerlendirebilirsiniz.

Veri Gizliliği ve KVKK Uyumlu AI

Yapay zeka uygulamalarının büyük çoğunluğu kişisel veri işler: bir chatbot kullanıcı mesajlarını, bir görüntü işleme servisi fotoğrafları, bir ses asistanı ses kayıtlarını modele girdi olarak gönderir. Bu veri akışının nereye gittiği, KVKK açısından sadece "nerede barındığınız" sorusundan ibaret değildir; veri sorumlusu olarak birkaç ayrı yükümlülüğünüz daha vardır.

Madde 9: Yurt Dışına Aktarım

KVKK madde 9, kişisel verilerin yurt dışına aktarımını düzenler. Yurt dışında barınan bir API'ye kişisel veri gönderiyorsanız aktarım koşullarını değerlendirmeniz gerekir. Modeli Türkiye'deki kendi sunucunuzda çalıştırmak veri akışı üzerinde daha fazla kontrol sağlayabilir. Kullandığınız diğer hizmetlerin veri aktarımını da ayrıca inceleyin.

Aydınlatma Metni ve Açık Rıza

Veriyi Türkiye'de tutsanız da veri sorumlusu olarak yükümlülükleriniz sürer. İşlediğiniz veriyi ve amacını kullanıcıya açıklayın. Özel nitelikli kişisel veri işliyorsanız ilgili işleme şartlarını ayrıca değerlendirin.

Veri İşleme Envanteri ve VERBİS

VERBİS kayıt yükümlülüğünüzü ve veri işleme envanterinizi kendi koşullarınıza göre değerlendirin. Yapay zeka uygulamasında hangi veriyi, hangi amaçla ve ne kadar süre işlediğinizi belgeleyin. Kendi sunucunuzdaki veri akışını bu envanterde daha doğrudan izleyebilirsiniz.

Veri İşleyen Sözleşmesi

Üçüncü taraf AI API kullanıyorsanız sağlayıcının veri işleme koşullarını ve sözleşmenizi inceleyin. Modeli kendi sunucunuzda çalıştırmak bazı dış hizmetlere bağımlılığı azaltabilir. Sunucu sağlayıcınız ve kullandığınız diğer hizmetler için sorumluluklarınızı yine değerlendirmeniz gerekir. Silme taleplerini kendi kayıtlarınızda da uygulayabilmelisiniz.

Veri İhlali Bildirimi

Bir veri ihlali halinde bildirim yükümlülüklerinizi değerlendirmeniz gerekir. Uygulamanızı kendi sunucunuzda çalıştırıyorsanız erişim ve işlem kayıtlarını tutun. Bu kayıtlar olayın kapsamını belirlemenize yardımcı olabilir.

Tek GPU'dan Çoklu GPU'ya Ölçeklendirme

Ölçeklendirme planı, modelin bellek ihtiyacı ve uygulamanın trafiğiyle başlar. GPU VDS'in 1 GB sanal grafik belleği sınırını aşan bir model için daha büyük GPU VDS paketi çözüm olmaz.

Ölçeklendirme Sinyalleri

• İstek kuyruğu sürekli büyüyor, yanıt süresi (latency) kullanıcı deneyimini bozacak seviyeye çıkıyor
• GPU kullanım oranı gün içinde sürekli yüksek seyrediyor, boşta kalma anı neredeyse yok
• Eşzamanlı kullanıcı/istek sayısı mevcut paketin pratik kapasitesini aşıyor

GPU kullanımı, VRAM doluluğu, yanıt süresi ve istek kuyruğunu düzenli izleyin. Prometheus ve Grafana gibi araçlarla bu ölçümleri bir arada görebilirsiniz. GPU ölçüm aracını kullandığınız karta göre seçin.

Önce Dikey, Sonra Yatay Ölçeklendirme

Dikey ölçeklendirme CPU, RAM veya disk kapasitesini artırabilir. GPU VDS paketleri arasında VRAM değişmez. Modeliniz 1 GB sınırını aşıyorsa GPU SERVER 5'in ayrık kartını ve yazılım uyumluluğunu değerlendirin. Yatay ölçeklendirme ise uyumlu bir uygulamada istekleri birden fazla sunucuya dağıtabilir; tek modelin bellek ihtiyacını azaltmaz.

Uyumlu modellerde toplu çıkarım, birden fazla isteği birlikte işleyerek donanım kullanımını iyileştirebilir. Kullanacağınız çıkarım yazılımının AMD kart ve bellek gereksinimlerini önce kontrol edin.

Model Parallelism ve Fiziksel GPU Sunucuya Geçiş

Tek karta sığmayan modeller için model parallelism gibi yöntemler kullanılabilir. Mevcut GPU SERVER 5'te tek AMD RX 6700 XT kartı ve 12 GB VRAM vardır. Büyük model veya çoklu GPU ihtiyacınız varsa bize yazın; uygun bir paketimiz bulunmayabilir.

Ölçeklendirme kararını verirken tek bir metriğe değil, birkaç göstergenin birlikte değerlendirilmesine dikkat edin. Örneğin GPU kullanım oranı yüksek ama yanıt süreniz hâlâ kabul edilebilir seviyedeyse, önce batch boyutunu ve continuous batching ayarlarını optimize ederek mevcut donanımdan daha fazla verim alabilirsiniz; donanım yükseltmesi ancak yazılım seviyesindeki optimizasyonlar tükendiğinde gerçek anlamda gerekli hale gelir. Bu sıralama — önce optimize et, sonra büyüt — hem maliyeti kontrol altında tutar hem de gereksiz altyapı karmaşıklığından kaçınmanızı sağlar.

Sunucu seçmeden önce modelin VRAM ihtiyacını ve CUDA veya ROCm gereksinimini kontrol edin. Ayrık kart gerektiren işler için GPU SERVER 5'i inceleyin. Uygulamanızın gereksinimlerini birlikte değerlendirebiliriz.

Yapay Zeka Sunucu Hakkında Sıkça Sorulan Sorular

Donanım sınırları, model gereksinimleri ve veri yönetimi hakkında sık sorulan sorular.