Yapay Zeka Sunucu Türkiye

Yapay Zeka için Hangi Sunucuyu Seçmeliyim?

Yapay zeka iş yükleri büyük ölçüde GPU'ya ihtiyaç duyar. CPU'da çalışan bir model GPU'da 50-100 kat hızlanır. Büyükweb iki tip GPU çözümü sunar: GPU VDS(NVIDIA GRID sanallaştırılmış GPU) ve Fiziksel GPU Sunucu(AMD Ryzen APU). Her iki çözüm farklı kullanım senaryolarına hitap eder.

İş Yüküne Göre Karar Tablosu

Yaygın Yapay Zeka Kullanım Senaryoları

VRAM Gereksinimi Tahminleri

• Stable Diffusion 1.5: 4-6 GB VRAM (512×512 inference)
• SDXL / FLUX: 8-12 GB VRAM (1024×1024 inference)
• LLM 7B FP16: ~14 GB; INT8: ~7 GB; INT4 (GGUF): ~4 GB
• LLM 13B FP16: ~26 GB; INT4 (GGUF): ~7-8 GB
• Whisper Large: ~3 GB VRAM
• YOLOv8 inference: 2-4 GB VRAM

Türkiye Lokasyonunun AI için Avantajı

KVKK Uyumu: AI uygulamalarının çoğu kişisel veri (fotoğraf, ses, metin) işler. Verilerin yurt içinde tutulması KVKK 9. madde ile uyumludur. Yurt dışı büyük bulut sağlayıcılarında çalışan modellerde transfer veri akışı gerekçesiyle ek hukuki süreçler gerekebilir.

Düşük Gecikme: Türk kullanıcılara hizmet veren chatbot ve AI asistan'larda 50ms gecikme UX'i ciddi etkiler. İstanbul lokasyonu Türkiye için 1-5ms gecikme sunar; ABD lokasyonlu sunucularla 100-150ms farkı.

Hızlı Kurulum Komutları

# 1. NVIDIA driver durumu
nvidia-smi

# 2. Conda kur
wget https://repo.anaconda.com/archive/Anaconda3-latest-Linux-x86_64.sh
bash Anaconda3-latest-Linux-x86_64.sh

# 3. PyTorch + CUDA
conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia

# 4. Test
python -c "import torch; print(torch.cuda.is_available())"

# 5. Stable Diffusion (AUTOMATIC1111)
git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
cd stable-diffusion-webui && ./webui.sh --listen

# Veya Ollama (LLM)
curl -fsSL https://ollama.com/install.sh | sh
ollama run llama3.1

Model Optimizasyon Teknikleri: Quantization ve LoRA

Büyük modelleri sınırlı VRAM'e sahip bir GPU VDS üzerinde çalıştırmanın veya eğitmenin en etkili iki yolu quantization (nicemleme) ve LoRA/QLoRA tabanlı fine-tuning'dir. İkisi de aynı donanımdan çok daha fazla verim almanızı sağlar.

Quantization, model ağırlıklarının hassasiyetini (precision) düşürerek bellek ihtiyacını azaltır. Varsayılan FP16 formatındaki bir model INT8'e (8-bit tam sayı) nicemlendiğinde VRAM ihtiyacı yaklaşık yarıya, INT4'e (4-bit, genelde GGUF dosya formatında dağıtılır) nicemlendiğinde ise dörtte birine kadar iner. Yukarıdaki VRAM tablosunda bunu somut olarak görebilirsiniz: 7B parametreli bir LLM FP16'da ~14 GB VRAM isterken, INT8'de ~7 GB'a, INT4/GGUF'ta ~4 GB'a düşer; 13B model FP16'da ~26 GB isterken INT4/GGUF'ta ~7-8 GB'a kadar iner.

LoRA ve QLoRA ile Fine-Tuning

Tam fine-tuning (full fine-tuning), bir modelin tüm parametrelerini ve optimizer durumlarını günceller; bu da modelin kendisinden kat kat fazla VRAM gerektirir ve büyük modellerde pratik değildir. LoRA (Low-Rank Adaptation) bunun yerine temel model ağırlıklarını dondurup yalnızca küçük "rank-decomposition" matrislerini eğitir — bu matrisler orijinal parametre sayısının genelde yüzde birinden azını oluşturur.

QLoRA bir adım daha ileri gider: temel modeli 4-bit'e quantize edip üzerine LoRA adaptörleri eğitir. Bu kombinasyon sayesinde 7B-13B parametreli bir modeli, tam fine-tuning'in gerektirdiği donanımın çok altında, orta seviye bir GPU VDS üzerinde fine-tune etmek mümkün hale gelir.

• Küçük adapter dosyaları: Eğitilen LoRA ağırlıkları genelde birkaç yüz MB'ı geçmez, taşınması ve versiyonlanması kolaydır.
• Adapter takas: Aynı temel model üzerinde farklı görevler için eğitilmiş birden fazla LoRA adaptörünü ihtiyaca göre değiştirebilirsiniz.
• Daha kısa eğitim süresi: Güncellenen parametre sayısı azaldığından eğitim tam fine-tuning'e göre belirgin şekilde hızlanır.

Hangi Formatı Ne Zaman Seçmelisiniz?

Doğru quantization seviyesi kullanım senaryonuza göre değişir. Sohbet botu, özetleme veya genel asistan görevlerinde Q4_K_M gibi dengeli GGUF formatları hem VRAM tasarrufu hem kabul edilebilir kalite sunar. Hukuki metin analizi, tıbbi özetleme veya kod üretimi gibi hassasiyetin kritik olduğu görevlerde INT8 veya FP16 tercih edilmelidir — VRAM maliyeti daha yüksektir ama çıktı güvenilirliği artar. Stable Diffusion gibi görüntü üretim modellerinde ise mimari farklı olduğundan quantization daha sınırlı fayda sağlar; bu modeller genelde FP16 hassasiyetle çalıştırılır.

Kendi Sunucunda Çalıştırmak mı, API Kullanmak mı?

Bir yapay zeka özelliğini hayata geçirirken iki temel yol vardır: modeli kendi GPU VDS'inizde barındırıp doğrudan çalıştırmak veya üçüncü taraf bulut AI API hizmetlerini istek başına çağırarak kullanmak. Doğru seçim büyük ölçüde kullanım hacminize bağlıdır.

İki modelin maliyet eğrileri farklı eğimlerdedir: API'de toplam maliyet istek hacmiyle doğru orantılı artarken, GPU VDS'te maliyet sabittir. Düşük hacimde API daha ucuzdur; hacim belli bir eşiği aştığında eğriler kesişir ve bu noktadan sonra kendi sunucunuzda çalıştırmak daha ekonomik hale gelir. Sürekli çalışan bir chatbot, arka planda toplu içerik üreten bir pipeline veya günde binlerce isteği karşılayan bir uygulama genelde bu eşiğin üzerindedir.

İki yaklaşımı bir arada kullanmak da mümkündür: düşük öncelikli veya deneysel özellikleri API üzerinden test edip, hacmi kanıtlanmış ve sürekli çalışan iş yüklerini kendi GPU VDS'inize taşıyabilirsiniz. Bu hibrit strateji hem esneklik hem de maliyet kontrolü sağlar.

Karar Kontrol Listesi

• Kullanım hacmi sürekli/yüksek mi? Günlük binlerce istek varsa GPU VDS'in sabit maliyeti API'nin değişken maliyetinden daha avantajlı olur.
• Özel fine-tune edilmiş model mi kullanıyorsunuz? Kendi LoRA adaptörünüz varsa bunu çalıştırabileceğiniz tek yer kendi sunucunuzdur.
• Veri hassasiyeti yüksek mi? Müşteri görüntüsü, ses kaydı veya özel nitelikli veri işleniyorsa kendi sunucunuz veri akışını basitleştirir.
• Proje henüz doğrulanma aşamasında mı? MVP/prototip için API ile hızlı başlayıp hacim netleştikçe GPU VDS'e geçmek daha az risklidir.

Veri Gizliliği ve KVKK Uyumlu AI

Yapay zeka uygulamalarının büyük çoğunluğu kişisel veri işler: bir chatbot kullanıcı mesajlarını, bir görüntü işleme servisi fotoğrafları, bir ses asistanı ses kayıtlarını modele girdi olarak gönderir. Bu veri akışının nereye gittiği, KVKK açısından sadece "nerede barındığınız" sorusundan ibaret değildir; veri sorumlusu olarak birkaç ayrı yükümlülüğünüz daha vardır.

Madde 9: Yurt Dışına Aktarım

KVKK madde 9, kişisel verinin yurt dışına aktarılmasını açık rıza veya Kurul'un belirlediği istisnai şartlara (yeterli korumaya sahip ülke, yazılı taahhüt vb.) bağlar. Yapay zeka isteğinizi yurt dışında barınan bir API'ye gönderdiğinizde, isteğin içeriğindeki kişisel veri de fiilen yurt dışına aktarılmış olur ve bu yükümlülükler devreye girer. GPU VDS'iniz İstanbul Tier III sertifikalı DataCasa veri merkezinde barındığı ve modeli kendi sunucunuzda çalıştırdığınız için veri sınır ötesine hiç çıkmaz; madde 9 kapsamındaki aktarım yükümlülüğü bu senaryoda oluşmaz.

Aydınlatma Metni ve Açık Rıza

Veri sınır içinde kalsa da veri sorumlusu sıfatınız değişmez. KVKK madde 10 uyarınca kullanıcılara hangi verinin (metin, ses, görüntü), hangi amaçla (örn. öneri üretme, otomatik yanıt) işlendiğini açıklayan bir aydınlatma metni sunmanız gerekir. Ses kaydından duygu analizi, kamera görüntüsünden yüz tanıma gibi özel nitelikli kişisel veri işleyen uygulamalarda ise KVKK madde 6 gereği ayrıca açık rıza alınması zorunludur.

Veri İşleme Envanteri ve VERBİS

Belirli ölçeğin üzerinde veri işleyen şirketlerin Veri Sorumluları Sicil Bilgi Sistemi'ne (VERBİS) kayıt olması ve veri işleme envanterinde yeni eklenen AI işleme faaliyetlerini (hangi veri kategorisi, hangi amaçla, ne kadar süre saklandığı) güncel tutması gerekir. Kendi sunucunuzda çalışan bir model için bu envanteri hazırlamak, üçüncü taraf bir API'nin iç işleyişini belgelemeye çalışmaktan çok daha nettir; çünkü veri akışının tamamı sizin kontrolünüzdedir.

Veri İşleyen Sözleşmesi

Üçüncü taraf bir AI API kullandığınızda, o sağlayıcı KVKK anlamında "veri işleyen" konumuna geçer ve aranızda bu ilişkiyi düzenleyen bir sözleşme/madde bulunması gerekir; ayrıca sağlayıcının kendi güvenlik önlemlerini de üstlenmiş olursunuz. Modeli kendi GPU VDS'inizde çalıştırdığınızda bu zincir kısalır: veri sorumlusu ve veri işleyen aynı kontrol altındaki altyapıdır, ek sözleşme yönetimi yükü ortadan kalkar. Ayrıca silme talepleri (unutulma hakkı) gibi ilgili kişi haklarını doğrudan kendi loglarınız ve veritabanınız üzerinde uygulayabilirsiniz.

Veri İhlali Bildirimi

KVKK madde 12 gereği, işlediğiniz kişisel verilerin yetkisiz kişilerce ele geçirildiğini öğrendiğiniz andan itibaren en geç 72 saat içinde Kişisel Verileri Koruma Kurulu'na bildirim yapmanız, etkilenen kişileri de en kısa sürede uygun yöntemlerle bilgilendirmeniz gerekir. Yapay zeka uygulamanız kendi GPU VDS'inizde çalıştığında hangi verinin, hangi zaman aralığında, hangi bileşende işlendiğini kendi loglarınızdan net şekilde tespit edebilir; bu da olası bir ihlal durumunda bildirim sürecini hızlandırır ve kapsamı doğru belirlemenizi sağlar.

Tek GPU'dan Çoklu GPU'ya Ölçeklendirme

Çoğu yapay zeka projesi tek bir GPU VDS ile başlar: prototip geliştirilir, model test edilir, ilk kullanıcılara açılır. Trafik büyüdükçe hangi aşamada ve nasıl ölçeklendirme yapılacağını bilmek, hem performansı korur hem gereksiz maliyeti önler.

Ölçeklendirme Sinyalleri

• İstek kuyruğu sürekli büyüyor, yanıt süresi (latency) kullanıcı deneyimini bozacak seviyeye çıkıyor
• GPU kullanım oranı gün içinde sürekli yüksek seyrediyor, boşta kalma anı neredeyse yok
• Eşzamanlı kullanıcı/istek sayısı mevcut paketin pratik kapasitesini aşıyor

Bu sinyalleri gözle takip etmek yerine sistematik izlemek daha güvenilirdir. GPU kullanım oranı, VRAM doluluğu, ortalama yanıt süresi ve istek kuyruğu derinliği gibi metrikleri Prometheus + Grafana gibi açık kaynak izleme araçlarıyla panel haline getirip eşik değerler için uyarı (alert) kurmak, kapasite sorununu kullanıcılar fark etmeden önce görmenizi sağlar. nvidia-smi çıktısı da script ile periyodik olarak toplanıp bu panele beslenebilir.

Önce Dikey, Sonra Yatay Ölçeklendirme

İlk adım genelde dikey ölçeklendirmedir: daha yüksek CPU/RAM/VRAM kapasiteli bir üst GPU VDS paketine geçmek. Tek sunucu kapasitesi yetmemeye başladığında yatay ölçeklendirmeye geçilir — birden fazla GPU VDS paralel çalıştırılır ve gelen istekler bir load balancer (Nginx, HAProxy) ile bu sunuculara dağıtılır. Bu, "data parallelism" mantığına benzer: model her sunucuda aynı şekilde kopyalanır, farklı istekler paralel işlenir.

Tek bir GPU üzerinde verimi artırmanın bir başka yolu batch inferencedir: gelen birden fazla isteği tek seferde GPU'ya vererek donanımı daha verimli kullanmak. vLLM gibi inference sunucuları "continuous batching" tekniğiyle bunu otomatik yapar ve aynı donanımdan çok daha yüksek throughput (saniyede işlenen istek sayısı) elde edilmesini sağlar.

Model Parallelism ve Fiziksel GPU Sunucuya Geçiş

Yukarıdaki teknikler modelin tek bir GPU'ya sığdığı senaryolar içindir. 70B+ parametreli çok büyük bir modelin kendisi tek GPU'nun VRAM'ine sığmıyorsa, model katmanları birden fazla GPU'ya bölünerek çalıştırılır — buna model parallelism denir. Bu senaryo, GPU VDS'in paylaşımlı vGPU mimarisinin ötesine geçer ve tam VRAM erişimi sunan Fiziksel GPU Sunucu gerektirir. Benzer şekilde çoklu GPU ile paralel model eğitimi (multi-GPU training) de fiziksel sunucu altyapısı ister.

Ölçeklendirme kararını verirken tek bir metriğe değil, birkaç göstergenin birlikte değerlendirilmesine dikkat edin. Örneğin GPU kullanım oranı yüksek ama yanıt süreniz hâlâ kabul edilebilir seviyedeyse, önce batch boyutunu ve continuous batching ayarlarını optimize ederek mevcut donanımdan daha fazla verim alabilirsiniz; donanım yükseltmesi ancak yazılım seviyesindeki optimizasyonlar tükendiğinde gerçek anlamda gerekli hale gelir. Bu sıralama — önce optimize et, sonra büyüt — hem maliyeti kontrol altında tutar hem de gereksiz altyapı karmaşıklığından kaçınmanızı sağlar.

Özetle: prototipten üretime GPU VDS ile başlayın, trafik büyüdükçe paket yükseltin veya yatay ölçeklendirin; model boyutu veya paralel eğitim ihtiyacı tek GPU'nun sınırlarını aştığında Fiziksel GPU Sunucu'ya geçin.

Yapay Zeka Sunucu Hakkında Sıkça Sorulan Sorular

GPU VDS, quantization, LoRA fine-tuning ve KVKK uyumu hakkında en çok sorulan sorular.