Kısa cevap
Yerel yapay zekâ, dil modelinin şirketin kendi sunucusunda ya da kontrolündeki bir ortamda çalışması ve verinin bu ortamdan çıkmamasıdır. Fiyat listesi, teknik çizim ya da müşteri verisi gibi bilgileri yurt dışındaki bir servise göndermeden yapay zekâ kullanmayı sağlar. KVKK'nın Kasım 2025 rehberi, yurt dışında yerleşik bir üretken yapay zekâ hizmeti kullanmanın yurt dışına aktarım hükümlerini gündeme getirdiğini hatırlatıyor. Kurulum üç işten oluşur: doğru modeli seçmek, donanımı boyutlandırmak ve erişimi yönetmek.
Öne çıkanlar
- Yerel kurulumda belge, soru ve cevap şirketin ağında kalır.
- Yurt dışındaki bir yapay zekâ servisine kişisel veri göndermek KVKK md. 9 kapsamında yurt dışına aktarımdır.
- Açık ağırlıklı modeller (Llama, Qwen, Mistral, Gemma gibi) kendi donanımınızda çalıştırılabilir.
- Her işe en büyük model gerekmez: belge sınıflandırma ve özetleme çoğu zaman orta boy modelle yapılır.
İçindekiler
Yerel yapay zekâ nedir?
Yerel (on-premise) yapay zekâ, bir dil modelinin ağırlıklarının şirketin kendi donanımına indirilip orada çalıştırılmasıdır. Soru, belge ve cevap şirketin ağından çıkmaz. Kurulum genelde üç katmandan oluşur:
- Model: ağırlıkları açık yayımlanmış bir dil modeli. Lisansı ticari kullanıma izin veren modeller seçilir.
- Çalıştırma katmanı: modeli sunucuda çalıştıran yazılım. Ollama küçük ekipler ve denemeler için kolay bir başlangıçtır, vLLM gibi araçlar çok kullanıcılı yük için tasarlanmıştır.
- Belge arama (RAG): şirket belgelerinin dizine eklenmesi ve modelin cevap verirken ilgili belgeyi bulup kaynağıyla göstermesi.
Bulut modellerle farkı ne?
| Ölçüt | Bulut API | Yerel model |
|---|---|---|
| Verinin yeri | Sağlayıcının sunucusu, çoğu zaman yurt dışı | Şirketin ağı |
| Başlama süresi | Dakikalar | Donanım ve kurulumla birkaç hafta |
| Model gücü | En güçlü modeller genelde bulutta | Birçok iş için yeterli, en zor işlerde geride kalabilir |
| Maliyet yapısı | Kullanım başına ödeme | Donanım yatırımı ve bakım |
| Bağımlılık | Sağlayıcının fiyat ve kural değişikliklerine açık | Model ve sürüm kontrolü sizde |
| İnternet | Gerekir | İzole ağda da çalışabilir |
Bu iki yol birlikte de kullanılabilir. Birçok şirket hassas belgeleri yerel modelle işler, kişisel veri içermeyen genel işler için bulut modeli kullanır. Hangi verinin nereye gidebileceğini önceden yazılı bir kurala bağlamak gerekir.
KVKK açısından ne değişiyor?
Kişisel Verileri Koruma Kurumu, 24 Kasım 2025'te Üretken Yapay Zekâ ve Kişisel Verilerin Korunması Rehberi'ni yayımladı. Rehberin öne çıkan noktaları:
- Yapay zekânın yaşam döngüsünün herhangi bir aşamasında kişisel veri işleniyorsa 6698 sayılı Kanun uygulanır.
- Eğitim, çalıştırma ve çıktı üretme gibi her işleme faaliyeti için Kanun'daki işleme şartlarından birine dayanmak gerekir.
- Yurt dışında yerleşik bir sağlayıcının üretken yapay zekâ hizmetini kullanmak, yurt dışına veri aktarımı hükümlerini gündeme getirir.
Yurt dışı aktarımı düzenleyen KVKK md. 9, 2024'te 7499 sayılı Kanun'la değişti. Düzenli aktarım artık yeterlilik kararına ya da uygun güvencelere dayanıyor. Uygun güvencelerden en yaygını Kurul'un belirlediği standart sözleşmedir ve imzalandıktan sonra beş iş günü içinde Kurum'a bildirilmesi gerekir.
Hangi donanım gerekir?
Donanımı belirleyen üç şey var: modelin boyutu, aynı anda kaç kişinin kullanacağı ve cevabın ne hızda gelmesi gerektiği.
- GPU belleği: modelin sığması gereken yer. Kaba bir kural olarak 4 bit nicemlemede (quantization) her bir milyar parametre yaklaşık yarım GB bellek ister, üstüne çalışma payı eklenir.
- Model boyutu: 7-14 milyar parametreli modeller sınıflandırma, özetleme ve belge arama için çoğu zaman yeterlidir. Daha büyük modeller uzun ve karmaşık metinlerde daha iyi sonuç verir ama donanım ihtiyacını katlar.
- Eşzamanlı kullanım: tek kişilik deneme ile yirmi kişilik ekip aynı sunucuya sığmaz. Kullanıcı sayısı arttıkça bellek ve işlem gücü artar.
- İşlemciyle çalıştırma: küçük modeller GPU olmadan da çalışır, ama yavaştır. Toplu, gece çalışan işler için uygun olabilir.
Doğru boyutu bulmanın en güvenilir yolu, gerçek belgelerinizle iki üç modeli denemek ve kaliteyi ölçmektir. Kâğıt üzerindeki karşılaştırmalar sizin işinizdeki başarıyı göstermez.
Kurulum adım adım nasıl yapılır?
Kullanım senaryosunu ve veri sınıfını yazın
Hangi iş, hangi belgelerle, kimler tarafından yapılacak? Belgelerde kişisel veri, ticari sır ya da yalnızca genel bilgi var mı?
Modeli gerçek belgelerle seçin
Lisansı uygun iki üç modeli kendi örneklerinizle deneyin, doğruluğu ve hızı ölçün.
Donanımı boyutlandırın
Seçilen model, kullanıcı sayısı ve beklenen yanıt süresine göre sunucuyu belirleyin.
Çalıştırma katmanını kurun ve erişimi kapatın
Model sunucusunu yalnızca iç ağdan erişilebilir yapın, kimlik doğrulama ekleyin.
Belge aramayı yetkiyle birlikte kurun
Model, kullanıcının zaten görmeye yetkili olduğu belgeleri bulabilmeli. Muhasebe dosyası satış ekibine cevap olarak dönmemeli.
Kayıt, izleme ve güncelleme planı yapın
Kim ne sordu, hangi belge kullanıldı kaydedilsin. Model ve yazılım güncellemeleri önce deneme ortamında yapılsın.
Hibrit yapı: belgeler içeride, hesap seçimli
Her şeyi içeride çalıştırmak her zaman gerekmez. Pratik bir ara çözüm iki düzlemi ayırmaktır. Belgeler, dizin ve denetim kaydı her koşulda binada kalır. Yalnızca modelin hesaplama isteği, şirketin önceden onayladığı durumlarda ve seçtiği bir sağlayıcıya gider. Bu durumda bina dışına çıkan istek KVKK anlamında yurt dışına aktarım sayılabilir ve sözleşme ile kayıt altına alınmalıdır.
Bu yapıyı ayrıntılı olarak yerinde kurulum sayfamızda anlattık. Ajanların bu ortamda nasıl çalıştığını yapay zekâ ajanı rehberimizde bulabilirsiniz.
Sık sorulan sorular
Yerel model ChatGPT kadar iyi mi?
En güçlü bulut modelleri zor görevlerde genelde öndedir. Belge sınıflandırma, özetleme ve şirket belgelerinde arama gibi işlerde açık modeller çoğu zaman yeterli sonuç verir. Kararı kendi belgelerinizle yapılan bir deneme vermeli.
Ollama nedir?
Ollama, açık ağırlıklı dil modellerini tek komutla indirip bilgisayarda ya da sunucuda çalıştırmaya yarayan bir araçtır. Deneme ve küçük ekipler için kolay bir başlangıçtır. Çok kullanıcılı yükte vLLM gibi sunucu odaklı araçlar tercih edilir.
İnternet olmadan çalışır mı?
Evet. Model ve belgeler aynı ağda olduğu sürece internet bağlantısı gerekmez. Güvenliğin çok kritik olduğu yerlerde dış ağa hiç bağlanmayan izole sunucu kurulabilir.
Yurt dışı aktarım için açık rıza yeterli mi?
2024 değişikliğinden sonra açık rıza yalnızca arızi, yani düzenli olmayan aktarımlarda dayanak olabiliyor. Düzenli aktarım için yeterlilik kararı ya da standart sözleşme gibi uygun güvenceler gerekiyor.
Kaynaklar
- Üretken Yapay Zekâ ve Kişisel Verilerin Korunması Rehberi (15 Soruda)Kişisel Verileri Koruma Kurumu · 24 Kasım 2025
- Standart Sözleşme Bildirim Modülü Hakkında Kamuoyu DuyurusuKişisel Verileri Koruma Kurumu
- Standart Sözleşmeler ve Bağlayıcı Şirket Kurallarına İlişkin Dokümanlar Hakkında Kamuoyu DuyurusuKişisel Verileri Koruma Kurumu
- OllamaOllama
- vLLM documentationvLLM
Asistanınıza sorun
Yazıyı kendi durumunuza uyarlamak için bir yapay zekâ asistanında açın.
Bu yazı hakkında
Entrida Teknoloji ve Danışmanlık İstanbul'da KOBİ'lere yapay zekâ, otomasyon ve yazılım kuruyor. Yazıda geçen olgular sondaki kaynaklara dayanır. Bir hata görürseniz info@entrida.com.tr adresine yazın, düzeltip güncelleme tarihini ilerletiriz.
Bu yazı başka dillerde