Yapay zekâ

Yerel yapay zekâ nedir, şirkette nasıl kurulur?

Yayın
Güncelleme
5 dk okuma
5 dk okuma

Kısa cevap

Yerel yapay zekâ, dil modelinin şirketin kendi sunucusunda ya da kontrolündeki bir ortamda çalışması ve verinin bu ortamdan çıkmamasıdır. Fiyat listesi, teknik çizim ya da müşteri verisi gibi bilgileri yurt dışındaki bir servise göndermeden yapay zekâ kullanmayı sağlar. KVKK'nın Kasım 2025 rehberi, yurt dışında yerleşik bir üretken yapay zekâ hizmeti kullanmanın yurt dışına aktarım hükümlerini gündeme getirdiğini hatırlatıyor. Kurulum üç işten oluşur: doğru modeli seçmek, donanımı boyutlandırmak ve erişimi yönetmek.

Öne çıkanlar

  • Yerel kurulumda belge, soru ve cevap şirketin ağında kalır.
  • Yurt dışındaki bir yapay zekâ servisine kişisel veri göndermek KVKK md. 9 kapsamında yurt dışına aktarımdır.
  • Açık ağırlıklı modeller (Llama, Qwen, Mistral, Gemma gibi) kendi donanımınızda çalıştırılabilir.
  • Her işe en büyük model gerekmez: belge sınıflandırma ve özetleme çoğu zaman orta boy modelle yapılır.
İçindekiler
  1. Yerel yapay zekâ nedir?
  2. Bulut modellerle farkı ne?
  3. KVKK açısından ne değişiyor?
  4. Hangi donanım gerekir?
  5. Kurulum adım adım nasıl yapılır?
  6. Hibrit yapı: belgeler içeride, hesap seçimli
  7. Sık sorulan sorular
  8. Kaynaklar

Yerel yapay zekâ nedir?

Yerel (on-premise) yapay zekâ, bir dil modelinin ağırlıklarının şirketin kendi donanımına indirilip orada çalıştırılmasıdır. Soru, belge ve cevap şirketin ağından çıkmaz. Kurulum genelde üç katmandan oluşur:

  • Model: ağırlıkları açık yayımlanmış bir dil modeli. Lisansı ticari kullanıma izin veren modeller seçilir.
  • Çalıştırma katmanı: modeli sunucuda çalıştıran yazılım. Ollama küçük ekipler ve denemeler için kolay bir başlangıçtır, vLLM gibi araçlar çok kullanıcılı yük için tasarlanmıştır.
  • Belge arama (RAG): şirket belgelerinin dizine eklenmesi ve modelin cevap verirken ilgili belgeyi bulup kaynağıyla göstermesi.

Bulut modellerle farkı ne?

Bulut API ile yerel model
ÖlçütBulut APIYerel model
Verinin yeriSağlayıcının sunucusu, çoğu zaman yurt dışıŞirketin ağı
Başlama süresiDakikalarDonanım ve kurulumla birkaç hafta
Model gücüEn güçlü modeller genelde buluttaBirçok iş için yeterli, en zor işlerde geride kalabilir
Maliyet yapısıKullanım başına ödemeDonanım yatırımı ve bakım
BağımlılıkSağlayıcının fiyat ve kural değişikliklerine açıkModel ve sürüm kontrolü sizde
İnternetGerekirİzole ağda da çalışabilir

Bu iki yol birlikte de kullanılabilir. Birçok şirket hassas belgeleri yerel modelle işler, kişisel veri içermeyen genel işler için bulut modeli kullanır. Hangi verinin nereye gidebileceğini önceden yazılı bir kurala bağlamak gerekir.

KVKK açısından ne değişiyor?

Kişisel Verileri Koruma Kurumu, 24 Kasım 2025'te Üretken Yapay Zekâ ve Kişisel Verilerin Korunması Rehberi'ni yayımladı. Rehberin öne çıkan noktaları:

  • Yapay zekânın yaşam döngüsünün herhangi bir aşamasında kişisel veri işleniyorsa 6698 sayılı Kanun uygulanır.
  • Eğitim, çalıştırma ve çıktı üretme gibi her işleme faaliyeti için Kanun'daki işleme şartlarından birine dayanmak gerekir.
  • Yurt dışında yerleşik bir sağlayıcının üretken yapay zekâ hizmetini kullanmak, yurt dışına veri aktarımı hükümlerini gündeme getirir.

Yurt dışı aktarımı düzenleyen KVKK md. 9, 2024'te 7499 sayılı Kanun'la değişti. Düzenli aktarım artık yeterlilik kararına ya da uygun güvencelere dayanıyor. Uygun güvencelerden en yaygını Kurul'un belirlediği standart sözleşmedir ve imzalandıktan sonra beş iş günü içinde Kurum'a bildirilmesi gerekir.

Hangi donanım gerekir?

Donanımı belirleyen üç şey var: modelin boyutu, aynı anda kaç kişinin kullanacağı ve cevabın ne hızda gelmesi gerektiği.

  • GPU belleği: modelin sığması gereken yer. Kaba bir kural olarak 4 bit nicemlemede (quantization) her bir milyar parametre yaklaşık yarım GB bellek ister, üstüne çalışma payı eklenir.
  • Model boyutu: 7-14 milyar parametreli modeller sınıflandırma, özetleme ve belge arama için çoğu zaman yeterlidir. Daha büyük modeller uzun ve karmaşık metinlerde daha iyi sonuç verir ama donanım ihtiyacını katlar.
  • Eşzamanlı kullanım: tek kişilik deneme ile yirmi kişilik ekip aynı sunucuya sığmaz. Kullanıcı sayısı arttıkça bellek ve işlem gücü artar.
  • İşlemciyle çalıştırma: küçük modeller GPU olmadan da çalışır, ama yavaştır. Toplu, gece çalışan işler için uygun olabilir.

Doğru boyutu bulmanın en güvenilir yolu, gerçek belgelerinizle iki üç modeli denemek ve kaliteyi ölçmektir. Kâğıt üzerindeki karşılaştırmalar sizin işinizdeki başarıyı göstermez.

Kurulum adım adım nasıl yapılır?

  1. Kullanım senaryosunu ve veri sınıfını yazın

    Hangi iş, hangi belgelerle, kimler tarafından yapılacak? Belgelerde kişisel veri, ticari sır ya da yalnızca genel bilgi var mı?

  2. Modeli gerçek belgelerle seçin

    Lisansı uygun iki üç modeli kendi örneklerinizle deneyin, doğruluğu ve hızı ölçün.

  3. Donanımı boyutlandırın

    Seçilen model, kullanıcı sayısı ve beklenen yanıt süresine göre sunucuyu belirleyin.

  4. Çalıştırma katmanını kurun ve erişimi kapatın

    Model sunucusunu yalnızca iç ağdan erişilebilir yapın, kimlik doğrulama ekleyin.

  5. Belge aramayı yetkiyle birlikte kurun

    Model, kullanıcının zaten görmeye yetkili olduğu belgeleri bulabilmeli. Muhasebe dosyası satış ekibine cevap olarak dönmemeli.

  6. Kayıt, izleme ve güncelleme planı yapın

    Kim ne sordu, hangi belge kullanıldı kaydedilsin. Model ve yazılım güncellemeleri önce deneme ortamında yapılsın.

Hibrit yapı: belgeler içeride, hesap seçimli

Her şeyi içeride çalıştırmak her zaman gerekmez. Pratik bir ara çözüm iki düzlemi ayırmaktır. Belgeler, dizin ve denetim kaydı her koşulda binada kalır. Yalnızca modelin hesaplama isteği, şirketin önceden onayladığı durumlarda ve seçtiği bir sağlayıcıya gider. Bu durumda bina dışına çıkan istek KVKK anlamında yurt dışına aktarım sayılabilir ve sözleşme ile kayıt altına alınmalıdır.

Bu yapıyı ayrıntılı olarak yerinde kurulum sayfamızda anlattık. Ajanların bu ortamda nasıl çalıştığını yapay zekâ ajanı rehberimizde bulabilirsiniz.

Sık sorulan sorular

Yerel model ChatGPT kadar iyi mi?

En güçlü bulut modelleri zor görevlerde genelde öndedir. Belge sınıflandırma, özetleme ve şirket belgelerinde arama gibi işlerde açık modeller çoğu zaman yeterli sonuç verir. Kararı kendi belgelerinizle yapılan bir deneme vermeli.

Ollama nedir?

Ollama, açık ağırlıklı dil modellerini tek komutla indirip bilgisayarda ya da sunucuda çalıştırmaya yarayan bir araçtır. Deneme ve küçük ekipler için kolay bir başlangıçtır. Çok kullanıcılı yükte vLLM gibi sunucu odaklı araçlar tercih edilir.

İnternet olmadan çalışır mı?

Evet. Model ve belgeler aynı ağda olduğu sürece internet bağlantısı gerekmez. Güvenliğin çok kritik olduğu yerlerde dış ağa hiç bağlanmayan izole sunucu kurulabilir.

Yurt dışı aktarım için açık rıza yeterli mi?

2024 değişikliğinden sonra açık rıza yalnızca arızi, yani düzenli olmayan aktarımlarda dayanak olabiliyor. Düzenli aktarım için yeterlilik kararı ya da standart sözleşme gibi uygun güvenceler gerekiyor.

Kaynaklar

Asistanınıza sorun

Yazıyı kendi durumunuza uyarlamak için bir yapay zekâ asistanında açın.

Paylaş

LinkedInXWhatsApp

Bu yazı hakkında

Entrida Teknoloji ve Danışmanlık İstanbul'da KOBİ'lere yapay zekâ, otomasyon ve yazılım kuruyor. Yazıda geçen olgular sondaki kaynaklara dayanır. Bir hata görürseniz info@entrida.com.tr adresine yazın, düzeltip güncelleme tarihini ilerletiriz.

Bu yazı başka dillerde

Okudunuz, şimdi ölçelim.

On beş dakikalık ilk görüşmede sürecinizi dinliyoruz ve hangi işin önce sisteme bağlanacağını birlikte belirliyoruz.