Kısa cevap: Lokal AI, bir yapay zeka modelini ChatGPT gibi bulut hizmetinden değil, kendi bilgisayarınızdan ya da sunucunuzdan çalıştırmaktır. Modelin ağırlıkları diskinizde durur, hesaplama sizin işlemcinizde veya ekran kartınızda yapılır. Kazanç: veri gizliliği, abonelik maliyeti olmaması ve çevrimdışı çalışma. Bedel: donanım ihtiyacı ve en büyük bulut modellerine göre daha düşük kapasite. Başlamak için Ollama ya da LM Studio yeter.
Lokal AI tam olarak ne?
Büyük dil modelleri (LLM) iki parçadan oluşur: milyarlarca sayıdan oluşan ağırlıklar ve bu ağırlıkları çalıştıran çıkarım motoru. ChatGPT, Claude ya da Gemini'de ikisi de sağlayıcının veri merkezindedir; siz yalnızca mesaj gönderirsiniz. Lokal AI'da ikisi de sizdedir. Meta'nın Llama, Alibaba'nın Qwen, Google'ın Gemma, Mistral ve DeepSeek gibi "açık ağırlıklı" modeller indirilebilir; llama.cpp, Ollama ve LM Studio gibi motorlar bunları sıradan bilgisayarlarda çalıştırır.
Kritik kavram nicemleme (quantization): model ağırlıkları 16 bitten 4 bite indirilerek dosya boyutu ve bellek ihtiyacı yaklaşık dörtte bire düşer, kalite kaybı çoğu işte fark edilmez. 8 milyar parametreli bir model bu sayede 5 GB civarına iner ve dizüstü bilgisayarda çalışır.
Bulut ile lokal arasındaki fark
| Ölçüt | Bulut (ChatGPT, Claude, Gemini) | Lokal (Ollama, LM Studio) |
|---|---|---|
| Veri nerede | Sağlayıcının sunucusunda işlenir | Bilgisayarınızda kalır |
| Maliyet | Aylık abonelik veya token başı ücret | Donanım ve elektrik; yazılım ücretsiz |
| İnternet | Zorunlu | Yalnızca model indirirken |
| Kapasite | En güçlü modeller | Donanımla sınırlı; orta boy modeller |
| Hız | Sabit ve yüksek | Ekran kartına bağlı |
| Kurulum | Yok | 10-15 dakika |
| Kontrol | Sağlayıcı modeli değiştirebilir | Sürüm sizin elinizde |
Avantajlar
- Gizlilik ve KVKK: Müşteri verisi, sözleşme, sağlık kaydı, öğrenci bilgisi dışarı çıkmaz. Veri işleme sözleşmesi, yurt dışına aktarım izni gibi konular gündeme gelmez.
- Öngörülebilir maliyet: Bin kez de çalıştırın, fatura değişmez. Toplu belge işleme, etiketleme ve sınıflandırma işlerinde fark büyüktür.
- Çevrimdışı çalışma: Atölye, saha, okul laboratuvarı gibi internetin zayıf olduğu yerlerde çalışır.
- Kararlılık: Model bir gece değişmez; test ettiğiniz davranış kalır.
- Öğrenme: Modelin nasıl çalıştığını, parametrelerin (sıcaklık, bağlam uzunluğu) etkisini kendi gözünüzle görürsünüz. STEM eğitimi için eşsiz bir malzeme.
Sınırlar
- Kapasite: 8 milyar parametreli lokal model, yüz milyarlarca parametreli bulut modeliyle aynı akıl yürütmeyi yapamaz. Karmaşık mimari kararlar, uzun çok adımlı görevler bulutta daha iyi.
- Donanım: İyi deneyim için ayrı ekran kartı ya da Apple Silicon Mac gerekir. Eski dizüstünde çalışır ama sabır ister.
- Bakım: Model seçimi, güncelleme, sürücü sorunları sizin işinizdir.
- Türkçe kalitesi: Küçük modellerde Türkçe, İngilizceden zayıftır. Qwen ve Gemma aileleri bu konuda görece iyidir; model seçimi yazısında karşılaştırdık.
Donanım: ne gerekir?
| Donanım | Rahat çalışan model boyutu | Deneyim |
|---|---|---|
| 8 GB RAM, yalnızca CPU | 1-4 milyar parametre | Yavaş ama çalışır; basit işler |
| 16 GB RAM, Apple Silicon (M1-M4) | 7-14 milyar | İyi; günlük kullanım için yeterli |
| Ekran kartı 8 GB VRAM (RTX 3060/4060) | 7-9 milyar | Hızlı |
| Ekran kartı 16-24 GB VRAM | 14-32 milyar | Çok iyi; kod ve uzun belge |
| 32-64 GB birleşik bellek Mac | 30-70 milyar | Bulut modellerine yaklaşan kalite |
Ollama'nın resmî önerisi lokal model için en az 8 GB kullanılabilir VRAM'dir; Mac'te bu birleşik bellek anlamına gelir. VRAM yetmezse sistem RAM'i kullanılır, hız düşer.
Araçlar ve modeller
- Ollama: Terminal odaklı, tek komutla model indirip çalıştırır,
localhost:11434adresinde OpenAI uyumlu API sunar. Geliştiriciler için varsayılan tercih. - LM Studio: Grafik arayüz, Hugging Face'ten model arama, belge yükleyip soru sorma, yerel sunucu. Terminal istemeyenler için.
- Open WebUI: Ollama'nın üstüne ChatGPT benzeri web arayüzü; ekip içinde paylaşılabilir.
- Modeller: Llama, Qwen, Gemma, Mistral, DeepSeek, Phi. Seçim rehberi burada.
Gerçek kullanım örnekleri
- KOBİ: Gelen e-postaları ve destek taleplerini sınıflandırma, teklif metni taslağı, ürün açıklaması üretimi; müşteri verisi dışarı çıkmadan.
- Okul ve atölye: İnternetsiz sınıfta öğrencilere yapay zekanın nasıl çalıştığını göstermek; prompt denemeleri, model karşılaştırmaları.
- Yazılım ekibi: Kod tamamlama ve yorum üretimi için lokal model, zor işler için bulut ajanı (Claude Code gibi). Hibrit kullanım en yaygın olanı.
- Maker: 3D baskı parametre önerisi, G-code açıklaması, Arduino kodu taslağı; hepsi kendi bilgisayarında.
Kurumsal bir lokal AI altyapısı (sunucu, model seçimi, iç ağda API) kurmak isteyenler için ROBOTEM'in Yapay Zekâ ve Lokal AI Altyapısı hizmeti bu adımları birlikte planlar.
Sık Sorulan Sorular
Lokal AI için güçlü ekran kartı şart mı?
Şart değil ama hızı belirler. 7-8 milyar parametreli bir model 8 GB VRAM ya da Apple Silicon Mac'te 16 GB birleşik bellekle rahat çalışır. Yalnızca CPU ile de çalışır, ancak yanıtlar yavaşlar.
Lokal modeller ChatGPT kadar iyi mi?
Küçük lokal modeller en büyük bulut modellerinin gerisindedir. Özetleme, sınıflandırma, basit kod yardımı ve belge üzerinde soru-cevap gibi işlerde yeterli; en zor akıl yürütme işlerinde bulut hâlâ öndedir.
Lokal AI gerçekten ücretsiz mi?
Yazılım (Ollama, LM Studio, açık ağırlıklı modeller) ücretsizdir. Maliyet donanım ve elektriktir. Zaten uygun bir bilgisayarınız varsa ek ücret yoktur.
Verilerim gerçekten dışarı çıkmıyor mu?
Model yerelde çalıştığında istem ve yanıtlar bilgisayarınızda kalır. Yalnızca model dosyasını indirirken internet kullanılır. Bulut hibrit özelliklerini (örneğin Ollama cloud modelleri) açmazsanız dışarı veri gitmez.
Hangi araçla başlamalıyım?
Terminalden rahatsanız Ollama, grafik arayüz istiyorsanız LM Studio. İkisi de ücretsizdir ve OpenAI uyumlu yerel API sunar; ikisini aynı bilgisayarda kullanabilirsiniz.
