İpleri Nasıl Elden Bırakmayız?

Bir zamanlar zanaatkârın aleti kendisinindi. Tezgâh onundu, kalıbı onundu. Sanayi çağı bu bağı gevşetti, aletin sahibi ile kullananı ayrıldı. Yazılım çağı ise işi bir adım öteye taşıdı, artık aleti kiralıyoruz. Yapay zeka da tam bu düzenin içine doğdu.
Ama kiracının değişmeyen bir zaafı vardır. Kapının kilidi onda değildir.
Son iki yılda bunun örneklerini fazlasıyla gördük. Modeller kullanımdan kaldırıldı, alıştığımız sürümler bir sabah kayboldu, sabit ücretli üyelikler kullanım başına ödemeye çevrildi, hükümet talimatıyla modeller erişime kapatıldı. Fişin çekilmesi için sağlayıcının kötü niyetli olması da gerekmiyor; bir kararname, bir maliyet tablosu ya da bir strateji değişikliği yeterli. Ama kullanıcılar için az konuşulan bir alternatifi var. Açık kaynaklı modeller.
Bugün indirip kendi cihazımızda çalıştırabileceğimiz modeller, iki yıl önce en gelişmiş modellerin yapabildikleri şeyleri yapabiliyor. Alibaba’nın Qwen ailesi, Google’ın Gemma 4 serisi, DeepSeek ve GLM serileri Apache 2.0 ve MIT gibi kullanıcılara geniş imkanlar tanıyan lisanslarla yayımlanıyor. Yani indirilebiliyor, değiştirilebiliyor, ticari olarak kullanılabiliyor ve en önemlisi kimsenin iznine tabi olmadan saklanabiliyor.
Elbette her donanım her modeli kaldırmıyor. Burada iki eşikten söz etmek gerekiyor. Giriş seviyesi, 6-8 GB ekran kartı hafızası (VRAM) ve 16-32 GB sistem hafızası olan bir bilgisayar. Bu sınıf, 4 bit sıkıştırılmış 7-9 milyar parametrelik modellerin dünyası. Qwen3.5 9B bu boyutta 32 bin token bağlamla (aşağı yukarı 24 bin kelime) yaklaşık 7 GB’a sığıyor. Yoğun modellerde kural katı: model tamamen ekran kartına sığmalı. Sistem hafızasına taşan bir model saniyede 45 tokendan 1-2 tokena düşebiliyor, yani otuz kat yavaşlıyor. Bu basamakta yazma, özetleme, çeviri ve belge sorgulama gayet iyi çalışıyor. Uzun soluklu, çok adımlı ajan işleri ise bu boyutun tavanına çarpıyor.
Kişi veya küçük bir şirketin gerçekçi bir şekilde sahip olabileceği donanım ise, VRAM’i artırılmış bir RTX 5090 ve 64-96 GB sistem hafızası. Burada 27-31 milyar parametrelik yoğun modeller rahatça çalışıyor: Gemma 4 31B, Q6 sıkıştırmayla yaklaşık 25 GB tutuyor. Llama 4 Scout’un 109 milyar parametrelik seyrek mimarisi 4 bitte 24 GB’a iniyor. Ağustos başında yayımlanan Qwen3.8-27B ise bu sınıfın yeni varsayılanı hâline geldi.
İşte bu noktada Unsloth devreye giriyor. Unsloth hem sıkıştırılmış modelleri çalıştırmak hem de onları kendi verimizle eğitmek için kurulmuş bir platform. Dynamic 3.0 adını verdikleri sıkıştırma yöntemi, her katmanı ayrı ayrı değerlendirerek aynı dosya boyutunda diğer sağlayıcılardan belirgin şekilde daha yüksek doğruluk elde ediyor. Kendi verimiz ile eğitim tarafında ise tablo daha da çarpıcı: 4 bit QLoRA ile 7 milyarlık bir modeli 6 GB VRAM ile, 30 milyarlık bir modeli 24 GB ile eğitmek mümkün. Unsloth bunu standart QLoRA’ya göre iki kat hızlı ve %70 daha az hafızayla yapıyor. Aynı işin tam eğitim (full fine-tuning) hâli 7 milyarlık bir model için 60 GB istiyor. Aradaki fark, bir veri merkezi kalemi ile bir oyun bilgisayarı arasındaki fark.
Ama donanım cephesinde işler kolay değil. Çip krizi ekran kartı ve RAM fiyatlarını sürekli yukarı itiyor, üreticiler stoklarını bireysel kullanıcıya değil büyük şirketlere ayırıyor. İhracat kısıtlamaları yüzünden Çin’de doğan modifiye kart pazarı bunun en açık göstergesi; 128 GB hafızalı bir prototipi 13 bin dolara satılıyor. Kendi donanımına sahip olmak bugün bir lüks gibi görünüyor. Ama kiralanan hesap gücünün faturası da her ay geliyor ve o fatura kimsenin elinde kalmıyor.
Üçüncü mesele ise en sessiz olanı. Veri. Verilerimizin kendi başlarına değerli bir kaynak olması yeni değil, on yıllardır böyle. Yeni olan, artık her sorumuzun, her taslağımızın, her yarım kalan düşüncemizin bir sağlayıcının sunucusundan geçiyor olması. Amerikan Bulut Yasası’nın sunucunun nerede durduğuna bakmadığını, hizmet sağlayıcısının hangi ülkeye tabi olduğuna baktığını hatırlayalım. Yerelde çalışan bir model ise hiçbir yere bağlanmıyor. İnternet kablosunu çekseniz de çalışmaya devam ediyor.
Yerel yapay zeka her işi çözmüyor, çözdüğünü de iddia etmiyor. Küçük modellerin bir tavanı var, donanımın bir maliyeti var, kurulumun da bir öğrenme eğrisi. Ama bir modeli indirip bir kenara koymak, kendi verimizle eğitip kendi diskimizde saklamak artık teknik bir imkânsızlık değil, bir tercih meselesi. Belki de bu yüzden şu soruyu sormanın vakti geldi: kullandığımız aklın fişi kimin elinde?