Yapay Zeka Bulutta mı Yaşar?

En güçlü Yapay Zeka modelleri yüz milyarlarca parametreye sahip, hatta bazılarının 1 trilyonun üzerinde parametresi var. Deepseek
R1 model ailesinin en büyük modeli 671 milyar parametreli bir model. Bu modelin ağırlıklarının bile tek başlarına kapladıkları
disk alanı 1 terabayttan fazla. Ama bu sadece model ağırlıkları en hassas derecede kullanılırsa. Hassasiyet azaltılarak disk alanı ve
sistem hafızası gereksinimleri tam modelin gereksinimlerinin %25’ine kadar azaltılabilir.
Büyük şirketler, model distilasyonu yaparak modellerinin daha küçük versiyonlarını da üretiyorlar. GPT o3-mini ve Gemini Flash
gibi modeller ücretsiz kullanıcılara sunulurken, açık kaynak modellerin daha küçük versiyonları esnek kullanıma olanak sağlıyor.
Lisans koşulları çerçevesinde model eğitimi yapabilmek ve kendi alt yapılarıyla modelleri kullanabilmek bunlardan bazıları.
Günümüzde yazılı cevap üretebilme becerisine sahip LLM (Large Language Models)’ler 1 milyar parametreye kadar küçüldü.
Hassasiyeti azaltılmış 13-14 milyar parametreli modeller bile orta-üst seviye donanımlı kişisel bilgisayarlarda kullanılabiliyor. Distile
yapay zeka modelleri artık bulutta değil bilgisayarlarımızda hatta telefonlarımızda yaşıyor.
Bilgisayar ile LLM kullanımı
Kişisel bilgisayarlarda dil modellerini çalıştırmak için geliştirilmiş birçok kullanıcı dostu araç bulunmaktadır. Bu araçlar, farklı açık
kaynaklı modelleri indirme, yönetme ve çalıştırma süreçlerini basitleştirir.
•LM Studio: Popüler bir seçenek olan LM Studio, kullanıcıların çeşitli açık kaynaklı LLM’leri (örneğin, Llama, Mistral, Phi) kolayca
keşfetmelerini, indirmelerini ve yerel olarak çalıştırmalarını sağlar. Sezgisel bir arayüze sahip olması, teknik bilgisi az olan kullanıcılar
tarafından tercih edilme sebeplerinden biridir. Modelleri sohbet arayüzü üzerinden test etme ve yapılandırma, ayarlarını kolayca
değiştirme imkanı sunar. En büyük avantajlarından biri, internet bağlantısı olmadan çalışabilmesi ve tüm verilerin kullanıcının bilgisayarında
kalmasıdır.
•Ollama: Özellikle developerlar ve teknik kullanıcılar arasında popüler olan Ollama, komut satırı arayüzü (CLI) üzerinden LLM’leri
çalıştırmayı kolaylaştırır. Hafif yapısı ve basit kurulumu ile öne çıkmaktadır. Ollama, modelleri “Modelfile” adı verilen dosyalar aracılığıyla
özelleştirme ve kendi model varyasyonlarınızı oluşturma imkanı sunar. Docker benzeri bir yaklaşımla modelleri yönetir ve API
erişimi sağlayarak diğer uygulamalarla entegrasyonu kolaylaştırır.
•GPT4All: Geniş bir model kütüphanesine sahip olan GPT4All, kullanıcıların farklı ihtiyaçlarına yönelik optimize edilmiş modelleri
kolayca indirip çalıştırmasına olanak tanır. Özellikle CPU üzerinde verimli çalışacak şekilde tasarlanmış modeller sunması, güçlü
bir ekran kartına sahip olmayan kullanıcılar için caziptir. Kullanımı kolay bir masaüstü uygulaması sunar ve gizliliğe odaklanır; tüm
işlemler yerel olarak gerçekleşir.
•AnythingLLM: Bu araç, mevcut belgelerinizle (PDF, TXT, DOCX vb.) etkileşim kurabilen özel sohbet botları oluşturmanıza odaklanır.
Seçtiğiniz bir LLM’i (yerel veya API aracılığıyla) kullanarak belgelerinizdeki bilgilere dayalı soruları yanıtlayabilen bir sistem
kurmanızı sağlar. Bu, özellikle kurumsal bilgi yönetimi veya kişisel not arşivleriyle çalışmak için güçlü bir çözümdür. Veri gizliliği ve
özelleştirilebilirlik ön plandadır.
Akıllı Telefonlarda Dil Modelleri
Dil modellerinin gücünü mobil cihazlara taşıma fikri de giderek yaygınlaşıyor. LiteRT gibi projeler ve MLC Chat gibi appler, LLM’lerin
akıllı telefonlarda da bulut ve internet bağlantısı gerekmeden kullanılabilmelerini sağlamaktadır. Bu tür uygulamalar, genellikle
daha küçük boyutlu ve mobil işlemciler için optimize edilmiş modeller kullanır.
LiteRT ve benzeri mobil LLM uygulamalarının avantajları şunlardır:
•Taşınabilirlik ve Anında Erişim: Her an her yerde, internet bağlantısına ihtiyaç duymadan yapay zeka destekli yardıma erişebilmek.
•Cihaz İçi İşleme: Verileriniz telefonunuzda kalır, bu da özellikle hassas bilgiler için önemli bir gizlilik avantajı sunar.
•Düşük Gecikme Süresi: Bulut tabanlı servislere kıyasla daha hızlı yanıtlar alınabilir, çünkü veri transferi ve sunucu yoğunluğu gibi
faktörler ortadan kalkar.
Akıllı telefonlarımızda LLM kullanabilmek bize yurt dışı seyahatlerinde internet bağlantısı olmaksızın yerel dili çevirebilme, uzun
mesajları bir hizmet sağlayıcısına göndermek zorunda kalmadan özetletebilme gibi kolaylıklar sağlamaktadır.
Kişisel cihazlarımızda kullanabileceğimiz dil modelleri cihazımızın donanımıyla sınırlı olsa da kişisel verilerin korunması ve özelleşmiş
modeller kullanabilmek gibi avantajları pek çok kullanıcı için oldukça kıymetlidir. Bu tür programlar ücretsiz olmaları ve ücretsiz
modellerle çalışmaları açısından da önem taşımaktadırlar. Freemium çalışma modeli kullanan şirketler sınırlı miktarda ücretsiz
hizmet sağladıkları için açık kaynaklı modelleri kendi cihazlarında sınırsız kullanabilmek, yoğun LLM kullanan kişiler için de son
derece ekonomik bir seçenek.