İçeriğe geç

Dünyayı aydınlatan bilgi

Açık Ağırlıklı Yapay Zekâ Modelleri Nedir? Llama, Mistral, Qwen, DeepSeek ve Gemma ile Bilgisayarda Yapay Zekâ

Bazı yapay zekâ modelleri yalnızca şirketin sunucusunda çalışırken, bazılarının “ağırlıkları” herkese açık olarak paylaşılır ve kendi bilgisayarınızda çalıştırılabilir. Açık ağırlık ile açık kaynak farkı, bilinen model aileleri, yerelde çalıştırma araçları, donanım ihtiyacı, avantajlar ve sınırlar.

Açık Ağırlıklı Yapay Zekâ Modelleri Nedir? Llama, Mistral, Qwen, DeepSeek ve Gemma ile Bilgisayarda Yapay Zekâ

ChatGPT, Gemini ya da Claude gibi asistanları kullandığınızda yazdıklarınız şirketin sunucusuna gönderilir ve yanıt orada üretilir. Bunun yanında, eğitilmiş modelin dosyalarını herkesin indirip kendi bilgisayarında ya da sunucusunda çalıştırabildiği “açık ağırlıklı” modeller de hızla yaygınlaşıyor.

Ağırlık ne demek?

Bir dil modeli, eğitim sırasında metinlerden öğrendiklerini milyarlarca sayısal değerde (parametre ya da “ağırlık”) saklar. Model dosyası esas olarak bu ağırlıklardan oluşur. Açık ağırlıklı bir modelde bu dosya paylaşılır; böylece model internete bağlı olmadan, şirketin sunucusuna ihtiyaç duymadan çalıştırılabilir.

Açık ağırlık ile açık kaynak aynı şey mi?

Her zaman değil. Açık Kaynak Girişimi’nin (OSI) 2024’te yayımladığı “Açık Kaynak Yapay Zekâ Tanımı”na göre bir modelin açık kaynak sayılması için ağırlıkların yanında eğitim kodunun ve eğitim verisine dair yeterli bilginin de paylaşılması ve kullanımın serbest olması gerekir. Pek çok popüler model ise yalnızca ağırlıklarını paylaşır ve kendi lisans koşullarını getirir; örneğin belirli kullanıcı sayısının üzerindeki şirketler için ek izin şartı ya da kullanım kısıtlamaları olabilir. Bu yüzden bir modeli ticari amaçla kullanmadan önce lisansını okumak gerekir.

Bilinen model aileleri

  • Llama: Meta’nın geliştirdiği, açık ağırlıklı modellerin yaygınlaşmasında öncü rol oynayan aile.
  • Mistral: Fransız şirketi Mistral AI’ın modelleri.
  • Qwen: Alibaba’nın çok dilli model ailesi.
  • DeepSeek: Çinli DeepSeek şirketinin, özellikle akıl yürütme ve kodlamadaki başarısıyla dikkat çeken modelleri.
  • Gemma: Google’ın görece küçük ve verimli açık modelleri.

Bu aileler sık sık yeni sürümler yayımlar; güncel durumu ve lisansları her zaman resmî sayfalarından kontrol edin.

Bilgisayarda nasıl çalıştırılır?

Ollama, LM Studio ve llama.cpp gibi ücretsiz araçlar, açık modelleri birkaç tıklamayla ya da tek bir komutla indirip çalıştırmayı sağlar. Modeller genellikle “nicemleme” (quantization) adı verilen yöntemle sıkıştırılarak daha az bellekle çalışacak hâle getirilir. Küçük modeller güncel bir dizüstü bilgisayarda bile çalışabilirken, büyük modeller yüksek miktarda bellek ve güçlü bir ekran kartı gerektirir. Genel kural: Model ne kadar büyükse o kadar yetenekli ama o kadar donanım isteyen bir yapıdadır.

Avantajlar

  • Gizlilik: Veriler cihazınızdan çıkmaz; hassas belgelerle çalışırken önemli bir artıdır.
  • İnternetsiz kullanım: Model bir kez indirildikten sonra çevrimdışı çalışabilir.
  • Özelleştirme: Kurumlar modeli kendi verileriyle ince ayar yaparak belirli işlere uyarlayabilir.
  • Maliyet kontrolü: Yoğun kullanımda kendi donanımında çalıştırmak bazı kurumlar için daha öngörülebilir olabilir.

Sınırlar ve riskler

  • Donanım ve kurulum bilgisi gerektirir.
  • Küçük modeller, en büyük kapalı modellere göre daha sık hata yapabilir ve uydurabilir.
  • Güvenlik önlemleri kullanıcı tarafından kolayca değiştirilebildiği için kötüye kullanım tartışmaları sürüyor.
  • Model dosyalarını yalnızca güvenilir kaynaklardan indirin.

Lisanslar: "Açık" modellerde nelere dikkat edilmeli?

Bir modelin ağırlıklarının indirilebilmesi, onu her amaçla serbestçe kullanabileceğiniz anlamına gelmez. Asıl belirleyici olan lisans metnidir ve aileler arasında önemli farklar vardır:

  • Serbest lisanslar: Mistral 7B gibi bazı modeller Apache 2.0 lisansıyla, DeepSeek-R1 ise MIT lisansıyla yayımlandı. Bu lisanslar ticari kullanıma ve değiştirmeye genel olarak izin verir.
  • Topluluk lisansları: Meta'nın Llama modelleri kendi topluluk lisansıyla dağıtılır; örneğin aylık etkin kullanıcı sayısı 700 milyonu aşan şirketlerin ayrıca lisans alması gerekir ve kabul edilebilir kullanım politikasına uyulması beklenir.
  • Kullanım şartları: Google'ın Gemma modelleri ayrı bir kullanım şartları metnine ve yasaklı kullanımlar listesine bağlıdır.
  • Aynı ailede farklı lisans: Qwen gibi bazı ailelerde modelin boyutuna göre lisans değişebilir; her sürümün sayfasını ayrıca okumak gerekir.

Bir modeli ürün ya da hizmette kullanmayı düşünüyorsanız lisansı ve kullanım politikasını indirdiğiniz sürüm için kontrol edin; şüphede kalırsanız hukuki destek alın.

Hangi donanım yeterli? Kabaca bellek hesabı

Bir modelin ihtiyaç duyduğu belleği tahmin etmenin basit bir yolu vardır: parametre sayısı ile parametre başına bayt sayısını çarpmak. 16 bitlik (2 bayt) hassasiyette 7 milyar parametreli bir model yalnızca ağırlıklar için yaklaşık 14 GB bellek ister. Aynı model 4 bitlik nicemlemeyle yaklaşık 4–5 GB'a iner; bu da onu birçok güncel dizüstü bilgisayarda çalıştırılabilir hâle getirir.

Bu hesaba sohbetin uzunluğuna göre büyüyen ek bellek (bağlam önbelleği) de eklenir; bu nedenle tahmini değerin üzerinde biraz pay bırakmak iyi olur. Yerelde çalıştırmada sık kullanılan llama.cpp projesi ve onun GGUF dosya biçimi, nicemlenmiş modelleri ekran kartı olmayan bilgisayarlarda bile işlemciyle çalıştırmayı mümkün kılar; hız ise donanıma göre belirgin biçimde değişir.

Kaynaklar ve ileri okuma

  1. Open Source Initiative (OSI), “The Open Source AI Definition 1.0” (2024).
  2. Meta AI, Llama lisans ve kullanım politikası sayfaları.
  3. Hugging Face, açık model kütüphanesi ve dokümantasyonu.
  4. Ollama ve LM Studio resmî dokümantasyonları.
  5. Apache Software Foundation – Apache License 2.0
  6. Meta – Llama 3 Community License Agreement
  7. ggml-org – llama.cpp (GitHub) ve GGUF belgeleri
Paylaş
YulaHub'ı takip edinGünün en önemli haberlerini ilk siz öğrenin.
RSS

Bir yorum bırakın

E-posta adresiniz yayınlanmayacaktır. Gerekli alanlar * ile işaretlenmiştir