Lewati ke konten

Pengetahuan yang menerangi dunia

Apa Itu Model AI Berbobot Terbuka? Menjalankan AI di Komputer Sendiri dengan Llama, Mistral, Qwen, DeepSeek, dan Gemma

Beberapa model AI hanya berjalan di server perusahaan, sedangkan yang lain memiliki "bobot" yang dibagikan secara publik dan dapat dijalankan di komputer sendiri. Perbedaan antara bobot terbuka dan sumber terbuka, keluarga model terkenal, alat untuk menjalankannya secara lokal, kebutuhan perangkat keras, keuntungan, dan batasan.

Apa Itu Model AI Berbobot Terbuka? Menjalankan AI di Komputer Sendiri dengan Llama, Mistral, Qwen, DeepSeek, dan Gemma

Saat Anda menggunakan asisten seperti ChatGPT, Gemini, atau Claude, apa yang Anda ketik dikirim ke server perusahaan dan jawabannya dihasilkan di sana. Di samping mereka, model "bobot terbuka", yang file terlatihnya dapat diunduh dan dijalankan oleh siapa saja di komputer atau server mereka sendiri, menyebar dengan cepat.

Apa arti "bobot"?

Model bahasa menyimpan apa yang dipelajarinya dari teks selama pelatihan dalam miliaran nilai numerik (parameter, atau "bobot"). File model terutama terdiri dari bobot-bobot ini. Dengan model bobot terbuka, file ini dibagikan, sehingga model dapat berjalan tanpa koneksi internet atau server perusahaan.

Apakah bobot terbuka sama dengan sumber terbuka?

Tidak selalu. Menurut "Definisi AI Sumber Terbuka" yang diterbitkan oleh Inisiatif Sumber Terbuka (OSI) pada 2024, agar sebuah model dianggap sumber terbuka, kode pelatihan dan informasi yang memadai tentang data pelatihan juga harus dibagikan, dan penggunaannya harus tidak terbatas. Banyak model populer hanya membagikan bobotnya dan hadir dengan ketentuan lisensi mereka sendiri, misalnya memerlukan izin tambahan untuk perusahaan di atas jumlah pengguna tertentu atau membatasi penggunaan tertentu. Jadi baca lisensi model sebelum menggunakannya secara komersial.

Keluarga model terkenal

  • Llama: Dikembangkan oleh Meta, pelopor dalam mempopulerkan model bobot terbuka.
  • Mistral: Model dari perusahaan Prancis Mistral AI.
  • Qwen: Keluarga model multilingual Alibaba.
  • DeepSeek: Model dari perusahaan Tiongkok DeepSeek, terkenal terutama untuk penalaran dan pengkodean.
  • Gemma: Model terbuka Google yang relatif kecil dan efisien.

Keluarga-keluarga ini merilis versi baru secara berkala; selalu periksa halaman resmi mereka untuk kondisi dan lisensi terkini.

Cara menjalankannya di komputer

Alat gratis seperti Ollama, LM Studio, dan llama.cpp memungkinkan Anda mengunduh dan menjalankan model terbuka dengan beberapa klik atau satu perintah. Model biasanya dikompresi dengan metode yang disebut "kuantisasi" sehingga memerlukan memori lebih sedikit. Model kecil bahkan bisa berjalan di laptop terbaru, sedangkan model besar memerlukan banyak memori dan kartu grafis yang canggih. Sebagai aturan, semakin besar model, semakin canggih kemampuannya dan semakin banyak perangkat keras yang dibutuhkannya.

Keuntungan

  • Privasi: Data tidak pernah meninggalkan perangkat Anda, keuntungan besar saat bekerja dengan dokumen sensitif.
  • Penggunaan offline: Setelah diunduh, model dapat berjalan tanpa koneksi.
  • Penyesuaian: Organisasi dapat menyetel ulang model dengan data mereka sendiri untuk tugas spesifik.
  • Kontrol biaya: Untuk penggunaan intensif, menjalankan di perangkat keras sendiri bisa lebih terduga bagi beberapa organisasi.

Batasan dan risiko

  • Mereka memerlukan perangkat keras dan pengetahuan pengaturan tertentu.
  • Model kecil bisa membuat kesalahan dan halusinasi lebih sering daripada model tertutup terbesar.
  • Karena langkah-langkah keamanan dapat dengan mudah diubah oleh pengguna, perdebatan tentang penyalahgunaan terus berlanjut.
  • Unduh file model hanya dari sumber tepercaya.

Lisensi: apa yang perlu diperhatikan pada model "terbuka"

Kemampuan mengunduh bobot model tidak berarti Anda bebas menggunakannya untuk tujuan apa pun. Teks lisensi yang menentukan, dan ada perbedaan penting antar keluarga:

  • Lisensi permisif: Beberapa model, seperti Mistral 7B, dirilis di bawah lisensi Apache 2.0, dan DeepSeek-R1 di bawah lisensi MIT. Lisensi ini umumnya mengizinkan penggunaan komersial dan modifikasi.
  • Lisensi komunitas: Model Llama Meta didistribusikan di bawah lisensi komunitas mereka sendiri; misalnya, perusahaan dengan lebih dari 700 juta pengguna aktif bulanan harus memperoleh lisensi terpisah, dan kepatuhan terhadap kebijakan penggunaan yang dapat diterima diharapkan.
  • Ketentuan penggunaan: Model Gemma Google terikat oleh teks ketentuan penggunaan terpisah dan daftar penggunaan yang dilarang.
  • Lisensi berbeda dalam satu keluarga: Di beberapa keluarga, seperti Qwen, lisensi bisa berubah dengan ukuran model, sehingga halaman setiap rilis perlu dibaca secara terpisah.

Jika Anda mempertimbangkan menggunakan model dalam produk atau layanan, periksa lisensi dan kebijakan penggunaan untuk versi persis yang Anda unduh; jika ragu, cari nasihat hukum.

Perangkat keras apa yang cukup? Perkiraan memori kasar

Ada cara sederhana untuk memperkirakan berapa memori yang dibutuhkan model: kalikan jumlah parameter dengan jumlah byte per parameter. Pada presisi 16-bit (2-byte), model dengan 7 miliar parameter memerlukan sekitar 14 GB memori untuk bobot saja. Dengan kuantisasi 4-bit, model yang sama turun menjadi sekitar 4–5 GB, yang membuatnya dapat dijalankan di banyak laptop saat ini.

Di atas ini ditambah memori ekstra yang bertambah dengan panjang percakapan (cache konteks), jadi bijak untuk menyisakan ruang tambahan di atas perkiraan. Proyek llama.cpp, yang banyak digunakan untuk menjalankan model secara lokal, dan format file GGUF-nya memungkinkan menjalankan model terkuantisasi di prosesor bahkan di komputer tanpa kartu grafis; kecepatan, bagaimanapun, bervariasi cukup besar tergantung perangkat keras.

Sumber dan bacaan lebih lanjut

  1. Open Source Initiative (OSI), "The Open Source AI Definition 1.0" (2024).
  2. Meta AI, halaman lisensi Llama dan kebijakan penggunaan yang dapat diterima.
  3. Hugging Face, hub model terbuka dan dokumentasi.
  4. Dokumentasi resmi Ollama dan LM Studio.
  5. Apache Software Foundation – Apache License 2.0
  6. Meta – Llama 3 Community License Agreement
  7. ggml-org – llama.cpp (GitHub) dan dokumentasi GGUF
Bagikan
Ikuti YulaHubDapatkan berita terpenting hari ini lebih dulu.
RSS

Tinggalkan komentar

Alamat email Anda tidak akan dipublikasikan. Kolom yang wajib diisi ditandai *