Chuyển đến nội dung

Tri thức soi sáng thế giới

Mô hình AI trọng số mở là gì? Chạy AI trên máy tính của bạn với Llama, Mistral, Qwen, DeepSeek và Gemma

Một số mô hình AI chỉ chạy trên máy chủ của công ty, trong khi những mô hình khác có "trọng số" được chia sẻ công khai và có thể chạy trên máy tính của riêng bạn. Sự khác biệt giữa trọng số mở và mã nguồn mở, các họ mô hình nổi tiếng, công cụ chạy cục bộ, nhu cầu phần cứng, ưu và nhược điểm.

Mô hình AI trọng số mở là gì? Chạy AI trên máy tính của bạn với Llama, Mistral, Qwen, DeepSeek và Gemma

Khi bạn sử dụng các trợ lý như ChatGPT, Gemini hay Claude, nội dung bạn nhập được gửi đến máy chủ của công ty và câu trả lời được tạo ra tại đó. Bên cạnh đó, các mô hình "trọng số mở", có tệp đã huấn luyện mà bất kỳ ai cũng có thể tải xuống và chạy trên máy tính hoặc máy chủ của mình, đang lan rộng nhanh chóng.

"Trọng số" nghĩa là gì?

Một mô hình ngôn ngữ lưu trữ những gì nó học được từ văn bản trong quá trình huấn luyện trong hàng tỷ giá trị số (tham số, hay "trọng số"). Tệp mô hình chủ yếu bao gồm các trọng số này. Với mô hình trọng số mở, tệp này được chia sẻ, do đó mô hình có thể chạy mà không cần kết nối internet hay máy chủ của công ty.

Trọng số mở có giống mã nguồn mở không?

Không phải lúc nào cũng vậy. Theo "Định nghĩa AI Mã nguồn Mở" do Open Source Initiative (OSI) công bố năm 2024, để một mô hình được coi là mã nguồn mở, mã huấn luyện và thông tin đầy đủ về dữ liệu huấn luyện cũng phải được chia sẻ, và việc sử dụng phải không bị hạn chế. Nhiều mô hình phổ biến chỉ chia sẻ trọng số của chúng và đi kèm với các điều khoản giấy phép riêng, ví dụ yêu cầu cấp phép thêm cho các công ty trên một số lượng người dùng nhất định hoặc hạn chế một số việc sử dụng nhất định. Vì vậy hãy đọc giấy phép của mô hình trước khi sử dụng nó cho mục đích thương mại.

Các họ mô hình nổi tiếng

  • Llama: Được phát triển bởi Meta, là người tiên phong trong việc phổ biến các mô hình trọng số mở.
  • Mistral: Các mô hình từ công ty Pháp Mistral AI.
  • Qwen: Họ mô hình đa ngôn ngữ của Alibaba.
  • DeepSeek: Các mô hình từ công ty Trung Quốc DeepSeek, được chú ý đặc biệt cho lý luận và lập trình.
  • Gemma: Các mô hình mở tương đối nhỏ, hiệu quả của Google.

Các họ này thường xuyên phát hành các phiên bản mới; hãy luôn kiểm tra trang chính thức của chúng để biết trạng thái và giấy phép hiện tại.

Cách chạy chúng trên máy tính

Các công cụ miễn phí như Ollama, LM Studio và llama.cpp cho phép bạn tải xuống và chạy các mô hình mở chỉ với vài cú nhấp chuột hoặc một lệnh đơn. Các mô hình thường được nén bằng phương pháp gọi là "lượng tử hóa" để chúng cần ít bộ nhớ hơn. Các mô hình nhỏ thậm chí có thể chạy trên laptop hiện đại, trong khi các mô hình lớn cần nhiều bộ nhớ và card đồ họa mạnh. Theo quy tắc chung, mô hình càng lớn thì càng có khả năng và càng cần nhiều phần cứng.

Ưu điểm

  • Riêng tư: Dữ liệu không bao giờ rời thiết bị của bạn, một lợi thế lớn khi làm việc với tài liệu nhạy cảm.
  • Sử dụng ngoại tuyến: Sau khi tải xuống, mô hình có thể chạy mà không cần kết nối.
  • Tùy chỉnh: Các tổ chức có thể tinh chỉnh mô hình trên dữ liệu của riêng họ cho các tác vụ cụ thể.
  • Kiểm soát chi phí: Đối với việc sử dụng nhiều, chạy trên phần cứng của riêng mình có thể dễ dự đoán hơn đối với một số tổ chức.

Hạn chế và rủi ro

  • Chúng yêu cầu phần cứng và một chút kiến thức thiết lập.
  • Các mô hình nhỏ có thể mắc lỗi và ảo giác nhiều hơn các mô hình đóng lớn nhất.
  • Vì các biện pháp an toàn có thể dễ dàng bị thay đổi bởi người dùng, tranh luận về việc sử dụng sai mục đích vẫn tiếp diễn.
  • Chỉ tải tệp mô hình từ các nguồn tin cậy.

Giấy phép: cần lưu ý gì với các mô hình "mở"

Việc có thể tải xuống trọng số của một mô hình không có nghĩa là bạn có thể sử dụng nó tự do cho bất kỳ mục đích nào. Văn bản giấy phép mới là thứ quyết định thực sự, và có những khác biệt quan trọng giữa các họ:

  • Giấy phép宽容 (permissive): Một số mô hình, như Mistral 7B, được phát hành dưới giấy phép Apache 2.0, và DeepSeek-R1 dưới giấy phép MIT. Các giấy phép này thường cho phép sử dụng thương mại và sửa đổi.
  • Giấy phép cộng đồng: Các mô hình Llama của Meta được phân phối dưới giấy phép cộng đồng riêng của họ; ví dụ, các công ty có hơn 700 triệu người dùng hoạt động hàng tháng phải xin giấy phép riêng biệt, và tuân thủ chính sách sử dụng chấp nhận được là được kỳ vọng.
  • Điều khoản sử dụng: Các mô hình Gemma của Google bị ràng buộc bởi một văn bản điều khoản sử dụng riêng và một danh sách các việc sử dụng bị cấm.
  • Giấy phép khác nhau trong một họ: Trong một số họ, như Qwen, giấy phép có thể thay đổi theo kích thước mô hình, vì vậy trang của từng bản phát hành cần được đọc riêng biệt.

Nếu bạn đang cân nhắc sử dụng một mô hình trong sản phẩm hoặc dịch vụ, hãy kiểm tra giấy phép và chính sách sử dụng cho chính xác phiên bản bạn đã tải xuống; nếu nghi ngờ, hãy tìm kiếm tư vấn pháp lý.

Phần cứng nào là đủ? Ước tính bộ nhớ thô

Có một cách đơn giản để ước tính một mô hình cần bao nhiêu bộ nhớ: nhân số lượng tham số với số byte cho mỗi tham số. Ở độ chính xác 16-bit (2 byte), một mô hình có 7 tỷ tham số cần khoảng 14 GB bộ nhớ chỉ cho trọng số. Với lượng tử hóa 4-bit, cùng mô hình đó giảm xuống còn khoảng 4–5 GB, khiến nó có thể chạy được trên nhiều laptop hiện nay.

Bên cạnh đó là bộ nhớ thêm tăng theo độ dài cuộc hội thoại (bộ nhớ đệm ngữ cảnh), vì vậy khôn ngoan là dành một chút dư lượng trên ước tính. Dự án llama.cpp, được sử dụng rộng rãi để chạy mô hình cục bộ, và định dạng tệp GGUF của nó cho phép chạy các mô hình đã lượng tử hóa trên bộ xử lý ngay cả trên máy tính không có card đồ họa; tuy nhiên, tốc độ thay đổi đáng kể tùy thuộc vào phần cứng.

Nguồn và đọc thêm

  1. Open Source Initiative (OSI), "The Open Source AI Definition 1.0" (2024).
  2. Meta AI, trang giấy phép Llama và chính sách sử dụng chấp nhận được.
  3. Hugging Face, trung tâm mô hình mở và tài liệu.
  4. Tài liệu chính thức của Ollama và LM Studio.
  5. Apache Software Foundation – Apache License 2.0
  6. Meta – Llama 3 Community License Agreement
  7. ggml-org – llama.cpp (GitHub) và tài liệu GGUF
Chia sẻ
Theo dõi YulaHubNhận những tin quan trọng nhất trong ngày sớm nhất.
RSS

Để lại bình luận

Địa chỉ email của bạn sẽ không được công khai. Các trường bắt buộc được đánh dấu *