Wenn Sie Assistenten wie ChatGPT, Gemini oder Claude nutzen, wird Ihre Eingabe an die Server des Unternehmens gesendet und die Antwort dort erzeugt. Daneben verbreiten sich „Open-Weight“-Modelle rasant, deren trainierte Dateien jeder herunterladen und auf dem eigenen Computer oder Server ausführen kann.
Was bedeutet „Gewichte“?
Ein Sprachmodell speichert das, was es während des Trainings aus Texten lernt, in Milliarden numerischer Werte (Parameter, oder „Gewichte“). Die Modelldatei besteht hauptsächlich aus diesen Gewichten. Bei einem Open-Weight-Modell wird diese Datei geteilt, sodass das Modell ohne Internetverbindung oder die Server des Unternehmens laufen kann.
Ist Open Weight dasselbe wie Open Source?
Nicht immer. Laut der „Open Source AI Definition“, die die Open Source Initiative (OSI) 2024 veröffentlichte, muss für ein Modell als Open Source auch der Trainingscode und ausreichend Information über die Trainingsdaten geteilt werden, und die Nutzung muss uneingeschränkt sein. Viele populäre Modelle teilen nur ihre Gewichte und haben eigene Lizenzbedingungen, zum Beispiel die Anforderung zusätzlicher Erlaubnis für Unternehmen ab einer bestimmten Nutzerzahl oder die Einschränkung bestimmter Nutzungen. Lesen Sie daher die Lizenz eines Modells, bevor Sie es kommerziell nutzen.
Bekannte Modelfamilien
- Llama: Von Meta entwickelt, ein Pionier bei der Popularisierung von Open-Weight-Modellen.
- Mistral: Modelle des französischen Unternehmens Mistral AI.
- Qwen: Alibabas mehrsprachige Modelfamilie.
- DeepSeek: Modelle des chinesischen Unternehmens DeepSeek, besonders bekannt für Reasoning und Programmierung.
- Gemma: Googles vergleichsweise kleine, effiziente offene Modelle.
Diese Familien veröffentlichen oft neue Versionen; prüfen Sie stets ihre offiziellen Seiten für den aktuellen Stand und die Lizenzen.
Wie man sie auf einem Computer ausführt
Kostenlose Tools wie Ollama, LM Studio und llama.cpp ermöglichen es, offene Modelle mit wenigen Klicks oder einem einzigen Befehl herunterzuladen und auszuführen. Modelle werden meist mit einem Verfahren namens „Quantisierung“ komprimiert, damit sie weniger Speicher benötigen. Kleine Modelle laufen sogar auf einem aktuellen Laptop, während große Modelle viel Speicher und eine leistungsstarke Grafikkarte brauchen. Als Faustregel gilt: Je größer das Modell, desto leistungsfähiger ist es und desto mehr Hardware benötigt es.
Vorteile
- Datenschutz: Daten verlassen Ihr Gerät nie, ein großer Pluspunkt bei der Arbeit mit sensiblen Dokumenten.
- Offline-Nutzung: Nach dem Download kann das Modell ohne Verbindung laufen.
- Anpassbarkeit: Organisationen können das Modell auf ihren eigenen Daten für spezifische Aufgaben feinjustieren.
- Kostenkontrolle: Bei intensiver Nutzung kann der Betrieb auf eigener Hardware für manche Organisationen vorhersehbarer sein.
Grenzen und Risiken
- Sie erfordern Hardware und etwas Einrichtungswissen.
- Kleine Modelle können Fehler machen und häufiger halluzinieren als die größten geschlossenen Modelle.
- Da Sicherheitsmaßnahmen von Nutzern leicht geändert werden können, dauern Debatten über Missbrauch an.
- Modelldateien nur von vertrauenswürdigen Quellen herunterladen.
Lizenzen: worauf man bei „offenen“ Modellen achten sollte
Dass man die Gewichte eines Modells herunterladen kann, bedeutet nicht, dass man es für jeden Zweck frei nutzen darf. Der Lizenztext ist entscheidend, und es gibt wichtige Unterschiede zwischen den Familien:
- Permissive Lizenzen: Einige Modelle, wie Mistral 7B, wurden unter der Apache-2.0-Lizenz veröffentlicht, und DeepSeek-R1 unter der MIT-Lizenz. Diese Lizenzen erlauben im Allgemeinen kommerzielle Nutzung und Modifikation.
- Community-Lizenzen: Metas Llama-Modelle werden unter ihrer eigenen Community-Lizenz vertrieben; Unternehmen mit mehr als 700 Millionen monatlich aktiven Nutzern müssen beispielsweise eine separate Lizenz einholen, und die Einhaltung einer Acceptable-Use-Policy wird erwartet.
- Nutzungsbedingungen: Googles Gemma-Modelle unterliegen einem separaten Nutzungsbedingungstext und einer Liste verbotener Nutzungen.
- Unterschiedliche Lizenzen innerhalb einer Familie: In manchen Familien, wie Qwen, kann sich die Lizenz mit der Modellgröße ändern, daher muss die Seite jedes Releases einzeln gelesen werden.
Wenn Sie ein Modell in einem Produkt oder Dienst einsetzen wollen, prüfen Sie die Lizenz und Nutzungsrichtlinie für die exakte Version, die Sie heruntergeladen haben; im Zweifel holen Sie rechtlichen Rat ein.
Welche Hardware reicht? Eine grobe Speicherberechnung
Es gibt eine einfache Methode, um abzuschätzen, wie viel Speicher ein Modell benötigt: Multiplizieren Sie die Anzahl der Parameter mit der Anzahl der Bytes pro Parameter. Bei 16-Bit-Präzision (2 Byte) benötigt ein Modell mit 7 Milliarden Parametern etwa 14 GB Speicher für die Gewichte allein. Mit 4-Bit-Quantisierung sinkt dasselbe Modell auf rund 4–5 GB, was es auf vielen aktuellen Laptops lauffähig macht.
Hinzu kommt zusätzlicher Speicher, der mit der Länge des Gesprächs wächst (der Kontext-Cache), daher ist es ratsam, etwas Puffer über der Schätzung einzuplanen. Das llama.cpp-Projekt, das weit verbreitet für den lokalen Betrieb von Modellen genutzt wird, und sein GGUF-Dateiformat ermöglichen es, quantisierte Modelle auch auf Computern ohne Grafikkarte auf dem Prozessor auszuführen; die Geschwindigkeit variiert jedoch erheblich mit der Hardware.
Quellen und weiterführende Literatur
- Open Source Initiative (OSI), „The Open Source AI Definition 1.0“ (2024).
- Meta AI, Llama-Lizenz- und Acceptable-Use-Policy-Seiten.
- Hugging Face, Open-Model-Hub und Dokumentation.
- Offizielle Dokumentation von Ollama und LM Studio.
- Apache Software Foundation – Apache License 2.0
- Meta – Llama 3 Community License Agreement
- ggml-org – llama.cpp (GitHub) und GGUF-Dokumentation
Kommentar hinterlassen
Ihre E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert