Zum Inhalt springen

Wissen, das die Welt erhellt

Wie funktioniert generative KI? Große Sprachmodelle, Bildgenerierung und ihre Grenzen

KI-Werkzeuge, die Texte schreiben, Fragen beantworten und Bilder erstellen, haben innerhalb weniger Jahre den Alltag erobert. Wie große Sprachmodelle trainiert werden, warum sie manchmal falsche Informationen erfinden und wie man diese Werkzeuge sinnvoll nutzt.

Wie funktioniert generative KI? Große Sprachmodelle, Bildgenerierung und ihre Grenzen

„Generative KI“ ist der Oberbegriff für KI-Systeme, die neue Texte, Bilder, Audios oder Code erzeugen können. Seit Ende 2022 haben diese Systeme durch Chat-Assistenten und Bildgeneratoren Einzug in den Alltag von Millionen Menschen gehalten. Doch wie kann ein Computerprogramm einen Artikel schreiben oder eine Landschaft zeichnen, die nie existiert hat?

Große Sprachmodelle

Textgenerierende Systeme basieren auf „großen Sprachmodellen“. Diese stützen sich auf eine neuronale Netzwerkarchitektur namens „Transformer“, die 2017 in einer Arbeit von Google-Forschern vorgestellt wurde. Das Modell wird mit enormen Mengen an geschriebenen Daten trainiert – Webtexten, Büchern und Code. Die Trainingsaufgabe ist überraschend einfach: Sieh dir ein Textstück an und sage das nächste Stück voraus – das Wort oder einen Teil eines Wortes, das als „Token“ bezeichnet wird. Durch den Versuch dieser Vorhersage anhand von Milliarden Beispielen lernt das Modell die Struktur der Sprache, Beziehungen zwischen Konzepten und eine Vielzahl von Wissen als statistische Muster.

Der Weg zum Chat-Assistenten

Ein frisch vortrainiertes Modell weiß zwar, wie man Text fortsetzt, versteht aber nicht immer, was der Nutzer will. Daher wird es in einer zweiten Phase mit Frage-Antwort-Beispielen sowie mit Feedback feinabgestimmt, bei dem Menschen bewerten, welche Antworten hilfreich, genau und sicher sind. Das Modell wird so zu einem Assistenten, der Anweisungen befolgt, ein Gespräch führen kann und bei schädlichen Anfragen vorsichtiger ist.

Bildgenerierung

Die meisten Text-zu-Bild-Werkzeuge verwenden „Diffusionsmodelle“. Während des Trainings lernen diese Modelle, wie Schritt für Schritt Rauschen zu Bildern hinzugefügt und wie dieses wieder entfernt wird. Bei der Anwendung gehen sie von einem zufälligen Rauschen aus und entfernen dieses schrittweise so, dass es zur Beschreibung des Nutzers passt, wodurch ein neues Bild entsteht.

Grenzen und Risiken

  • Halluzination: Sprachmodelle produzieren das, was „wahrscheinlich“ ist, nicht das, was „wahr“ ist. Daher können sie manchmal völlig überzeugende, aber falsche Informationen, nicht existierende Quellen oder Zitate hervorbringen.
  • Aktualität: Das Wissen eines Modells ist auf den Zeitpunkt beschlossen, zu dem seine Trainingsdaten gesammelt wurden; einige Werkzeuge schließen diese Lücke durch Websuche.
  • Voreingenommenheit (Bias): Vorurteile in den Trainingsdaten können sich in den Antworten des Modells widerspiegeln.
  • Datenschutz: Überprüfen Sie die Datenrichtlinie eines Werkzeugs, bevor Sie persönliche, finanzielle oder vertrauliche Geschäftsinformationen weitergeben.
  • Urheberrecht und Originalität: Die rechtlichen Debatten über Rechte an Trainingsdaten und generierten Inhalten halten an.

Sicherer und kluger Umgang

Generative KI ist ein leistungsstarker Helfer beim Verfassen von Entwürfen, beim Brainstorming, beim Zusammenfassen langer Texte, beim Erklären eines Themas auf unterschiedliche Weise und beim Schreiben von Code. Überprüfen Sie jedoch bei wichtigen Angelegenheiten wie Gesundheit, Recht und Finanzen Informationen stets mit verlässlichen Quellen und Experten und behalten Sie die letzte Entscheidung und Verantwortung bei sich.

Häufig gehörte Begriffe: ein kurzes Glossar

  • Prompt: Die Anweisung oder Frage, die an das Modell übergeben wird. Je klarer und kontextreicher der Prompt, desto präziser das Ergebnis.
  • Kontextfenster: Die Menge an Text, die das Modell gleichzeitig „sehen“ kann. Überschreitet ein Gespräch dieses Limit, werden die ältesten Teile möglicherweise nicht mehr berücksichtigt.
  • Temperatur: Die Einstellung für Zufälligkeit in Antworten. Ein niedriger Wert liefert konsistentere und wiederholbare Ergebnisse, ein hoher Wert variablere und kreativere.
  • Feinabstimmung (Fine-Tuning): Das weitere Training eines vortrainierten Modells mit zusätzlichen Daten für eine spezifische Aufgabe oder Domäne.
  • Multimodal: Modelle, die neben Text auch verschiedene Datenarten wie Bilder, Audio oder Video verstehen und erzeugen können.

Wie lässt sich die Genauigkeit verbessern? Retrieval-Augmented Generation (RAG)

Sprachmodelle „erinnern“ sich an Informationen aus ihren Trainingsdaten; bei Themen, die veraltet sind oder die sie noch nie gesehen haben, können sie daher erfundene Antworten geben. Eine gängige Methode zur Reduzierung dieses Problems ist die „Retrieval-Augmented Generation“ (RAG), die 2020 von Lewis und Kollegen beschrieben wurde. Bei diesem Ansatz durchsucht das System zunächst eine vertrauenswürdige Dokumentsammlung nach Passagen, die für die Frage relevant sind, und fordert das Modell dann auf, basierend ausschließlich auf diesen Passagen zu antworten.

RAG macht es einfacher zu zeigen, auf welchem Dokument eine Antwort basiert, und ermöglicht die Arbeit mit Informationen, die das Modell noch nie gesehen hat, wie etwa interne Unternehmensdokumente. Es löst das Problem jedoch nicht vollständig: Wenn die Suche das falsche Dokument zurückbringt oder das Modell es falsch liest, können dennoch Fehler auftreten. Aus diesem Grund führt auch das generative KI-Risikoprofil des US National Institute of Standards and Technology (NIST) aus dem Jahr 2024 Praktiken auf, die eine menschliche Überprüfung der Ergebnisse empfehlen.

Häufig gestellte Fragen

„Versteht“ die KI wirklich?

Darüber wird unter Wissenschaftlern und Philosophen nach wie vor gestritten. Modelle können komplexe Sprachmuster erstaunlich gut nutzen, aber es gibt keinen Konsens darüber, ob sie so etwas wie menschliches Verständnis besitzen.

Quellen und Weiterführendes

  1. Ashish Vaswani et al., „Attention Is All You Need“ (2017).
  2. Jonathan Ho et al., „Denoising Diffusion Probabilistic Models“ (2020).
  3. OECD-KI-Prinzipien; UNESCO-Empfehlung zur Ethik der künstlichen Intelligenz (2021).
  4. Lewis P. et al. – Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, NeurIPS (2020)
  5. NIST AI 600-1 – Generative Artificial Intelligence Profile (2024)
Teilen
Folgen Sie YulaHubErfahren Sie die wichtigsten Nachrichten des Tages als Erste.
RSS

Kommentar hinterlassen

Ihre E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert