Aller au contenu

Le savoir qui éclaire le monde

Comment fonctionne l'IA générative ? Modèles de langage, génération d'images et leurs limites

Les outils d'IA qui rédigent du texte, répondent à des questions et créent des images sont entrés dans la vie quotidienne en l'espace de quelques années. Comment les grands modèles de langage sont entraînés, pourquoi ils inventent parfois de fausses informations et comment utiliser ces outils à bon escient.

Comment fonctionne l'IA générative ? Modèles de langage, génération d'images et leurs limites

L'« IA générative » est le terme général désignant les systèmes d'IA capables de produire de nouveaux textes, images, sons ou codes. Depuis fin 2022, par le biais d'assistants conversationnels et de générateurs d'images, ces systèmes sont entrés dans la vie quotidienne de millions de personnes. Mais comment un programme informatique peut-il rédiger un article ou dessiner un paysage qui n'a jamais existé ?

Grands modèles de langage

Les systèmes de génération de texte reposent sur de « grands modèles de langage ». Ceux-ci s'appuient sur une architecture de réseau de neurones appelée « transformateur », présentée dans un article de 2017 par des chercheurs de Google. Le modèle est entraîné sur des quantités colossales de données écrites : textes du Web, livres et code. La tâche d'entraînement est étonnamment simple : observer un morceau de texte et prédire le suivant, c'est-à-dire le mot ou la partie de mot appelé « jeton » (token). En tentant cette prédiction sur des milliards d'exemples, le modèle apprend la structure de la langue, les relations entre les concepts et une vaste quantité de connaissances sous forme de modèles statistiques.

Devenir un assistant conversationnel

Un modèle tout juste issu du pré-entraînement sait comment continuer un texte mais ne comprend pas toujours ce que l'utilisateur veut. C'est pourquoi, dans une seconde étape, il est affiné à l'aide d'exemples de questions-réponses et d'une rétroaction où des humains jugent quelles réponses sont les plus utiles, précises et sûres. Le modèle devient ainsi un assistant qui suit les instructions, peut tenir une conversation et se montre plus prudent face aux requêtes nuisibles.

Génération d'images

La plupart des outils de text-to-image utilisent des « modèles de diffusion ». Durant l'entraînement, ces modèles apprennent étape par étape comment du bruit est ajouté aux images, puis comment le supprimer. Lors de leur utilisation, ils partent d'un bruit aléatoire et le suppriment progressivement d'une manière qui correspond à la description de l'utilisateur, créant ainsi une nouvelle image.

Limites et risques

  • Hallucination : Les modèles de langage produisent ce qui est « probable », et non ce qui est « vrai ». Ils peuvent donc parfois générer des informations entièrement convaincantes mais fausses, des sources ou des citations inexistantes.
  • Actualité : Les connaissances d'un modèle se limitent à la période où ses données d'entraînement ont été collectées ; certains outils comblent cette lacune grâce à la recherche sur le Web.
  • Biais : Les biais présents dans les données d'entraînement peuvent se refléter dans les réponses du modèle.
  • Confidentialité : Vérifiez la politique de données d'un outil avant de partager des informations personnelles, financières ou professionnelles confidentielles.
  • Droits d'auteur et originalité : Des débats juridiques se poursuivent concernant les droits sur les données d'entraînement et le contenu généré.

Utilisation avisée

L'IA générative est une aide précieuse pour la rédaction, le brainstorming, la synthèse de textes longs, l'explication d'un sujet de différentes manières et l'écriture de code. Mais sur des sujets importants tels que la santé, le droit et la finance, vérifiez toujours l'information auprès de sources fiables et d'experts, et gardez la décision finale et la responsabilité entre vos mains.

Termes fréquemment entendus : un court glossaire

  • Invite (Prompt) : L'instruction ou la question donnée au modèle. Plus l'invite est claire et riche en contexte, plus le résultat est précis.
  • Fenêtre de contexte : La quantité de texte que le modèle peut « voir » en même temps. Si une conversation dépasse cette limite, les parties les plus anciennes peuvent ne plus être prises en compte.
  • Température : Le paramètre régissant le caractère aléatoire des réponses. Une valeur basse donne des résultats plus cohérents et reproductibles, une valeur haute des résultats plus variés et créatifs.
  • Ajustement fin (Fine-tuning) : L'entraînement supplémentaire d'un modèle pré-entraîné avec des données additionnelles pour une tâche ou un domaine spécifique.
  • Multimodal : Modèles capables de comprendre et de générer différents types de données tels que des images, des sons ou des vidéos en plus du texte.

Comment améliorer la précision ? La génération augmentée par récupération (RAG)

Les modèles de langage « se souviennent » des informations issues de leurs données d'entraînement ; par conséquent, sur des sujets obsolites ou qu'ils n'ont jamais vus, ils peuvent fournir des réponses inventées. Une méthode courante pour atténuer ce problème est la « génération augmentée par récupération » (RAG), décrite par Lewis et ses collègues en 2020. Dans cette approche, le système recherche d'abord dans une collection de documents de confiance des passages pertinents pour la question, puis demande au modèle de répondre en se basant uniquement sur ces passages.

La RAG permet de montrer plus facilement sur quel document repose une réponse et de travailler avec des informations que le modèle n'a jamais vues, telles que des documents internes d'entreprise. Elle ne résout cependant pas entièrement le problème : si la recherche renvoie le mauvais document ou si le modèle le lit mal, des erreurs peuvent encore se produire. Pour cette raison, le profil de risque de l'IA générative 2024 de l'Institut national des normes et de la technologie des États-Unis (NIST) répertorie également des pratiques recommandant une vérification humaine des résultats.

Foire aux questions

L'IA « comprend-elle » vraiment ?

Cela fait toujours l'objet de débats entre scientifiques et philosophes. Les modèles peuvent utiliser des schémas de langage complexes de manière remarquable, mais il n'y a pas de consensus sur le fait qu'ils possèdent une quelconque forme de compréhension humaine.

Sources et lectures complémentaires

  1. Ashish Vaswani et al., « Attention Is All You Need » (2017).
  2. Jonathan Ho et al., « Denoising Diffusion Probabilistic Models » (2020).
  3. Principes de l'OCDE sur l'IA ; Recommandation de l'UNESCO sur l'éthique de l'intelligence artificielle (2021).
  4. Lewis P. et al. – Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, NeurIPS (2020)
  5. NIST AI 600-1 – Generative Artificial Intelligence Profile (2024)
Partager
Suivez YulaHubRecevez en premier les informations les plus importantes du jour.
RSS

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont marqués *