Ir para o conteúdo

O conhecimento que ilumina o mundo

Como Funciona a IA Generativa? Grandes Modelos de Linguagem, Geração de Imagens e Seus Limites

As ferramentas de IA que escrevem texto, respondem a perguntas e criam imagens entraram no quotidiano em poucos anos. Como os grandes modelos de linguagem são treinados, porque inventam por vezes falsas informações e como utilizar estas ferramentas de forma prudente.

Como Funciona a IA Generativa? Grandes Modelos de Linguagem, Geração de Imagens e Seus Limites

“IA generativa” é a designação geral para sistemas de inteligência artificial capazes de produzir novo texto, imagens, áudio ou código. A partir do final de 2022, através de assistentes de chat e geradores de imagens, estes sistemas entraram no quotidiano de milhões de pessoas. Mas como pode um programa de computador escrever um artigo ou desenhar uma paisagem que nunca existiu?

Grandes modelos de linguagem

Os sistemas de geração de texto baseiam-se em “grandes modelos de linguagem”. Estes assentam numa arquitetura de rede neuronal chamada “transformer”, apresentada num artigo de 2017 por investigadores da Google. O modelo é treinado com quantidades enormes de dados escritos — textos da web, livros e código. A tarefa de treino é surpreendentemente simples: ver uma parte de texto e prever a parte seguinte — a palavra ou parte de uma palavra designada por “token”. Ao tentar esta previsão ao longo de milhares de milhões de exemplos, o modelo aprende a estrutura da linguagem, as relações entre conceitos e uma enorme quantidade de conhecimento sob a forma de padrões estatísticos.

Tornar-se um assistente de chat

Um modelo acabado de sair do pré-treino sabe como continuar um texto, mas nem sempre compreende o que o utilizador pretende. Assim, numa segunda etapa, é afinado com exemplos de perguntas e respostas e com feedback em que pessoas avaliam que respostas são mais úteis, precisas e seguras. O modelo torna-se assim um assistente que segue instruções, consegue manter uma conversa e é mais cuidadoso com pedidos nocivos.

Geração de imagens

A maioria das ferramentas de texto para imagem utiliza “modelos de difusão”. Durante o treino, estes modelos aprendem como o ruído é adicionado às imagens passo a passo e, em seguida, como removê-lo. Na utilização, começam a partir de ruído aleatório e removem-no passo a passo de uma forma que se adequa à descrição do utilizador, criando uma nova imagem.

Limites e riscos

  • Alucinação: Os modelos de linguagem produzem o que é “provável”, não o que é “verdadeiro”. Assim, podem por vezes produzir informação inteiramente convincente mas falsa, fontes ou citações inexistentes.
  • Atualidade: O conhecimento de um modelo está limitado ao momento em que os seus dados de treino foram recolhidos; algumas ferramentas colmatam esta lacuna com a pesquisa na web.
  • Viés: Os preconceitos presentes nos dados de treino podem refletir-se nas respostas do modelo.
  • Privacidade: Verifique a política de dados de uma ferramenta antes de partilhar informações pessoais, financeiras ou empresariais confidenciais.
  • Direitos de autor e originalidade: Continuam os debates jurídicos sobre os direitos nos dados de treino e nos conteúdos gerados.

Utilizar com prudência

A IA generativa é um auxiliar poderoso para redigir, realizar chuva de ideias (brainstorming), resumir textos longos, explicar um tópico de diferentes formas e escrever código. Contudo, em assuntos importantes como saúde, direito e finanças, verifique sempre a informação com fontes fiáveis e peritos, e mantenha a decisão final e a responsabilidade do seu lado.

Termos frequentemente ouvidos: um pequeno glossário

  • Prompt: A instrução ou pergunta dada ao modelo. Quanto mais clara e rica em contexto for a prompt, mais preciso será o resultado.
  • Janela de contexto: A quantidade de texto que o modelo consegue “ver” de uma só vez. Se uma conversa exceder este limite, as partes mais antigas podem deixar de ser tidas em conta.
  • Temperatura: A definição para a aleatoriedade nas respostas. Um valor baixo proporciona resultados mais consistentes e repetíveis, enquanto um valor alto oferece resultados mais variados e criativos.
  • Afinação (fine-tuning): O treino adicional de um modelo pré-treinado com dados suplementares para uma tarefa ou domínio específico.
  • Multimodal: Modelos capazes de compreender e gerar diferentes tipos de dados, tais como imagens, áudio ou vídeo, para além de texto.

Como pode a precisão ser melhorada? Geração aumentada por recuperação (RAG)

Os modelos de linguagem “lembram-se” de informação dos seus dados de treino, pelo que, sobre tópicos desatualizados ou que nunca viram, podem dar respostas inventadas. Um método comum para reduzir este problema é a “geração aumentada por recuperação” (RAG), descrita por Lewis e colegas em 2020. Nesta abordagem, o sistema pesquisa primeiro numa coleção fiável de documentos por passagens relevantes para a pergunta e, em seguida, pede ao modelo para responder com base apenas nessas passagens.

A RAG facilita a demonstração do documento em que uma resposta se baseia e torna possível trabalhar com informação que o modelo nunca viu, como documentos internos de uma empresa. No entanto, não resolve totalmente o problema: se a pesquisa devolver o documento errado ou se o modelo o interpretar mal, podem ainda ocorrer erros. Por esta razão, o perfil de risco de IA generativa de 2024 do Instituto Nacional de Padrões e Tecnologia (NIST) dos EUA também lista práticas que recomendam a verificação humana dos resultados.

Perguntas frequentes

A IA “compreende” realmente?

Isto ainda é debatido entre cientistas e filósofos. Os modelos conseguem utilizar padrões complexos de linguagem de forma notável, mas não existe consenso sobre se possuem algo semelhante à compreensão humana.

Fontes e leitura adicional

  1. Ashish Vaswani et al., “Attention Is All You Need” (2017).
  2. Jonathan Ho et al., “Denoising Diffusion Probabilistic Models” (2020).
  3. Princípios de IA da OCDE; Recomendação da UNESCO sobre a Ética da Inteligência Artificial (2021).
  4. Lewis P. et al. – Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, NeurIPS (2020)
  5. NIST AI 600-1 – Generative Artificial Intelligence Profile (2024)
Partilhar
Siga a YulaHubReceba primeiro as notícias mais importantes do dia.
RSS

Deixe um comentário

Seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *