Ir para o conteúdo

O conhecimento que ilumina o mundo

O que é a alucinação da IA? Por que os chatbots inventam coisas e como detetá-las

Os assistentes de IA às vezes produzem fontes inexistentes, datas erradas ou citações inventadas. A isto chama-se "alucinação". Por que acontece, exemplos reais e verificações práticas para evitar ser induzido em erro.

O que é a alucinação da IA? Por que os chatbots inventam coisas e como detetá-las

Os chatbots de IA podem dar respostas organizadas e confiantes em segundos. Mas algumas dessas respostas podem conter um livro que não existe, uma citação que nunca foi dita ou uma data errada. Quando uma IA produz informação fluente mas falsa como esta, chama-se "alucinação". É uma das limitações mais importantes a compreender ao usar a IA como ferramenta útil.

Por que acontece a alucinação?

Os grandes modelos de linguagem preveem a próxima palavra mais provável numa frase com base em padrões aprendidos de enormes quantidades de texto. Não procuram coisas numa base de dados e não sabem inerentemente se o que dizem é verdade. Se um modelo não viu dados consistentes suficientes sobre um tópico, pode produzir uma resposta que soa certa em vez de dizer "não sei". Também vale a lembrar que o treino de um modelo termina numa certa data, por isso pode não saber eventos recentes ou apresentar informação antiga como atual.

Onde é mais comum?

  • Fontes e referências: Artigos, livros ou endereços web com aspeto realista mas inexistentes.
  • Citações: Palavras atribuídas a pessoas famosas que nunca as disseram.
  • Números e datas: Estatísticas, percentagens, datas de nascimento e morte.
  • Tópicos pouco conhecidos: Pessoas locais, pequenas organizações, novos produtos e áreas de nicho.
  • Direito, medicina e finanças: Áreas onde informação errada pode ter consequências graves.

Um exemplo real

Num caso de 2023 nos Estados Unidos, advogados citaram decisões judiciais geradas por um chatbot como precedentes no seu processo, decisões que não existiam realmente. O juiz concluiu que os casos eram inventados e os advogados foram multados. O episódio tornou-se um dos exemplos mais conhecidos dos riscos de usar a saída da IA em trabalho oficial sem a verificar.

Como se proteger

  1. Pedir fontes e verificá-las: Clicar no link e procurar realmente o livro ou artigo.
  2. Verificar informação importante na fonte primária: Confiar nas páginas de organismos oficiais, editores ou especialistas.
  3. Usar ferramentas baseadas em pesquisa para tópicos atuais: Assistentes que pesquisam a web e citam fontes são mais fiáveis em tópicos atuais, mas também podem cometer erros.
  4. Perguntar sobre incerteza: Perguntas como "Quão certo está, e que partes são disputadas?" podem revelar pontos fracos.
  5. Fazer a mesma pergunta de forma diferente: Ter cuidado se as respostas se contradizem.
  6. Consultar especialistas em saúde, direito e dinheiro: A IA pode ser útil para contexto, mas não substitui aconselhamento profissional.

O que estão os programadores a fazer?

As empresas de IA estão a desenvolver métodos de treino que encorajam os modelos a dizer quando não têm a certeza, técnicas de "geração aumentada por recuperação" (RAG) que fundamentam respostas em documentos fiáveis, e funcionalidades de citação. Estes métodos reduzem erros mas não os eliminam. A abordagem mais segura é, portanto, tratar a IA como parceiro de rascunho e brainstorming e deixar a decisão final para informação verificada.

Tipos e Âmbito da Alucinação

As alucinações em modelos de IA não se manifestam de uma única forma. Podem ser categorizadas em tipos distintos, principalmente erros factuais e inconsistências lógicas. Os erros factuais envolvem o modelo a apresentar um evento, pessoa, lugar ou data que não existe na realidade. Isto ocorre porque o modelo combina incorretamente probabilidades para preencher lacunas no seu conhecimento.

As alucinações lógicas possuem uma estrutura mais complexa e subtil. Nestes casos, mesmo que o modelo aceite a precisão da informação fornecida ou conhecida, pode errar nas relações de causa e efeito ou no processo de raciocínio estabelecido entre essas peças de informação. Por exemplo, pode chegar a uma conclusão completamente errada a partir de premissas corretas ou perder consistência lógica ao proceder passo a passo numa sequência matemática. Tais erros demonstram claramente que o modelo não apenas armazena informação, mas pode também ter falhas na forma como processa e sintetiza essa informação.

A Influência dos Dados de Treino

O processo de aprendizagem dos modelos está diretamente ligado à qualidade e diversidade dos enormes conjuntos de dados que encontram. Se os dados de treino contêm altas densidades de informação contraditória, crenças falsas, notícias enganosas ou narrativas incompletas, o modelo tende a aprender e repetir estes padrões erróneos. A presença de desinformação e conteúdo não verificado na internet é um dos fatores fundamentais que torna difícil para os modelos distinguir a linha ténue entre realidade e ficção.

Além disso, a distribuição desigual da densidade de informação dentro dos conjuntos de dados é um fator significativo que desencadeia alucinações. Embora um modelo possa fornecer respostas altamente consistentes e fiáveis sobre tópicos frequentemente encontrados e amplamente aceites, a sua taxa de erro aumenta rapidamente quando é forçado a fazer previsões sobre assuntos menos representados, de nicho ou muito recentes. Para preencher um vazio no seu conhecimento, o modelo constrói uma narrativa irrealista mas plausível usando os padrões linguísticos mais próximos disponíveis para si.

Métodos de Interação e o Papel dos Prompts

A forma como um utilizador comunica com a IA pode influenciar diretamente a precisão da resposta gerada. A maneira como uma pergunta é feita pode atuar como catalisador, fazendo o modelo desviar-se numa certa direção ou validar informação incorreta. Isto decorre do facto de os modelos serem programados não apenas para gerar uma resposta, mas também para alinhar com as expectativas do utilizador.

  • Fazer perguntas enganosas ou tendenciosas.
  • Fornecer contexto insuficiente ou incompleto.
  • Pedir raciocínio complexo e multi-passo.
  • Usar expressões ambíguas ou polissémicas.
  • Dar instruções excessivamente restritivas que testam os limites do modelo.

Neste processo, também conhecido como engenharia de prompts, a clareza e enquadramento das perguntas são ferramentas críticas para reduzir o risco de alucinação. Uma pergunta bem estruturada impede o modelo de se perder entre probabilidades e permite-lhe fornecer respostas numa base mais fiável.

Alucinações em Modelos Multimodais

Quando a IA se estende além do texto para processar diferentes tipos de dados como imagens, som e vídeo, as alucinações manifestam-se de várias formas. Em modelos visuais, é comum ver objetos posicionados de formas que desafiam as regras do mundo físico ou a adição de detalhes inexistentes.

Em modelos auditivos, pode observar-se a produção de sons que não existem na realidade ou a distorção não natural do ritmo e entoação da fala. Em modelos de vídeo, fenómenos como a perda de consistência temporal ou objetos a mudar de forma ao transitar de um frame para outro provam que o modelo não compreende totalmente a realidade física.

Abordagens de Detecção e Verificação

Vários métodos de verificação podem ser aplicados a níveis individual e técnico para minimizar o impacto das alucinações. Ao nível individual, o método mais eficaz é confirmar a informação gerada através de fontes diferentes e independentes. Em vez de confiar na resposta de um único modelo, sujeitar a informação a exame cruzado reduz significativamente a margem de erro.

Ao nível técnico, a investigação está em curso em mecanismos desenhados para permitir que os modelos auditem as suas próprias respostas. Comparar a saída de um modelo com um documento fiável fornecido a ele, ou fazer o modelo passar a sua própria saída por um filtro lógico, pode ajudar a detetar erros precocemente.

Limitações Teóricas e Desafios Estruturais

Eliminar completamente as alucinações da IA é um objetivo difícil devido à natureza inerente das arquiteturas e princípios de funcionamento atuais. Estes modelos não são seres conscientes capazes de compreender a realidade, mas sim máquinas probabilísticas que seguem matematicamente padrões linguísticos. Nestes sistemas, construídos no princípio de prever a próxima palavra ou ponto de dados, existe sempre um equilíbrio delicado e por vezes conflitante entre precisão e criatividade.

Quando o objetivo é aumentar a criatividade e produtividade, a probabilidade de o modelo produzir respostas mais inesperadas, originais e surpreendentes aumenta, mas isto também traz o risco de se afastar da realidade. Esta contradição estrutural permanece um dos problemas científicos, técnicos e filosóficos mais fundamentais a resolver no futuro desenvolvimento da IA. A incerteza inerente ao sistema serve como lembrete para permanecer sempre cauteloso ao usar a IA como ferramenta de apoio.

Perguntas frequentes

A alucinação acontece apenas em IA geradora de texto?

Não. Modelos geradores de imagem também podem adicionar detalhes que não estão lá, como mãos com dedos extra ou texto sem sentido. Erros semelhantes podem aparecer em modelos de áudio e vídeo.

Fontas e leitura adicional

  1. Mata v. Avianca, Inc., Tribunal Distrital dos EUA para o Distrito Sul de Nova Iorque, ordem de sanções de 22 de junho de 2023.
  2. NIST, "Artificial Intelligence Risk Management Framework: Generative AI Profile" (NIST AI 600-1), 2024.
  3. Ziwei Ji et al., "Survey of Hallucination in Natural Language Generation", ACM Computing Surveys, 2023.
Partilhar
Siga a YulaHubReceba primeiro as notícias mais importantes do dia.
RSS

Deixe um comentário

Seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *