Quando utiliza assistentes como o ChatGPT, Gemini ou Claude, o que escreve é enviado para os servidores da empresa e a resposta é produzida lá. Paralelamente, modelos de "pesos abertos", cujos ficheiros treinados qualquer pessoa pode descarregar e executar no seu próprio computador ou servidor, estão a espalhar-se rapidamente.
O que significa "pesos"?
Um modelo de linguagem armazena o que aprende a partir de texto durante o treino em milhares de milhões de valores numéricos (parâmetros, ou "pesos"). O ficheiro do modelo consiste principalmente nestes pesos. Com um modelo de pesos abertos, este ficheiro é partilhado, para que o modelo possa ser executado sem ligação à Internet ou aos servidores da empresa.
Peso aberto é o mesmo que código aberto?
Nem sempre. Segundo a "Definição de IA de Código Aberto" publicada pela Open Source Initiative (OSI) em 2024, para que um modelo seja considerado de código aberto, o código de treino e informação suficiente sobre os dados de treino também devem ser partilhados, e o uso deve ser irrestrito. Muitos modelos populares partilham apenas os seus pesos e vêm com os seus próprios termos de licença, por exemplo, exigindo permissão extra para empresas acima de um certo número de utilizadores ou restringindo certos usos. Por isso, leia a licença de um modelo antes de o usar comercialmente.
Famílias de modelos conhecidas
- Llama: Desenvolvido pela Meta, pioneira na popularização de modelos de pesos abertos.
- Mistral: Modelos da empresa francesa Mistral AI.
- Qwen: Família de modelos multilingues da Alibaba.
- DeepSeek: Modelos da empresa chinesa DeepSeek, notados especialmente para raciocínio e programação.
- Gemma: Modelos abertos, relativamente pequenos e eficientes da Google.
Estas famílias lançam novas versões frequentemente; verifique sempre as suas páginas oficiais para o estado atual e licenças.
Como executá-los num computador
Ferramentas gratuitas como Ollama, LM Studio e llama.cpp permitem-lhe descarregar e executar modelos abertos com alguns cliques ou um único comando. Os modelos são geralmente comprimidos com um método chamado "quantização" para que precisem de menos memória. Modelos pequenos podem ser executados mesmo num portátil recente, enquanto modelos grandes precisam de muita memória e de uma placa gráfica potente. Como regra, quanto maior o modelo, mais capaz é e mais hardware precisa.
Vantagens
- Privacidade: Os dados nunca saem do seu dispositivo, uma grande vantagem ao trabalhar com documentos sensíveis.
- Uso offline: Uma vez descarregado, o modelo pode ser executado sem ligação.
- Personalização: As organizações podem afinar o modelo com os seus próprios dados para tarefas específicas.
- Controlo de custos: Para uso intensivo, executar no seu próprio hardware pode ser mais previsível para algumas organizações.
Limites e riscos
- Exigem hardware e algum conhecimento de configuração.
- Modelos pequenos podem cometer erros e alucinar mais frequentemente do que os maiores modelos fechados.
- Como as medidas de segurança podem ser facilmente alteradas pelos utilizadores, os debates sobre uso indevido continuam.
- Descarregue ficheiros de modelos apenas de fontes confiáveis.
Licenças: o que vigiar em modelos "abertos"
Conseguir descarregar os pesos de um modelo não significa que o possa usar livremente para qualquer fim. O texto da licença é o que realmente decide, e há diferenças importantes entre famílias:
- Licenças permissivas: Alguns modelos, como o Mistral 7B, foram lançados sob a licença Apache 2.0, e o DeepSeek-R1 sob a licença MIT. Estas licenças geralmente permitem uso comercial e modificação.
- Licenças comunitárias: Os modelos Llama da Meta são distribuídos sob a sua própria licença comunitária; por exemplo, empresas com mais de 700 milhões de utilizadores ativos mensais devem obter uma licença separada, e espera-se o cumprimento de uma política de uso aceitável.
- Termos de uso: Os modelos Gemma da Google estão vinculados a um texto separado de termos de uso e a uma lista de usos proibidos.
- Licenças diferentes dentro de uma família: Em algumas famílias, como a Qwen, a licença pode mudar com o tamanho do modelo, por isso a página de cada lançamento precisa de ser lida separadamente.
Se estiver a pensar usar um modelo num produto ou serviço, verifique a licença e a política de uso para a versão exata que descarregou; em caso de dúvida, procure aconselhamento jurídico.
Que hardware é suficiente? Um cálculo de memória aproximado
Há uma forma simples de estimar quanta memória um modelo precisa: multiplique o número de parâmetros pelo número de bytes por parâmetro. Com precisão de 16 bits (2 bytes), um modelo com 7 mil milhões de parâmetros precisa de cerca de 14 GB de memória apenas para os pesos. Com quantização de 4 bits, o mesmo modelo cai para aproximadamente 4–5 GB, o que o torna executável em muitos portáteis atuais.
Além disso, vem memória extra que cresce com o comprimento da conversa (a cache de contexto), por isso é sensato deixar alguma margem acima da estimativa. O projeto llama.cpp, amplamente usado para executar modelos localmente, e o seu formato de ficheiro GGUF tornam possível executar modelos quantizados no processador mesmo em computadores sem placa gráfica; a velocidade, no entanto, varia consideravelmente com o hardware.
Fontes e leitura adicional
- Open Source Initiative (OSI), "The Open Source AI Definition 1.0" (2024).
- Meta AI, páginas de licença Llama e política de uso aceitável.
- Hugging Face, hub de modelos abertos e documentação.
- Documentação oficial do Ollama e LM Studio.
- Apache Software Foundation – Apache License 2.0
- Meta – Llama 3 Community License Agreement
- ggml-org – llama.cpp (GitHub) e documentação GGUF
Deixe um comentário
Seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *