Anthropic trabalha em um sistema para comprovar a identidade de modelos de IA
Publicado
Chamado FlashProve, o sistema permitiria verificar se uma resposta de IA realmente veio do modelo que afirma tê-la produzido.
O FlashProve também poderia verificar alegações de terceiros de que uma tarefa específica foi realizada por um modelo avançado. “Um desenvolvedor poderia afirmar que sua biblioteca de software foi analisada em busca de vulnerabilidades por um modelo de ponta em cibersegurança, ou uma empresa poderia afirmar que seu plano de negócios recebeu aprovação de um modelo adequado”, escrevem os pesquisadores. “Como um usuário pode verificar essas alegações?”
Para funcionar, o sistema exige que os laboratórios de IA publiquem uma “impressão digital” de cada modelo lançado, que depois possa ser associada a resultados específicos e verificada por criptografia. É fundamental que essas impressões digitais não revelem os pesos do modelo, os números internos que definem seu comportamento e que fabricantes de modelos fechados, como Anthropic e OpenAI, mantêm em sigilo. Assim, os laboratórios poderiam publicar as impressões digitais sem abrir mão de seu ativo mais valioso, permitindo que o sistema também funcione com modelos comerciais. Ele também foi concebido para ser leve, possibilitando a verificação em um dispositivo local.
“Esta publicação de pesquisa pretende compartilhar avanços intermediários, e não uma agenda de pesquisa concluída”, explicam os pesquisadores no anúncio. “Estamos compartilhando isso explicitamente para que outras pessoas examinem o que fizemos, aproveitem o trabalho e o melhorem.”
Este artigo foi útil?
Join the technical discussion
Comments are published after review. Edited comments are reviewed again.