Inspirados pelos cartógrafos do século XX, pesquisadores imperiais demonstraram uma nova maneira de identificar o trabalho dos detentores de direitos autorais em LLMs.

A técnica foi apresentada na Conferência Internacional sobre Aprendizado de Máquina em Viena esta semana e é detalhada neste pré-impressão no arXiv servidor.

A IA generativa está conquistando o mundo e já está transformando a vida cotidiana de milhões de pessoas.

No entanto, hoje, a IA é frequentemente construída em bases legais “instáveis” quando se trata de dados de treinamento. Modelos modernos de IA, como Large Language Models (LLMs), exigem grandes quantidades de texto, imagens e outras formas de conteúdo da internet para atingir suas capacidades impressionantes.

Em um novo artigo de especialistas do Imperial College London, pesquisadores propõem um mecanismo para detectar o uso de dados para treinamento de IA.

Eles esperam que o método proposto sirva como um passo em direção a uma maior abertura e transparência em um campo em rápida evolução da IA ​​Generativa e ajude os autores a entender melhor como seus textos são usados.

O pesquisador principal Dr. Yves-Alexandre de Montjoye, do Departamento de Computação do Imperial College, disse: “Inspirando-nos nos cartógrafos do início do século XX, que colocavam cidades fantasmas em seus mapas para detectar cópias ilícitas, estudamos como a injeção de ‘armadilhas de direitos autorais’ — frases fictícias exclusivas — no texto original permite a detectabilidade de conteúdo em um LLM treinado.”

Primeiro, o proprietário do conteúdo repetiria uma armadilha de direitos autorais várias vezes em sua coleção de documentos (por exemplo, artigos de notícias). Então, se um desenvolvedor LLM raspar os dados e treinar um modelo nele, o proprietário dos dados seria capaz de provar com segurança o treinamento observando irregularidades nas saídas do modelo.

A proposta é mais adequada para editores on-line, que poderiam ocultar a frase de proteção de direitos autorais em artigos de notícias, de modo que ela permanecesse invisível para o leitor, mas provavelmente seria detectada por um raspador de dados.

No entanto, o Dr. de Montjoye enfatiza como os desenvolvedores de LLM podem desenvolver técnicas para remover armadilhas e evitar a detecção. Com armadilhas sendo incorporadas de várias maneiras diferentes em novos artigosremover todos eles com sucesso provavelmente exigirá recursos de engenharia significativos para ficar à frente de novas maneiras de incorporá-los.

Para verificar a validade da abordagem, eles fizeram uma parceria com uma equipe na França, treinando um “verdadeiramente bilíngue“LLM de parâmetro 1.3B inglês-francês, injetando várias armadilhas de direitos autorais no conjunto de treinamento de um modelo de linguagem eficiente em parâmetros de última geração do mundo real. Os pesquisadores acreditam que o sucesso de seus experimentos permite melhores ferramentas de transparência para o campo de treinamento de LLM.

O coautor Igor Shilov, também do Departamento de Computação do Imperial College London, acrescentou: “As empresas de IA estão cada vez mais relutantes em compartilhar qualquer informação sobre seus dados de treinamento. Enquanto o dados de treinamento a composição do GPT-3 e do LLaMA (modelos mais antigos lançados pela OpenAI e Meta AI, respectivamente) é conhecida publicamente, mas isso não é mais o caso dos modelos mais recentes GPT-4 e LLaMA-2.

“Os desenvolvedores de LLM têm pouco incentivo para serem abertos sobre seus procedimentos de treinamento, o que leva a uma preocupante falta de transparência (e, portanto, de compartilhamento justo dos lucros), tornando mais importante do que nunca ter ferramentas para inspecionar o que foi incluído no processo de treinamento.”

O coautor Matthieu Meeus, também do Departamento de Computação do Imperial College London, disse: “Acreditamos que a questão da transparência do treinamento de IA e as discussões sobre compensação justa para criadores de conteúdo são muito importantes para o futuro, onde a IA é construída de forma responsável. Nossa esperança é que esse trabalho sobre armadilhas de direitos autorais contribua para uma solução sustentável.”