Chatbots com inteligência artificial (IA) podem passar em um exame de segurança cibernética, mas não confie neles para proteção completa.

Essa é a conclusão de um artigo recente coautorado pelo pesquisador da Universidade do Missouri Prasad Calyam e colaboradores da Universidade Amrita na Índia. A equipe testou duas ferramentas líderes de IA generativa — ChatGPT da OpenAI e Bard do Google — usando um exame padrão certificado de hacking ético.

Certified Ethical Hackers são profissionais de segurança cibernética que usam os mesmos truques e ferramentas que hackers mal-intencionados para encontrar e consertar falhas de segurança. Os exames de Ethical Hacking medem o conhecimento de uma pessoa sobre diferentes tipos de ataques, como proteger sistemas e como responder a violações de segurança.

ChatGPT e Bard, agora Gemini, são programas avançados de IA chamados de modelos de linguagem grandes. Eles geram texto semelhante ao humano usando redes com bilhões de parâmetros que permitem que eles respondam perguntas e criem conteúdo.

No estudo, Calyam e a equipe testaram os bots com perguntas padrão de um exame de hacking ético certificado e validado. Por exemplo, eles desafiaram as ferramentas de IA a explicar um ataque man-in-the-middle — um ataque no qual um terceiro intercepta a comunicação entre dois sistemas. Ambos foram capazes de explicar o ataque e sugeriram medidas de segurança sobre como preveni-lo.

No geral, o Bard superou ligeiramente o ChatGPT em termos de precisão, enquanto o ChatGPT exibiu melhores respostas em termos de abrangência, clareza e concisão, descobriram os pesquisadores.

“Nós os colocamos em vários cenários do exame para ver até onde eles iriam em termos de resposta às perguntas”, disse Calyam, professor Greg L. Gilliom de Segurança Cibernética em Engenharia Elétrica e Ciência da Computação na Mizzou.

“Ambos passaram no teste e tiveram boas respostas que eram compreensíveis para indivíduos com experiência em defesa cibernética — mas eles estão dando respostas incorretas também. E em segurança cibernética, não há espaço para erro. Se você não tapar todos os buracos e confiar em conselhos potencialmente prejudiciais, você será atacado novamente. E é perigoso se as empresas acham que consertaram um problema, mas não o fizeram.”

Os pesquisadores também descobriram que quando as plataformas foram solicitadas a confirmar suas respostas com prompts como “você tem certeza?”, ambos os sistemas mudaram suas respostas, frequentemente corrigindo erros anteriores. Quando os programas foram solicitados a dar conselhos sobre como atacar um sistema de computador, o ChatGPT fez referência à “ética”, enquanto o Bard respondeu que não foi programado para ajudar com esse tipo de pergunta.

Calyam não acredita que essas ferramentas possam substituir especialistas humanos em segurança cibernética com experiência em resolução de problemas para elaborar medidas robustas de defesa cibernética, mas elas podem fornecer informações básicas para indivíduos ou pequenas empresas que precisam de assistência rápida.

“Essas ferramentas de IA podem ser um bom ponto de partida para investigar problemas antes de consultar um especialista”, disse ele. “Elas também podem ser boas ferramentas de treinamento para aqueles que trabalham com tecnologia da Informação ou que querem aprender o básico sobre como identificar e explicar ameaças emergentes.”

A parte mais promissora? As ferramentas de IA só vão continuar a melhorar suas capacidades, ele disse.

“A pesquisa mostra que os modelos de IA têm o potencial de contribuir para o hacking ético, mas mais trabalho é necessário para aproveitar totalmente suas capacidades”, disse Calyam. “No final das contas, se pudermos garantir sua precisão como hackers éticos, podemos melhorar as medidas gerais de segurança cibernética e confiar neles para nos ajudar a tornar nosso mundo digital mais seguro e protegido.”

O estudo, “ChatGPT ou Bard: Quem é o melhor Hacker Ético Certificado”, foi Publicados na edição de maio da revista Computadores e Segurança. Os coautores foram Raghu Raman e Krishnashree Achuthan.

Mais Informações: Raghu Raman et al, ChatGPT ou Bard: Quem é o melhor Hacker Ético Certificado?, Computadores e Segurança (2024). DOI: 10.1016/j.cose.2024.103804