Pesquisadores investigam segurança de IA em carros autônomos e encontram vulnerabilidades

A inteligência artificial é uma tecnologia essencial para veículos autônomos. Ela é usada para tomada de decisão, sensoriamento, modelagem preditiva e outras tarefas. Mas quão vulneráveis ​​são esses sistemas de IA a um ataque?

Pesquisas em andamento na Universidade de Buffalo examinam essa questão, com resultados sugerindo que agentes maliciosos podem causar falhas nesses sistemas. Por exemplo, é possível que um veículo possa ser tornado invisível para sistemas de radar alimentados por IA ao colocar estrategicamente objetos impressos em 3D naquele veículo, o que o mascara da detecção.

O trabalho, que é realizado em um ambiente de pesquisa controlado, não significa que os veículos autônomos existentes sejam inseguros, dizem os pesquisadores. No entanto, ele pode ter implicações para as indústrias automotiva, de tecnologia, de seguros e outras, bem como reguladores governamentais e formuladores de políticas.

“Embora ainda seja uma novidade hoje, veículos autônomos estão prestes a se tornar uma forma dominante de transporte em um futuro próximo”, diz Chunming Qiao, Professor Distinto da SUNY no Departamento de Ciência da Computação e Engenharia, que está liderando o trabalho. “Consequentemente, precisamos garantir que os sistemas tecnológicos que alimentam esses veículos, especialmente modelos de inteligência artificial, estejam seguros de atos adversários. Isso é algo em que estamos trabalhando diligentemente na Universidade de Buffalo.”

A pesquisa é descrita em uma série de artigos que datam de 2021 com um estudo publicado em Anais da Conferência ACM SIGSAC de 2021 sobre Segurança de Computadores e Comunicações (CCS). Exemplos mais recentes incluem um estudo de maio em Anais da 30ª Conferência Internacional Anual sobre Computação Móvel e Redes (mais comumente conhecido como Mobicom) e outro estudo no 33º Simpósio de Segurança USENIX deste mês que está disponível em arXiv.

Detecção de mmWave eficaz, mas vulnerável

Nos últimos três anos, Yi Zhu e outros membros da equipe de Qiao têm realizado testes em um veículo autônomo no Campus Norte da UB.

Zhu, que concluiu seu Ph.D. no Departamento de Ciência da Computação e Engenharia da UB em maio, aceitou recentemente uma posição de professor na Wayne State University. Especialista em segurança cibernética, ele é o autor principal dos artigos acima mencionados, que focam na vulnerabilidade de lidars, radares e câmeras, bem como sistemas que fundem esses sensores.

“Na condução autónoma, onda milimétrica [mmWave] O radar se tornou amplamente adotado para detecção de objetos porque é mais confiável e preciso em chuva, neblina e condições de pouca iluminação do que muitas câmeras”, diz Zhu. “Mas o radar pode ser hackeado tanto digitalmente quanto pessoalmente.”

Em um teste dessa teoria, pesquisadores usaram impressoras 3D e folhas de metal para fabricar objetos em formas geométricas específicas que eles chamaram de “máscaras de ladrilho”. Ao colocar duas máscaras de ladrilho em um veículo, eles descobriram que podiam enganar os modelos de IA na detecção de radar, fazendo com que esse veículo desaparecesse do radar.

O trabalho sobre máscaras de azulejos foi publicado em Anais da Conferência ACM SIGSAC de 2023 sobre Segurança de Computadores e Comunicações em novembro de 2023.

Os motivos do ataque podem incluir fraude de seguro e concorrência de AV

Zhu observa que, embora a IA possa processar muitas informações, ela também pode ficar confusa e fornecer informações incorretas se receber instruções especiais para as quais não foi treinada.

“Vamos supor que temos uma imagem de um gato, e a IA pode identificar corretamente que se trata de um gato. Mas se mudarmos ligeiramente alguns pixels na imagem, então a IA pode pensar que esta é uma imagem de um cachorro”, diz Zhu. “Este é um exemplo adversário de IA. Nos últimos anos, os pesquisadores encontraram ou projetaram muitos exemplos adversários para diferentes modelos de IA. Então, nos perguntamos: É possível projetar exemplos para os modelos de IA em veículos autônomos?”

Os pesquisadores notaram que potenciais atacantes poderiam furtivamente colocar um objeto adversário em um veículo antes que o motorista comece a viagem, estacione temporariamente ou pare em um semáforo. Eles poderiam até mesmo colocar um objeto em algo que um pedestre esteja vestindo, como uma mochila, efetivamente apagando a detecção daquele pedestre, diz Zhu.

As possíveis motivações para tais ataques incluem causar acidentes por fraude de seguros, competição entre condução autónoma empresas, ou um desejo pessoal de machucar o motorista ou passageiros de outro veículo.

É importante notar, dizem os pesquisadores, que os ataques simulados assumem que o atacante tem conhecimento total do sistema de detecção de objetos de radar do veículo da vítima. Embora obter essas informações seja possível, também não é muito provável entre membros do público.

A segurança fica atrás de outras tecnologias

A maioria das tecnologias de segurança AV se concentra na parte interna do veículo, enquanto poucos estudos analisam ameaças externas, diz Zhu.

“A segurança ficou um pouco atrás das outras tecnologias”, diz ele.

Embora os pesquisadores tenham procurado maneiras de impedir esses ataques, eles ainda não encontraram uma solução definitiva.

“Acho que há um longo caminho a percorrer na criação de uma defesa infalível”, diz Zhu. “No futuro, gostaríamos de investigar a segurança não apenas dos radares, mas também de outros sensores, como a câmera e o planejamento de movimento. E também esperamos desenvolver algumas soluções de defesa para mitigar esses ataques.”