Consórcio SHERPA: se a IA pudesse sentir, ela temeria ataques cibernéticos de pessoas



Artificial intelligence (AI) is rapidly finding applications in nearly every walk of life. Self-driving cars, social media networks, cyber security companies, and everything in between uses it. But a new report published by the SHERPA consortium - an EU project studying the impact of AI on ethics and human rights that F-Secure joined in 2018 - finds that while human attackers have access to machine learning techniques, they currently focus most of their efforts on manipulating existing AI systems for malicious purposes instead of creating new attacks that would use machine learning.

O foco principal do estudo é como atores mal-intencionados podem abusar da IA, aprendizado de máquina e sistemas de informações inteligentes. Os pesquisadores identificam uma variedade de usos potencialmente maliciosos para a IA que estão bem ao alcance dos atacantes de hoje, incluindo a criação de sofisticadas campanhas de desinformação e engenharia social. E embora a pesquisa não tenha encontrado provas definitivas de que atores mal-intencionados estejam usando a IA para potencializar ataques cibernéticos, eles destacam que os adversários já estão atacando e manipulando os sistemas existentes de IA usados ​​por mecanismos de pesquisa, empresas de mídia social, sites de recomendação e muito mais.
Andy Patel, da F-Secure, pesquisador do Centro de Excelência em Inteligência Artificial da empresa, acha que muitas pessoas acham isso surpreendente. Os retratos populares da IA ​​insinuam que ela se voltará contra nós e começará a atacar as pessoas por conta própria. Mas a realidade atual é que os humanos estão atacando os sistemas de IA regularmente.

'Alguns humanos equiparam incorretamente inteligência de máquina com inteligência humana, e acho que é por isso que associam a ameaça da IA ​​a robôs assassinos e computadores fora de controle', explica Patel. 'Mas ataques humanos contra a IA realmente acontecem o tempo todo. Os ataques de Sybil projetados para envenenar os sistemas de IA que as pessoas usam todos os dias, como os sistemas de recomendação, são comuns. Existem até empresas que vendem serviços para suportar esse comportamento. Ironicamente, os sistemas atuais de IA têm mais a temer dos seres humanos do que o contrário.

Os ataques Sybil envolvem uma única entidade criando e controlando várias contas falsas, a fim de manipular os dados que a IA usa para tomar decisões. Um exemplo popular desse ataque é manipular classificações de mecanismos de pesquisa ou sistemas de recomendação para promover ou rebaixar determinadas partes do conteúdo. No entanto, esses ataques também podem ser usados ​​para projetar socialmente indivíduos em cenários de ataque direcionado.

'Esses tipos de ataques já são extremamente difíceis de serem detectados pelos provedores de serviços on-line e é provável que esse comportamento seja muito mais difundido do que qualquer um entende', diz Patel, que fez uma extensa pesquisa sobre atividades suspeitas no Twitter.

Mas talvez o aplicativo mais útil da IA ​​para invasores no futuro os ajude a criar conteúdo falso. O relatório observa que a IA avançou a um ponto em que pode fabricar conteúdo escrito, áudio e visual extremamente realista. Alguns modelos de IA foram ocultados ao público para impedir que sejam abusados ​​por atacantes.

No momento, nossa capacidade de criar conteúdo falso convincente é muito mais sofisticada e avançada do que nossa capacidade de detectá-lo. E a IA está nos ajudando a melhorar a fabricação de áudio, vídeo e imagens, o que tornará a desinformação e o conteúdo falso mais sofisticados e difíceis de detectar '', diz Patel. 'E existem muitas aplicações diferentes para conteúdo falso e convincente, por isso espero que isso acabe se tornando problemático.'

O estudo foi produzido pela F-Secure e seus parceiros no SHERPA - um projeto financiado pela UE, fundado em 2018 por 11 organizações de 6 países diferentes. Outras descobertas e tópicos abordados no estudo incluem:
  • Os adversários continuarão aprendendo a comprometer os sistemas de IA à medida que a tecnologia se espalhar
  • O número de maneiras pelas quais os invasores podem manipular a saída da IA ​​torna esses ataques difíceis de detectar e proteger contra
  • Poderes que competem para desenvolver melhores tipos de IA para fins ofensivos / defensivos podem acabar precipitando uma 'corrida armamentista de IA'
  • Proteger os sistemas de IA contra ataques pode causar problemas éticos (por exemplo, o aumento do monitoramento da atividade pode violar a privacidade do usuário)
  • As ferramentas e modelos de IA desenvolvidos por agentes de ameaças avançados e com bons recursos acabarão proliferando e sendo adotados por adversários menos qualificados
    O professor Bernd Stahl, coordenador de projetos da SHERPA, da Universidade De Montfort Leicester, diz que o papel da F-Secure na SHERPA como o único parceiro do setor de segurança cibernética está ajudando o projeto a explicar como atores mal-intencionados podem usar a IA para minar a confiança na sociedade.
'O objetivo do nosso projeto é entender as conseqüências éticas e de direitos humanos da IA ​​e da análise de big data para ajudar a desenvolver maneiras de lidar com elas. Este trabalho deve basear-se em um entendimento sólido das capacidades técnicas e das vulnerabilidades, uma área crucial de conhecimento que a F-Secure contribui para o consórcio '', afirma Stahl. “Não podemos ter conversas significativas sobre direitos humanos, privacidade ou ética na IA sem considerar a segurança cibernética. E como um confiável
Fonte do conhecimento sobre segurança, as contribuições da F-Secure são uma parte central do projeto. '

The full-length study is currently available here. More information on artificial intelligence and cyber security is available on F-Secure's blog, or F-Secure's News from the Labs research blog.