Em 2023, houve um avanço significativo no desenvolvimento de ferramentas utilizando algoritmos de inteligência artificial (IA), com o mercado de tecnologia de IA crescendo em trinta porcento. Tecnologias de aprendizado de máquina¹ estão sendo incorporadas à nossa vida cotidiana, incluindo tarefas relacionadas ao trabalho, como coleta e preparação de informações, resumo de textos longos e geração de conteúdo. 

Tecnologias de IA estão sendo implementadas em diversas indústrias, como manufatura, medicina, agricultura, varejo e entretenimento. A inteligência artificial é usada para automatizar várias tarefas, mesmo as complexas, como dirigir carros, reconhecer objetos (por exemplo, tumores na medicina ou ervas daninhas na agricultura), otimizar cadeias de suprimentos e posicionamento de pontos de venda, e gerar conteúdo de entretenimento. No entanto, as amplas capacidades dos sistemas de IA existentes e seu grande potencial estão atraindo a atenção não apenas das empresas, mas também dos cibercriminosos. Criminosos estão experimentando maneiras de incorporar a inteligência artificial em diferentes tipos e estágios de ataques. 

A IA pode ser aplicada para uma ampla gama de propósitos cibercriminosos. Com sistemas de IA generativa, os criminosos podem coletar rapidamente informações sobre seus alvos, criar conteúdo para ataques (sejam e-mails de phishing, chamadas de áudio ou deepfakes de vídeo), gerar códigos maliciosos e procurar vulnerabilidades em aplicativos-alvo. Ferramentas maliciosas que integram tecnologias de IA podem ser usadas para automatizar a análise de grandes volumes de dados em ataques de canal lateral e outras etapas de ataque. 

Os criminosos podem usar a IA para automatizar ciberataques? Quais são as ameaças que os deepfakes representam? Quais são as perspectivas do uso da IA em ciberataques e quais ações devem ser tomadas agora para proteger indivíduos e organizações dos ataques de cibercriminosos? Neste estudo, avaliaremos o papel das ferramentas baseadas em IA no arsenal dos cibercriminosos hoje. 

Apesar do uso limitado da IA em ciberataques até o momento, o potencial da tecnologia é enorme. Os cibercriminosos estão ativamente introduzindo novos métodos promissores em ataques e continuam buscando maneiras de melhorar e otimizar suas operações por meio de uma maior implementação de IA. 

O uso potencial da IA em ciberataques pode ser dividido aproximadamente em vários níveis com base no grau de automação do processo.

1. Assistência a um cibercriminoso iniciante no estágio inicial do planejamento de um ataque

Modelos de linguagem grandes podem ajudar cibercriminosos iniciantes a entender os fundamentos, fornecer informações concisas e responder rapidamente a perguntas básicas. 

Se um cibercriminoso contornar as restrições de segurança para gerar conteúdo inaceitável ou usar um LLM criado especificamente para criminosos, eles podem obter respostas para perguntas mais complexas. Por exemplo, o criminoso pode perguntar se deixou de fora algo em seu plano de ataque ou explorar diferentes abordagens para uma etapa específica do ataque. 

2. Assistência na execução de determinadas etapas de um ataque

Além de perguntas básicas, os cibercriminosos podem usar a IA como um assistente digital, além de gerar conteúdo malicioso para etapas específicas de um ataque.  A IA pode tanto sugerir ações ótimas para o criminoso quanto realizar ações simples em seu nome. Por exemplo, os cibercriminosos já estão usando IA para gerar scripts e verificar códigos ao preparar um malware. 

3. Automatizando determinadas etapas de um ataque

Os cibercriminosos já estão usando as capacidades gerativas da IA e sua capacidade de processar grandes volumes de informações em seus ataques.  Os criminosos geram mensagens de phishing e deepfakes, automatizam contas fraudulentas, exploram vulnerabilidades e coletam e analisam informações sobre a vítima.  Esperamos que os cibercriminosos envolvam cada vez mais a IA em várias etapas de seus ataques.

4. Automação total de um ataque

Até agora, nenhum ataque foi totalmente atribuído à inteligência artificial. No entanto, os cibercriminosos, bem como as equipes de segurança da informação, estão cada vez mais automatizando seu trabalho. Prevemos que, com o tempo, as ferramentas de cibercriminosos e os módulos de IA serão mesclados em clusters para automatizar cada vez mais etapas de ataque. 

5. Automação de campanhas de cibercrime

Se os cibercriminosos conseguirem automatizar ataques em qualquer alvo selecionado, a próxima etapa pode ser deixar a IA procurar independentemente por alvos com base em determinadas características e parâmetros, como por empresas ou países.

Uma das primeiras etapas na condução de um ataque é o reconhecimento e a coleta de informações. Os cibercriminosos podem precisar de detalhes técnicos e dados pessoais sobre suas vítimas.  A IA permite que os cibercriminosos automatizem todo o processo de OSINT², que envolve coletar, analisar e resumir as informações necessárias (um exemplo do terceiro nível de uso de IA em nossa estrutura). 

OSINT chatbots

Em 2023 e 2024, vários modelos de linguagem grandes foram lançados, incluindo os exclusivos, como ChatGPT-4 e ChatGPT-4o, o open-source Llama 2 e os modelos russos YandexGPT e GigaChat. Modelos de linguagem grandes podem coletar e processar informações rapidamente, ajudando significativamente os cibercriminosos em cada etapa do OSINT. 

O OSINT começa com a identificação de fontes, e a IA pode imediatamente sugerir as opções mais promissoras, posteriormente complementando e refinando a lista à medida que novas informações sobre o alvo são adquiridas.  Uma vez identificadas as fontes, inicia-se a coleta e o processamento de dados. Um dos principais desafios do OSINT nesta etapa é o enorme volume de informações, que requer muito tempo para ser processado. As tecnologias de IA abordam esse problema automatizando as buscas de dados em diferentes formatos e fontes, permitindo um reconhecimento mais amplo. 

A IA pode coletar dados de uma ampla gama de fontes, incluindo mídia social, sites, notícias, documentos publicamente disponíveis, fotos e vídeos. Por meio disso, os cibercriminosos podem compilar informações extensas sobre indivíduos, bem como organizações e seus funcionários. A partir desses dados, ferramentas alimentadas por IA podem extrair rapidamente detalhes úteis para os cibercriminosos, como informações pessoais e de login, hábitos e hobbies da vítima ou informações sobre as atividades e infraestrutura técnica da organização-alvo — qualquer coisa que possa ser relevante para planejar os próximos passos do ataque. 

Além de pesquisar fontes de dados, a IA pode ser usada para construir um perfil do alvo com base nos dados coletados. Os resultados do reconhecimento são geralmente compilados em um relatório que consolida todas as informações coletadas, e aqui, mais uma vez, a IA se mostra valiosa: os grandes modelos de linguagem são hábeis em resumir dados e podem fornecer aos cibercriminosos os detalhes mais importantes em um formato conciso.

Outro efeito da incorporação da IA no OSINT é a remoção das barreiras linguísticas. Os cibercriminosos podem coletar informações em outros idiomas e traduzi-las, permitindo que eles visem novas regiões geográficas e expandam o escopo de suas operações.

Hoje, já existem várias ferramentas de cibersegurança OSINT em domínio público, como OCIGPT e Taranis_AI (este último cofinanciado pelo Connecting Europe Facility da União Europeia). Essas ferramentas fornecem assistência especializada aos analistas na coleta de dados de mídia social, dark web, sites e transações de criptomoedas, além de organizar informações em relatórios em vários formatos. Com o tempo, os cibercriminosos podem desenvolver ferramentas semelhantes para fins criminosos. 

Os cibercriminosos já foram vistos usando IA para OSINT.  Em 2023, pelo menos cinco grupos usaram produtos da OpenAI para coleta de informações de código aberto, coletando dados sobre seus rivais, ferramentas de cibersegurança, várias tecnologias e protocolos, agências de inteligência e outras organizações, bem como especialistas individuais. Eles também aprenderam a ocultar seus processos e traduzir documentação técnica com a ajuda da IA. 

Os chatbots não são usados apenas por grupos APT. Por exemplo, administradores de vários fóruns da dark web empregaram chatbots para pesquisa de informações mais rápida.

Análise de mídia social impulsionada por IA 

Um canal comum para coletar informações sobre um alvo são as postagens nas redes sociais. Com apenas uma foto, os cibercriminosos podem facilmente encontrar as contas de uma pessoa. Ferramentas para procurar contas de mídia social com base em uma única foto estão disponíveis há algum tempo, incluindo opções baseadas em IA, como o EagleEye, que usa aprendizado de máquina para procurar contas em quatro redes sociais com base em uma única imagem. 

Em outubro de 2023, pesquisadores da ETH Zurich demonstraram como grandes modelos de linguagem podem ser usados para coletar dados sobre um alvo, incluindo gênero, idade, estado civil, residência e local de nascimento, educação, profissão e renda. Apesar de algumas falhas de qualidade, o GPT-4 conseguiu reunir informações com precisão e escopo próximos aos de um especialista humano, mas significativamente mais rápido.

Perspectivas para a coleta de informações assistida por IA

No futuro, os cibercriminosos podem usar ferramentas de IA para extrair informações de fotos e vídeos compartilhados publicamente, incluindo dados sobre locais, software, modelos de dispositivos em uso, interesses do alvo ou até mesmo informações confidenciais, como credenciais de login, capturadas acidentalmente em imagens. 

Além de coletar informações, as ferramentas de IA podem potencialmente preencher dados ausentes com base no que já foi coletado.  Por exemplo, eles podem prever a arquitetura de rede de uma empresa-alvo analisando empresas semelhantes dentro do mesmo setor e de tamanho comparável. Usando dados públicos de mídia social, eles também podem rastrear páginas da web esquecidas, mas ainda ativas, para procurar vulnerabilidades. Um avanço tecnológico significativo pode permitir que os cibercriminosos desenvolvam ferramentas baseadas em IA capazes de criar uma cópia digital de um sistema com base em varreduras e dados coletados sobre o alvo. Com essa réplica digital, os criminosos poderiam simular ataques reais, modelar várias ações e testar malware.

A exploração de vulnerabilidades continua sendo um método de ataque comum. De acordo com nossos dados, ela foi usada em um terço dos ataques bem-sucedidos às organizações (35%) no primeiro semestre de 2024. Atualmente, os cibercriminosos usam a IA para auxiliar em tarefas específicas de exploração de vulnerabilidades (isso representa o segundo nível de uso de IA — assistindo em etapas individuais de ataque). Se as soluções de automação mais promissoras se mostrarem eficazes, o uso da IA nessa área avançará para o terceiro nível (automação de etapas inteiras).

Em agosto de 2023, um estudo mostrou que grandes modelos de linguagem (LLMs) podem auxiliar os testadores de penetração ao coletar informações sobre um sistema-alvo e automatizar a exploração de vulnerabilidades simples. Em 2024, Igor Sak-Sakovskiy, especialista em segurança de aplicativos da web da Positive Technologies, descreveu como o ChatGPT foi capaz de descobrir uma vulnerabilidade de injeção de entidade externa XML (XXE) em um navegador da web. 

Em fevereiro de 2024, pesquisadores da Universidade de Illinois em Urbana-Champaign confirmaram que agentes LLM⁴ poderiam procurar e explorar vulnerabilidades de sites. Dos 10 modelos de linguagem testados, apenas o GPT-4 mostrou resultados consistentes em vulnerabilidades simples.  Em abril de 2024, a mesma equipe conseguiu melhorar seus resultados: usando agentes LLM, eles conseguiram explorar várias vulnerabilidades de dia zero. Novamente, apenas o GPT-4 foi bem-sucedido, desde que os pesquisadores fornecessem ao LLM uma descrição da vulnerabilidade. E, finalmente, em junho de 2024, esses pesquisadores usaram equipes de agentes LLM para explorar vulnerabilidades de dia zero. Eles introduziram um novo método, HPTSA (planejamento hierárquico e agentes específicos de tarefas), que envolve dividir tarefas entre diferentes agentes. Um agente planejador investiga o sistema-alvo e envia informações para um agente gerenciador. O agente gerenciador seleciona o agente mais adequado para uma tarefa específica. Além disso, esse agente gerenciador retém informações de sessões anteriores, permitindo-lhe reiniciar agentes para determinadas tarefas, com instruções refinadas ou modificadas. Teoricamente, esses sistemas poderiam ir além da exploração de vulnerabilidades da web para fins de pesquisa; no futuro, eles poderiam ser amplamente usados por testadores de penetração e cibercriminosos. 

O HPTSA é uma variante de uma abordagem modular em que os usuários podem potencialmente adicionar e modificar componentes de ferramentas, por exemplo, atualizar o agente planejador ou empregar mais agentes específicos de tarefas. Prevemos que, no futuro próximo, os cibercriminosos implementarão a IA nesse formato modular: fragmentos podem ser substituídos ou complementados com opções de software tradicionais, permitindo a experimentação para aproveitar os pontos fortes da IA sem comprometer os resultados. 

Os cibercriminosos não precisam necessariamente desenvolver suas próprias ferramentas: ferramentas baseadas em IA projetadas para testes de penetração inevitavelmente acabarão nas mãos de pessoas mal-intencionadas.  Além disso, algumas dessas ferramentas estão disponíveis publicamente, como o DeepExploit.

Em agosto de 2024, desenvolvedores da XBOW, uma startup de teste de penetração baseada em IA, conduziram um estudo mostrando que seu produto pode funcionar no mesmo nível de um testador de penetração altamente qualificado ao lidar com benchmarks simples e de nível médio. Podemos presumir que, no futuro, essas ferramentas reduzirão o limiar de conhecimento necessário para os cibercriminosos explorarem vulnerabilidades, aumentando a frequência de ataques. Portanto, recomendamos que as empresas estabeleçam um processo de gerenciamento de vulnerabilidades e considerem participar de programas de recompensa de bugs de forma proativa hoje, em vez de esperar a inevitável evolução das ferramentas dos cibercriminosos. 

De acordo com nossos dados, no primeiro semestre de 2024, a engenharia social foi utilizada em 50% dos ataques bem-sucedidos a organizações, enquanto o número para indivíduos é de 88%. Em 2023, mensagens de phishing foram usadas em um terço (34%) dos ataques bem-sucedidos a organizações. As tecnologias de aprendizado de máquina permitiram que os cibercriminosos expandissem o uso de técnicas de engenharia social existentes e adicionassem novos métodos. Por exemplo, em fevereiro de 2024, a OpenAI relatou que pelo menos três grupos APT usaram os produtos da empresa para coletar informações e gerar conteúdo para ataques de phishing.

Usando inteligência artificial, agentes maliciosos podem rápida e facilmente gerar mensagens de phishing convincentes em vários idiomas, automatizar diálogos e criar deepfakes de áudio e vídeo. Os cibercriminosos também podem gerar conteúdo para sites de phishing e automatizar a criação de versões falsas de sites legítimos. Links para essas cópias de phishing podem ser incorporados em e-mails de phishing gerados por LLM, por exemplo, para coletar credenciais. 

Assim, as capacidades gerativas da IA podem cobrir toda a etapa de phishing de um ataque. A engenharia social é onde o uso da IA em ciberataques mais se desenvolveu, aproximando-se do quarto nível (automação completa de ataques).  A IA poderia potencialmente começar a vincular ataques financeiramente motivados em uma única cadeia, por exemplo, coletando informações sobre a vítima e, em seguida, gerando phishing direcionado com base nesses dados. 

Um ano após o lançamento do ChatGPT-4, uma pesquisa da SlashNext encontrou um aumento de 1.265% no número de e-mails de phishing. Uma possível razão para esse aumento pode ser a geração em massa de e-mails falsos usando grandes modelos de linguagem.

Contornando restrições de LLM em phishing

Os LLMs dos desenvolvedores oficiais têm restrições quanto à geração de conteúdo inapropriado e potencialmente perigoso. Por exemplo, o ChatGPT se recusará a gerar instruções para criar uma bomba, produzir um código malicioso ou escrever um e-mail de phishing. 

No entanto, para cibercriminosos que entendem os princípios do phishing, contornar essas restrições é relativamente fácil. Por exemplo, mensagens de phishing e publicidade diferem apenas no propósito: ambas visam chamar sua atenção e fazer você se envolver com a oferta no e-mail; contudo, em vez de oferecer um desconto em sua cafeteria favorita, uma mensagem de phishing o leva a uma armadilha. Portanto, mesmo que um modelo de IA se recuse a gerar um e-mail de phishing, muitas vezes é suficiente substituir o termo "phishing" por "publicidade" ou "informativo" na solicitação para contornar a restrição.  Essas solicitações de "duplo propósito" parecem legais para os filtros de LLM e passam direto pela geração.

Alguns modelos de linguagem, apesar das restrições, podem responder a solicitações maliciosas diretas, simplificando a tarefa para possíveis atacantes.

Essencialmente, qualquer mensagem publicitária ou informativa legítima pode ser potencialmente usada para phishing, de maneira que não há solução para esse problema. Tentar bloquear a geração de tais mensagens em grandes modelos de linguagem acabaria em limitações excessivas. 

Mesmo que imaginemos que os desenvolvedores de LLM consigam criar filtros que bloqueiem a geração de conteúdo de duplo propósito, outros métodos mais complexos de contornar as restrições permanecem. Para gerar texto de phishing e outro conteúdo ilegal, os cibercriminosos podem usar a técnica de injeção de prompt. Essas são solicitações que contêm instruções que forçam o modelo a ignorar as restrições internas definidas pelos desenvolvedores. A variante mais popular e conhecida é uma solicitação de jailbreak. Esse tipo de solicitação força um modelo de linguagem a assumir o papel de um personagem ou algoritmo irrestrito: o modelo de IA pode assumir a identidade de qualquer pessoa (uma figura histórica real, um personagem de ficção, outra rede neural ou ele mesmo) — a questão é fazê-lo se comportar como se estivesse em um ambiente de teste. É importante que a persona imposta não seja limitada por requisitos de segurança, o que significa que ela pode responder a qualquer solicitação potencialmente maliciosa. Mesmo um agente malicioso inexperiente pode usar tal solicitação; eles simplesmente precisam encontrar uma versão funcional e enviá-la para um modelo de linguagem legítimo, complementando-a com sua própria pergunta. 

As solicitações de jailbreak são bloqueadas regularmente, mas os criminosos constantemente encontram novas maneiras de forçar a IA a assumir um papel irrestrito. 

Os criminosos podem complementar ou substituir prompts de role-playing por outros métodos para contornar as restrições. Uma tática é gerar conteúdo potencialmente perigoso em outro idioma e traduzi-lo imediatamente para o inglês, ignorando as restrições de segurança, ou usar a técnica de contrabando de tokens. Este método envolve dividir a solicitação perigosa em partes. O modelo de linguagem não reconhece o perigo nessas partes separadas e acaba respondendo à solicitação maliciosa completa⁶. Outra abordagem de contornar restrições opera de maneira semelhante.  Uma descrição do ataque ArtPrompt foi publicada por pesquisadores da Universidade de Washington e da Universidade de Chicago em fevereiro de 2024. Para executá-lo, um agente malicioso deixa um espaço reservado na solicitação para uma palavra potencialmente perigosa, inserindo uma imagem ASCII em seu lugar. A rede neural decifra a imagem ASCII e substitui a palavra resultante na solicitação após ela passar pela verificação de segurança.

Mesmo sabendo como contornar as restrições, ainda é essencial entender como elaborar a solicitação correta para um LLM, refinar o e-mail de phishing gerado e adicionar o payload. Mensagens fraudulentas contêm malware ou distribuem formulários falsos para coleta de dados em 85% dos casos. À medida que as ferramentas baseadas em IA evoluem, os cibercriminosos poderão usar métodos de engenharia social ainda mais eficazmente. 

Quantidade não é igual à qualidade

A melhor maneira para os cibercriminosos usarem ferramentas de machine learning é gerar mensagens de phishing para ataques em larga escala, direcionados a uma ampla gama de vítimas. Em ataques direcionados, os modelos de IA atualmente têm desempenho inferior aos especialistas humanos.  Em outubro de 2023, a IBM conduziu um experimento comparando dois e-mails de phishing. Um foi criado por inteligência artificial, o outro por uma equipe de engenheiros sociais. Apesar da grande diferença de tempo (a IA completou a tarefa em 5 minutos, enquanto os especialistas levaram cerca de 16 horas), o e-mail elaborado por humanos obteve melhores resultados. O e-mail de phishing gerado por IA usou frases genéricas, enquanto os especialistas reuniram informações de código aberto sobre o alvo e adaptaram o golpe a uma empresa específica. A inteligência artificial generativa pode auxiliar os cibercriminosos em ataques em massa, criando e-mails de phishing suficientemente convincentes para atingir amplas categorias de vítimas. No entanto, em ataques direcionados a uma organização específica ou mesmo a um indivíduo, mensagens elaboradas manualmente são mais eficazes, como confirmado por um estudo da Universidade de Harvard. Textos de phishing gerados por IA provaram ter metade da eficácia dos e-mails mais sofisticados projetados usando a experiência dos pesquisadores em técnicas de phishing. 

Bots realistas

Além dos e-mails, grandes modelos de linguagem são usados por cibercriminosos para criar personas de bots realistas. Com a ajuda desses bots, os fraudadores podem criar redes para a distribuição de desinformação e simular engajamento ativo nas redes sociais.

Em 2023, pesquisadores da Universidade de Indiana identificaram uma botnet de mais de mil contas na rede social X (antigo Twitter). Os bots usavam imagens roubadas e imitavam de forma convincente o comportamento humano para espalhar conteúdo gerado por IA. Além disso, essas personas falsas criavam a ilusão de interação real, respondendo às postagens umas das outras.

Os cibercriminosos também usam a IA generativa para automatizar a interação com as vítimas. Um exemplo proeminente está nos serviços de namoro online. De acordo com um relatório da Arkose Labs, de janeiro de 2023 a janeiro de 2024, o número de bots em aplicativos de namoro cresceu 2.087%. Os bots usam IA generativa para criar mensagens, fotos e outros conteúdos. Em 2023, pesquisadores da Avast descobriram o uso da ferramenta de golpe amoroso Love GPT em pelo menos 13 serviços. O Love GPT usa o ChatGPT para simular conversas sinceras e emocionalmente envolventes. Esses diálogos geralmente levam à extorsão financeira. 

Como se proteger de phishing gerado por IA 

E-mails de phishing gerados por IA não exigem abordagens de proteção fundamentalmente novas. Como nos e-mails elaborados manualmente, os cibercriminosos explorarão temas de phishing populares, tentando manipular emoções e provocar ações impulsivas. As organizações já devem começar a tomar medidas para se proteger contra o crescente número de ataques de engenharia social: atualizar ferramentas de segurança de e-mail, treinar funcionários para reconhecer tentativas de phishing, alertá-los regularmente sobre possíveis ataques e preparar medidas de resposta a incidentes. 

Potencial da IA no phishing

Ataques de engenharia social devem continuar sendo uma ameaça significativa tanto para organizações quanto para indivíduos. No futuro, a IA pode permitir que os cibercriminosos automatizem diversos processos de phishing, como:

• Envio de mensagens em horários adequados ou usando informações coletadas sobre o alvo como assunto. A IA pode selecionar automaticamente os tópicos de conversa mais propensos a engajar o alvo.
• Ajustar o tom das mensagens para combinar com o humor do alvo, especialmente útil em redes sociais e chats. Por exemplo, a IA pode manter um diálogo realista em um aplicativo de namoro por vários dias, levando gradualmente a vítima à sua armadilha. 
• Conduzir ataques complexos de personificação de múltiplas pessoas⁷. Atualmente, esses ataques exigem o envolvimento direto de um especialista e geralmente são vistos apenas em operações direcionadas complexas. No entanto, a IA poderia tornar esses ataques mais generalizados, complicando significativamente a aparência de phishing. 

Para garantir uma cibersegurança orientada a resultados, é essencial treinar os funcionários para reconhecer técnicas de engenharia social cibercriminosa, incluindo aquelas emergentes devido aos avanços em aprendizado de máquina e deepfakes. 

Usando inteligência artificial, os criminosos geram mais do que apenas texto para efetuar os ataques. A tecnologia deepfake permite a criação de imagens, vídeos e amostras de voz falsas de pessoas com base em fotos e gravações reais. Pesquisadores da Sumsub relataram um aumento de dez vezes no número de deepfakes em 2023 em comparação com 2022. Esse crescimento se deve ao surgimento e à disseminação de ferramentas de criação de deepfakes disponíveis para o usuário comum, bem como às melhorias na qualidade do conteúdo falso gerado.

O papel das deepfakes pode variar muito dependendo do tipo de ataque. Uma deepfake pode servir como uma isca de phishing atraente, uma manipulação para convencer uma vítima a tomar uma ação desejada pelo criminoso ou até mesmo ser a base de uma fraude. As deepfakes foram usadas para manipular a opinião pública (46%) durante eventos globalmente significativos; por exemplo, gravações falsas muitas vezes apareciam em campanhas eleitorais. Em 2023 e 2024, os criminosos exploraram a autoridade de pessoas conhecidas, criando duplicatas digitais para promover esquemas e investimentos fraudulentos (26%). Os cibercriminosos também aprenderam a roubar dinheiro se passando por parentes e amigos próximos das vítimas, alegando estar em situações de vida difíceis (6%).  Outros incidentes de deepfake (22%) que também despertaram preocupação pública incluem o uso não autorizado de vozes e ou de vozes semelhantes, chantagem supostamente de autoridades policiais e geração de pornografia.

As estatísticas incluem apenas ciberataques bem-sucedidos e casos de uso malicioso de deepfakes em 2023 e de janeiro a agosto de 2024 que resultaram em acesso não autorizado, roubo financeiro, danos à reputação da vítima ou protestos públicos.

A deepfake como instrumento de propaganda

O uso malicioso mais disseminado de deepfakes é a manipulação da opinião pública. Gravações falsas de discursos e vídeos difamando concorrentes tornaram-se parte integrante das lutas políticas em todo o mundo. Para manipular a opinião pública, foram criadas deepfakes de políticos, personalidades da mídia e até mesmo figuras políticas importantes do passado. Essas deepfakes fraudulentas geralmente são disseminadas em redes sociais e plataformas de hospedagem de vídeos, mas às vezes chegam a transmissões de televisão e rádio. 

De acordo com nossos dados, mais da metade (52%) das deepfakes relacionados à manipulação da opinião pública aparecem durante períodos eleitorais.  Em 2023 e 2024, deepfakes acompanharam campanhas eleitorais nos Estados Unidos, Reino Unido, Eslováquia, Turquia, Argentina, Bangladesh, Índia, Paquistão, Coreia do Sul, Indonésia e Taiwan. O Relatório de Cibersegurança do Fórum Econômico Mundial nomeou as deepfakes como uma das principais ameaças às numerosas eleições de 2024. 

Presumimos que, no futuro, todos os principais eventos políticos em vários países serão acompanhados pela disseminação de numerosos deepfakes e desinformação. 

Deepfakes de celebridades na publicidade

Os cibercriminosos estão ativamente explorando deepfakes para promover esquemas fraudulentos. Para realizar ataques, eles criam deepfakes de vídeo de personalidades conhecidas da mídia, políticos ou figuras empresariais que supostamente endossam um produto ou investimento, e logo o vídeo fraudulento se espalha pelas redes sociais e serviços de hospedagem de vídeo. De acordo com a pesquisa da Pindrop, essas deepfakes, tanto em vídeo quanto em áudio, são mais comumente encontrados nessas plataformas. O objetivo dos atacantes nessa fase é atrair a atenção das vítimas. O objetivo dos criminosos nessa fase é atrair a atenção das vítimas. 

Nossos dados indicam que 61% dos golpes prometem ganhos com investimentos, com mais da metade (55%) explorando o tema das criptomoedas. Aproveitando a autoridade e a fama das figuras personificadas, os cibercriminosos incentivam o investimento em esquemas supostamente lucrativos ou prometem brindes de criptomoedas para quem se cadastrar em seus sites fraudulentos. O dinheiro depositado pelas vítimas é roubado e os dados fornecidos podem ser usados em ataques subsequentes.

Também há campanhas fraudulentas promovendo produtos e brindes – os preços desses produtos acabam sendo significativamente mais altos, e em vez de brindes, as vítimas são inscritas em assinaturas caras. Em alguns casos, deepfakes fizeram parte de campanhas publicitárias para produtos e serviços legítimos; no entanto, essa publicidade foi criada sem o consentimento das pessoas pelas quais se passam. 

Parentes e amigos falsos

As deepfakes permitem que os cibercriminosos não apenas se passem por pessoas famosas, mas também realizem ataques direcionados a indivíduos, simulando as vozes e imagens de seus parentes e amigos. Em tais ataques, os criminosos ligam e solicitam dinheiro urgentemente, alegando alguma emergência ou motivo chocante para convencer a vítima. Por exemplo, no outono de 2023, golpistas conseguiram enganar um casal canadense a dar US$ 10.000, ligando para eles como seu filho, alegando que precisava de fiança para sair da prisão. Para tornar seus ataques mais convincentes, os cibercriminosos podem usar chamadas de vídeo, alterando não apenas a voz, mas também a imagem. Um desses ataques levou ao roubo de 4,3 milhões de yuans (cerca de US$ 622.000) de um residente da China em maio de 2023. Uma ligação supostamente de um amigo pedindo ajuda em um leilão em outra cidade enganou a vítima com imagem e voz.  A fraude foi descoberta apenas após a transferência, quando se descobriu que o amigo não havia feito a ligação.

Deepfakes apra enganar sistemas de verificação de identidade remota

Deepfakes podem ser usados em ataques a sistemas de verificação de identidade remota. Sistemas que dependem exclusivamente de selfies de uma pessoa com um documento e sistemas de autenticação biométrica simples — sejam baseados em voz ou que exijam imagens e vídeos — são particularmente vulneráveis. Usando deepfakes, os cibercriminosos podem se passar por outras pessoas ou obter acesso às contas e recursos das vítimas. Por exemplo, em 2023, a polícia de Hong Kong prendeu cibercriminosos que usaram tecnologia deepfake para enganar sistemas de reconhecimento facial ao solicitar um empréstimo. As imagens falsas geradas foram usadas durante o processo de inscrição online, quando as instituições financeiras exigem que os candidatos carreguem digitalizações de seus documentos de identidade e selfies em tempo real. 

As deepfakes e a geração de documentos falsos têm o potencial de contornar muitas verificações de identidade remotas. A gravidade dessa ameaça é confirmada em um relatório do Instituto Europeu de Normas de Telecomunicações sobre os riscos do uso da IA para manipular "representações de identidade multimídia". 

Ataques a organizações

Os cibercriminosos usam deepfakes para atacar não apenas indivíduos, mas também organizações. De acordo com a pesquisa da Regula de 2023, 37% das organizações encontraram deepfakes de voz, enquanto 29% foram atacadas com vídeos falsos. Os cibercriminosos podem usar deepfakes para obter acesso aos recursos internos de uma empresa. No verão de 2023, um criminoso conseguiu invadir a empresa Retool, iniciando o ataque por meio de um SMS de phishing e obtendo um código de autenticação multifator usando um deepfake de áudio em um funcionário desavisado. Ataques baseados em deepfake podem levar a perdas financeiras para uma organização. No início de fevereiro de 2024, deepfakes desempenharam um papel fundamental em um ataque a um ramo de uma multinacional em Hong Kong. Um funcionário de finanças fez transferências para cibercriminosos totalizando cerca de US$ 25 milhões, convencido por videochamadas com deepfakes se passando pelo diretor financeiro e outras pessoas. 

Além de ataques a funcionários, grupos APT estão usando deepfakes para infiltrar empresas. Usando deepfakes e dados pessoais roubados, os cibercriminosos passam em entrevistas e verificações para cargos remotos e realizam ataques de dentro da empresa. 

Prevemos um aumento no uso de deepfakes em ataques a organizações. Os cibercriminosos usarão deepfakes para atacar tanto sistemas de verificação de identidade remota quanto funcionários diretamente, a fim de obter acesso não autorizado aos recursos da empresa e roubar fundos. Para combater tais ataques, é necessário preparar sistemas de segurança com antecedência e treinar os funcionários, ensinando-os a reconhecer deepfakes e evitar responder a esquemas fraudulentos que os utilizam. Examinaremos ataques com deepfakes em detalhes em pesquisas futuras.

As deepfakes se tornaram um elemento básico no arsenal dos criminosos, usadas com outras técnicas e ferramentas de engenharia social, como kits de phishing. 

Notavelmente, os cibercriminosos não precisam entender como criar deepfakes sozinhos. Existem inúmeras ofertas em fontes abertas e em fóruns da dark web para criar deepfakes para diversos fins: fraude, promoção de produtos e serviços e descrédito de concorrentes.

As deepfakes e a lei

As deepfakes devem ser consideradas uma ameaça significativa à segurança da informação no nível legislativo. Os países adotaram abordagens diferentes para regulamentar a criação e distribuição de deepfakes. Em 2022, a China publicou uma lei especial focada especificamente na regulamentação de deepfakes e outros conteúdos gerados por IA. A Índia aplica às deepfakes leis existentes relacionadas à tecnologia da informação, proteção de dados e direitos autorais. Na Rússia, uma lei sobre deepfakes está em desenvolvimento: em 28 de maio de 2024, um projeto de lei propondo penas criminais para deepfakes foi apresentado à Duma Federal. 

O futuro das deekpfakes

Nos últimos anos, as deepfakes evoluíram de imitações desajeitadas e facilmente distinguíveis para reproduções bastante realistas da voz e aparência de uma pessoa. Esperamos que as próximas gerações de deepfakes possam envolver a criação de réplicas digitais de vítimas e a integração de tecnologia de reconhecimento de emoções. 

Duplicatas digitais já foram usadas no cinema para recriar atores, e prevemos que a tecnologia de réplica digital continuará a se desenvolver e será cada vez mais usada por atores, políticos e outras figuras públicas. No futuro, eles podem potencialmente vender os direitos de uso de sua aparência e voz em publicidade ou filmes, criando "deepfranchises". Com o uso crescente de duplicatas digitais legais, seu uso em ataques (seja criando uma nova cópia ou roubando uma existente) é apenas uma questão de tempo. Também será muito desafiador rastrear o uso de deepfakes entre cópias legais. 

A tecnologia de reconhecimento de emoções que surgiu em 2024 também pode se tornar parte do arsenal dos cibercriminosos. Com isso, eles poderão agir de forma mais eficaz, adaptando seu ataque às emoções primárias da vítima, a engenharia social. 

Uma das aplicações mais potencialmente perigosas da IA em ciberataques é a geração e modificação de malware. Teoricamente, novos malwares gerados por IA não apenas poderiam diferir de malwares conhecidos e, assim, evadir a detecção de segurança, mas também se adaptar ao sistema alvo durante um ataque, otimizar suas ações e executar uma gama mais ampla de tarefas dentro do sistema da vítima. No entanto, até agora, vimos apenas alguns scripts supostamente gerados por LLM e exemplos limitados de ferramentas de IA capazes de gerar e modificar código malicioso. Portanto, em termos de malware, o uso da IA permanece no segundo nível (assistindo em etapas individuais de ataque). 

Em setembro de 2024, a OpenAI apresentou um novo modelo, o1, que melhora significativamente as soluções anteriores em tarefas de codificação. As implicações de tal ferramenta ainda precisam ser totalmente avaliadas, mas é plausível que, no futuro, os cibercriminosos possam usar IA para gerar módulos de malware ou até mesmo ferramentas de ataque completas. 

Geração de scripts

Em 2023, pelo menos cinco grupos APT usaram serviços da OpenAI para testar código e auxiliar na codificação de scripts para aplicativos e sites. Os pesquisadores estão começando a detectar scripts potencialmente gerados por IA em ataques de verdade. Esses scripts podem ser distinguidos por comentários detalhados e gramaticalmente corretos no código. 

Os grupos Scattered Spider e TA547 usaram esses scripts PowerShell no segundo semestre de 2023 e abril de 2024. Outro script PowerShell potencialmente gerado por IA foi encontrado na França em setembro de 2024.  Em julho de 2024, um ataque envolvendo um script JavaScript potencialmente gerado por IA foi relatado. Até agora, os cibercriminosos conseguiram gerar apenas pequenos fragmentos de código malicioso, mas no futuro, eles podem ser capazes de gerar não apenas scripts individuais, mas também módulos de malware maiores. 

Geração e modificação de malware

Modelos generativos podem potencialmente criar um código malicioso com base em instruções de linguagem natural. Isso permite que cibercriminosos iniciantes obtenham componentes de malware prontos sem habilidades avançadas, enquanto criminosos experientes podem automatizar e acelerar a preparação de ataques. Os cibercriminosos já demonstraram códigos maliciosos gerado por IA em fóruns da dark web. No entanto, neste estágio de desenvolvimento, as ferramentas de IA não são capazes de gerar independentemente códigos maliciosos livre de erros, baseados apenas em solicitações gerais de um novato. Para se beneficiar das ferramentas de IA, os criminosos precisam de experiência suficiente para formular solicitações adequadas à rede neural, bem como processar e adaptar os resultados. Os novatos muitas vezes enfrentam desafios já na fase de formulação de solicitações e, posteriormente, na adaptação e aplicação do resultado em um ataque.

Modificar o malware com IA pode ser dividido em dois aspectos: 1) ofuscação e modificação na fase de preparação do código, e 2) adaptação ao sistema alvo durante o próprio ataque usando ferramentas de IA embutidas. 

Durante a fase de preparação, os cibercriminosos podem ofuscar o malware para complicar a detecção pelos sistemas de segurança. Em 2024, pesquisadores do Insikt Group conseguiram modificar o código de scripts maliciosos usando IA, tornando-o indetectável por várias regras básicas do YARA. Embora a IA ainda não possa modificar efetivamente programas grandes, esperamos que, em dado momento, seja possível para cibercriminosos habilidosos, capazes de coletar conjuntos de dados de malware, usar a IA para ofuscação de código. 

Adaptar o malware durante um ataque abre uma ampla gama de possibilidades. Para evitar a detecção por ferramentas de segurança, a IA poderia ajudar os cibercriminosos a disfarçar a atividade do malware se passando por ações legítimas, além de simular o comportamento do usuário, alterar dinamicamente os canais de controle, analisar as respostas do host para identificar ambientes sandbox e limpar logs. A IA pode melhorar a eficácia do malware selecionando as melhores ações com base na análise do sistema, identificando os pontos mais vulneráveis do sistema e cronometrando os ataques para causar o máximo de danos. Adaptar ações durante um ataque requer uma análise da operação do sistema vítima. Isso é um desafio sério, mesmo para ferramentas legítimas que não precisam permanecer ocultas. 

Malware adaptável e autodisfarçante pode ser suplementado com ataques de isca gerados, com o objetivo de inundar sistemas de segurança e distrair equipes de resposta a incidentes. Forçados a processar essa sobrecarga de alertas, os especialistas têm mais probabilidade de não perceber as atividades mais discretas do malware principal.

Potencial de uma abordagem modular

Embora o malware gerado e modificado por IA ainda seja complexo e discutível em termos de eficácia, existem outras tarefas em que a IA já mostrou bons resultados. Prevemos que a futura aplicação da IA em malware se concentrará em uma abordagem modular. Os cibercriminosos usarão módulos separados e agentes LLM para executar tarefas específicas durante um ataque. Essa abordagem tem vantagens significativas, pois os criminosos não precisam treinar um sistema complexo para executar todo o ataque: a modularidade permite a adição, remoção, atualização e substituição flexíveis de componentes de IA, e os módulos de IA podem funcionar com soluções clássicas com a mesma funcionalidade para testar comparativamente sua eficácia. Além disso, os cibercriminosos não precisam necessariamente desenvolver suas próprias soluções — eles podem implementar ferramentas baseadas em projetos de código aberto legítimos. Por exemplo, na primavera de 2024, pesquisadores da ASEC descobriram o malware ViperSoftX, que usava um módulo TesseractStealer baseado em um projeto de código aberto de reconhecimento óptico de caracteres de aprendizado profundo. O TesseractStealer foi projetado para pesquisar imagens armazenadas em um sistema em busca de strings relacionadas a chaves OTP, senhas de recuperação e endereços de criptomoedas. 

Hoje, um grande desafio no treinamento de um único sistema de IA para executar um ataque em grande escala é a falta de dados de treinamento, que devem incluir descrições completas de numerosas sequências de ataque. Esses dados podem ser encontrados, por exemplo, em relatórios de teste de penetração, mas várias dezenas de relatórios são insuficientes para fins de treinamento. São necessárias grandes quantidades de dados, que os criminosos ainda precisam obter. No entanto, a abordagem modular não requer dados tão extensos, pois cada módulo de IA é treinado para executar uma tarefa específica, seja reconhecer símbolos ou explorar um tipo específico de vulnerabilidade. 

A inteligência artificial pode ser potencialmente usada para uma variedade de tarefas de ciberataque. Algumas delas já são conhecidas, enquanto a identificação de novos usos ilegais da IA continua sendo uma tarefa importante para pesquisadores de segurança da informação. 

Assistentes de ataque

Hoje, os LLMs podem responder a inúmeras perguntas de cibercriminosos e executar tarefas com confiança no primeiro nível de uso de IA em ataques (ajudando um cibercriminoso novato nos estágios iniciais do planejamento de um ciberataque). Potencialmente, os LLMs são capazes não apenas de explicar os fundamentos da condução de ciberataques, mas também de descrever a estrutura de organizações complexas de destino. Ao estudar os processos operacionais de, por exemplo, uma empresa industrial, os cibercriminosos podem identificar sistemas-chave dentro da cadeia de produção que, se comprometidos, causariam o máximo de danos ao alvo. Além disso, os LLMs podem ser usados para explicar rapidamente a estrutura de aplicativos e interfaces desconhecidas para o criminoso, como sistemas SCADA industriais. Em 2023, membros do grupo Indrik Spider usaram o ChatGPT no meio de um ataque para entender como usar o Azure Portal. 

No futuro, LLMs treinados especificamente para auxiliar em ataques poderiam ajudar muito tanto cibercriminosos iniciantes quanto experientes, ajudando a planejar uma operação, selecionar o alvo e o ponto de ataque inicial, bem como fornecer suporte em tempo real para decisões e recomendações para os próximos melhores passos. 

CAPTCHA: o teste de Turing já não funciona

O teste CAPTCHA (Completely Automated Public Turing test to tell Computers and Humans Apart), projetado para determinar se um usuário é uma máquina ou um humano, existe há mais de 20 anos. Durante esse período, vários tipos de testes surgiram, exigindo que os usuários inserissem texto de imagens distorcidas ou gravações de áudio, ou encontrassem objetos em imagens. Para contornar o CAPTCHA, os cibercriminosos usam tanto serviços com pessoas de verdade resolvendo os testes quanto soluções baseadas em tecnologia, como o reconhecimento óptico de caracteres (OCR). 

Hoje, os cibercriminosos podem contornar o CAPTCHA com a ajuda de redes neurais. Surgiram ferramentas e bots prontos para passar no teste usando aprendizado de máquina. De acordo com um estudo da Universidade da Califórnia, a partir de 2023, os bots já estavam resolvendo testes CAPTCHA 15% mais precisamente do que humanos em média. Além disso, os bots completam os testes muito mais rápido do que os humanos, com exceção do reCAPTCHA¹¹, onde os bots são apenas 0,5 segundos mais rápidos. 

Em maio de 2024, surgiu uma ferramenta para conduzir ataques DDoS que, segundo os desenvolvedores, usa um "sistema neural" para resolver automaticamente CAPTCHAs durante um ataque. Um módulo de IA para reconhecimento de CAPTCHA pode se tornar um acréscimo comum aos sistemas de ataque DDoS no futuro próximo.

Prevemos que os testes CAPTCHA tradicionais se tornarão cada vez menos eficazes e serão gradualmente substituídos por sistemas com análise comportamental e testes mais avançados que incorporam proteção contra ferramentas de IA. 

Ataques DDoS

De acordo com um relatório da Zayo para o primeiro semestre de 2024, o número e a duração dos ataques DDoS aumentaram, com cibercriminosos visando uma gama mais ampla de indústrias. Os pesquisadores associam essas mudanças, em parte, ao desenvolvimento da IA. 

As tecnologias de IA têm potencial significativo em ataques DDoS. No futuro, os cibercriminosos podem usar a IA para primeiro montar e depois gerenciar uma botnet para um ataque. Os criminosos poderiam potencialmente analisar a rede e, em seguida, usar os dados para determinar intervalos de ataque ótimos, mudar vetores de ataque em tempo real e disfarçar seus fluxos de solicitação como operação normal do sistema para escondê-los dos sistemas de segurança. 

Analisando dados de escuta de canais laterais

Com a IA, os cibercriminosos podem processar efetivamente não apenas informações de linguagem natural, mas também dados para ataques de canal lateral.  Os criminosos podem analisar parâmetros físicos, como consumo de energia, emissões eletromagnéticas ou tempo de computação. Usando esses dados, eles poderiam, por exemplo, reconstruir parcial ou totalmente chaves criptográficas. Nos últimos anos, foram publicados vários estudos e até mesmo guias sobre como realizar ataques de canal lateral usando ferramentas baseadas em IA. Um estudo publicado em 2023 demonstrou que grandes modelos de linguagem poderiam automatizar o processo de análise de canais laterais. 

A IA também pode auxiliar em ataques de canal lateral acústico. Em agosto de 2023, pesquisadores britânicos conseguiram adivinhar uma senha digitada a partir do som das teclas de um teclado usando um modelo especialmente treinado. No entanto, é importante observar que os experimentos foram conduzidos em condições ideais, com o sistema treinado em um modelo específico de laptop e teclado, e não seria capaz de roubar senhas de outros dispositivos. 

Ataques de canal lateral são relativamente raros, pois exigem que o criminoso colete dados físicos. Independentemente dos métodos usados, é essencial proteger as informações contra violações por meio de canais laterais. Para proteger contra tais violações, recomendamos o uso de uma combinação de soluções de engenharia, organizacionais, de hardware e software, e o cumprimento dos requisitos regulatórios.

Formulários de redefinição de senha

Ferramentas baseadas em IA poderiam potencialmente ajudar os cibercriminosos a acelerar o ataque de força bruta de senhas e até mesmo gerar bibliotecas das combinações mais prováveis para uma empresa específica ou grupo de pessoas com base em informações coletadas sobre eles. Até agora, os métodos de força bruta existentes baseados em aprendizado de máquina não superam os métodos clássicos.

Independentemente dos métodos que os criminosos usam para o ataque de força bruta, as empresas precisam estabelecer uma política de senha que exija a mudança imediata de senhas predefinidas e evite o uso de combinações simples ou comuns.

IA vs. IA

O desenvolvimento de tecnologias de inteligência artificial e sua ampla aplicação criou um novo campo de pesquisa em segurança da informação: a segurança da própria IA. Hoje, os pesquisadores estão cientes de várias maneiras de atacar a IA, que exploraremos em estudos futuros. 

Por exemplo, os cibercriminosos poderiam potencialmente usar a IA para forçar a IA alvo a "envenenar" seus dados. Nesse tipo de ataque, o criminoso manipula o banco de dados de treinamento de tal forma que reduz a eficácia do modelo treinado ou interrompe completamente o processo de treinamento, fazendo com que o modelo produza resultados intencionalmente incorretos. Para fazer isso, os cibercriminosos podem alterar rótulos de objetos, remover partes do conjunto de dados ou modificar dados adicionando ruído a imagens ou incorporando marcas d'água imperceptíveis ao olho humano. Todas essas tarefas exigem o processamento de grandes conjuntos de dados e podem eventualmente ser delegadas a ferramentas de IA. 

Para avaliar o potencial real da IA em ciberataques, analisamos a matriz MITRE ATT&CK. 

Criamos um mapa de calor e avaliamos a rapidez com que os cibercriminosos poderiam aplicar a IA para cumprir as tarefas para cada tática, técnica e subtécnica. De acordo com nossa análise, o potencial de uso da IA em ciberataques é enorme, com possíveis aplicações em 100% das táticas MITRE ATT&CK e em mais da metade das técnicas (59%). 

Baixar matriz de calor MITRE ATT&CK.

Para avaliar o potencial verdadeiro da IA em ciberataques, analisamos a matriz MITRE ATT&CK.

Marrom: Casos de uso conhecidos. Esta categoria menor (5%) contém aquelas técnicas em que a IA já foi usada por cibercriminosos, incluindo aquelas comumente usadas em ataques reais.  Vamos examinar alguns exemplos de técnicas ativamente usadas por grupos APT em ataques às indústrias da CEI. Em oito de cada dez ataques (79%), os cibercriminosos usaram vários tipos de malware, com grupos APT não apenas empregando ferramentas prontas, mas também desenvolvendo as suas próprias (subtécnica T1587.001: Desenvolver Capacidades: Malware). Os criminosos altamente qualificados já começaram a incorporar IA no desenvolvimento de malware para geração de scripts, teste de código e depuração. A técnica mais comum para obter acesso inicial (63% de todos os ataques no setor industrial) é T1566: Phishing, que é um dos exemplos mais marcantes de aplicação de IA generativa. Os cibercriminosos podem não apenas gerar e-mails com IA, mas também manter correspondência profunda com a vítima. 

Prevemos que os métodos de aplicação de IA já testados por cibercriminosos continuarão a evoluir e se tornarão mais comuns em futuros ataques. 

Vermelho: pode ser usado no futuro próximo. Na categoria Vermelho (17%) estão as técnicas em que a IA já se mostrou aplicável, estudos de suporte foram publicados e existem provas de conceito. Podemos presumir que os cibercriminosos logo tentarão introduzir a IA nessas etapas de ataque. O exemplo mais proeminente na categoria Vermelho é a técnica T1027: Arquivos ou Informações Ofuscados. Pesquisadores de segurança já demonstraram que a IA pode modificar um código malicioso para contornar medidas de segurança. Criminosos que visam o setor industrial em países da CEI usam essa técnica, ofuscando, codificando e criptografando código malicioso para ocultar atividades. Da mesma forma, os pesquisadores provaram repetidamente o potencial de aplicação da IA na exploração de vulnerabilidades. A técnica T1190: Explorar Aplicação Voltada para o Público é popular entre os cibercriminosos e foi usada em 27% dos ataques ao setor industrial da CEI. 

Os cibercriminosos não perderão a oportunidade de automatizar e evoluir suas ações. Prevemos que os criminosos tentarão pelo menos integrar a IA nas técnicas da categoria Laranja. 

Laranja: pode ser usado em futuro não muito distante, após superar alguns desafios. Para uma em cada cinco técnicas (20%), os cibercriminosos precisarão abordar questões significativas antes de integrar a IA. A tática TA0007: Descoberta abrange métodos pelos quais os atacantes podem explorar o sistema alvo antes de decidir sobre ações futuras; várias técnicas de Descoberta são usadas em ataques sofisticados em várias indústrias. Para a tática Descoberta, a IA poderia lidar com tarefas de coleta e processamento de grandes quantidades de informações dentro dos sistemas. Análise automatizada e comparação de dados de várias fontes, previsão de elementos ausentes e geração de um relatório pronto com recomendações para as próximas etapas poderiam ajudar significativamente os cibercriminosos. Antes de obter essa funcionalidade, os criminosos devem não apenas treinar essas ferramentas, mas também integrá-las em seu malware.

Apesar dos desafios, os cibercriminosos continuarão a desenvolver ferramentas de ataque, integrando cada vez mais tecnologias de IA nelas. No entanto, esse processo pode levar muito tempo, pois os criminosos estão principalmente focados em lucrar com ataques, em vez de aprimorar suas habilidades e desenvolver ferramentas mais sofisticadas. Enquanto os métodos de ataque clássicos continuarem a produzir resultados, a maioria dos cibercriminosos não se dará ao trabalho de investir tempo e dinheiro na implementação de IA.

Amarelo: teoricamente viável, mas praticamente inatingível no futuro próximo. A categoria Amarelo contém técnicas (17%) em que a IA poderia potencialmente ser implementada, mas isso é atualmente inatingível no contexto de ciberataques. Um exemplo claro: a análise comportamental de sistemas e usuários alvo poderia potencialmente permitir que os cibercriminosos disfarçassem ações maliciosas como atividades normais e legítimas. Implementar a análise comportamental é um desafio atual, mesmo para sistemas de segurança, enquanto incorporar essas funções em uma ferramenta de ataque é praticamente impossível hoje.

É importante notar que as tecnologias de IA estão em constante evolução. Os pesquisadores estão fazendo várias previsões sobre a linha do tempo para o desenvolvimento da IA e as novas oportunidades que se abrirão. Com qualquer avanço significativo nas tecnologias de IA, os cibercriminosos, sem dúvida, tentarão tornar seus ataques mais complexos, automatizados e escalonáveis. 

Cinza: O uso de IA não é justificado ou não providenciaria benefícios significantes. Embora as tecnologias de IA possam ser usadas em ciberataques de várias maneiras, existem muitos tipos de ataques em que a IA é desnecessária. Por exemplo, a técnica T1200: Adições de Hardware envolve implantar módulos de hardware com funcionalidade oculta no sistema alvo. Ataques com esse vetor de penetração são raros e não envolvem tarefas que possam ser delegadas à IA. 

Curiosamente, em março de 2024, a subtécnica T1588.007: Obter Capacidades: Inteligência Artificial foi adicionada à matriz MITRE ATT&CK, que descreve um cibercriminoso obtendo acesso a ferramentas de IA generativa para coleta de informações e uso em várias atividades criminosas. A inclusão dessa subtécnica na matriz destaca a importância de adotar uma nova compreensão básica do mundo da cibersegurança: os cibercriminosos estão empregando IA em ataques. É crucial lembrar que a IA é apenas uma das ferramentas nas mãos dos criminosos, visando tornar seus ataques mais complexos, automatizados e escalonáveis. Potencialmente, usando IA, um cibercriminoso poderia criar toda uma cadeia de ataque. Em 2022, pesquisadores da Check Point demonstraram isso usando ChatGPT e OpenAI Codex¹² para gerar várias etapas de ataque: um e-mail de phishing, código VBA malicioso e um shell reverso. No entanto, a aplicação real da IA em ataques está atualmente limitada a etapas e estágios individuais, como coletar informações sobre o alvo, explorar vulnerabilidades conhecidas, obter acesso inicial por meio de engenharia social e gerar fragmentos de código malicioso. 

O desenvolvimento e a disseminação de tecnologias, o uso de aprendizado de máquina na segurança da informação e a complexidade e tensão da ciberpaisagem global podem levar não apenas a um aumento no uso da IA em ciberataques, mas também a uma expansão da superfície de ataque.

Mais especialistas — mais cibercriminosos

Em 2024, a escassez de especialistas em IA continua sendo um problema urgente em todo o mundo. Para enfrentar essa questão, universidades e empresas de tecnologia estão criando programas educacionais, lançando cursos e organizando sessões de treinamento. 

Prevemos que a disponibilidade de programas de treinamento na esfera da IA gradualmente satisfará essa demanda por especialistas. No entanto, alguns desses indivíduos podem explorar a tecnologia para fins criminosos; entre os alunos, também pode haver criminosos procurando se aprimorar. Portanto, à medida que a educação na área de IA avança, também avança o nível de competência dos cibercriminosos. De qualquer forma, o aumento no número de especialistas em IA contribuirá para o progresso geral e a disseminação da tecnologia. 

O lado sombrio do progresso

As tecnologias de IA estão em constante evolução, com novos LLMs surgindo e o aprendizado de máquina sendo aplicado em todos os lugares, desde processos técnicos até operações diárias do usuário. Pesquisadores legítimos não são os únicos a explorar essas novas capacidades. Criminosos também monitoram de perto seu progresso, com o objetivo não apenas de aproveitar novos recursos, mas também de modificá-los para seus próprios fins. 

O lançamento de um novo modelo de linguagem grande com salvaguardas insuficientes contra a geração de texto, código ou instruções maliciosos pode levar a um aumento na atividade cibercriminosa. Já mencionamos que, no ano seguinte ao lançamento do ChatGPT-4, os ataques de phishing aumentaram 1.265%, e esperamos ocorrências semelhantes à medida que novas ferramentas de IA surgirem. 

A necessidade de dados de treinamento de alta qualidade (especialmente relevantes para a segurança da informação) e as altas demandas por recursos computacionais continuam sendo desafios significativos para qualquer desenvolvimento de IA, Muitos pesquisadores e empresas estão se esforçando para criar tecnologias para tornar mais fácil, barato e rápido criar ferramentas de IA. Se essas tecnologias caírem nas mãos erradas, haverá um aumento nos ataques: cibercriminosos experientes poderão implementar seus projetos mais rapidamente e reduzir a barreira para criminosos com menos recursos e conhecimento usarem IA. 

Outro fator que contribui para o aumento dos ataques é a integração da IA em softwares disponíveis publicamente. Em primeiro lugar, isso força os criminosos a entender melhor as tecnologias de IA para acompanhar os sistemas nos quais estão de olho. Em segundo lugar, expande a superfície de ataque, introduzindo um módulo adicional para potencial exploração. Isso é exemplificado pelo infame worm que explora IA, Morris II. Pesquisadores dos EUA e Israel publicaram um estudo demonstrando um novo tipo de ameaça para a IA generativa: o Morris Worm II é essencialmente uma solicitação maliciosa e autorreplicante direcionada à infraestrutura de assistentes de e-mail com IA generativa.  O worm explora o mecanismo RAG¹³ usando um banco de dados que se atualiza ao receber e-mails e IA generativa. O malware infecta o banco de dados RAG e força o assistente a enviar a solicitação infectada para outros assistentes, espalhando assim o worm entre os nodes de e-mail. Prevemos que, à medida que os agentes de IA embutidos em aplicativos se tornarem mais difundidos, os ataques a eles aumentarão — e não apenas em condições de laboratório. 

Ferramentas ofensivas

Os cibercriminosos não estão simplesmente esperando por uma ferramenta de IA legal que possam explorar; eles estão tentando criar suas próprias variantes de software ofensivo. Desenvolver e treinar IA atualmente requer recursos e expertise consideráveis, tanto em IA quanto em segurança da informação. Portanto, os cibercriminosos poderiam obter uma ferramenta de hacking de IA das seguintes maneiras:

1. Grupos APT desenvolvem-na com sucesso. Eles criam e usam suas próprias ferramentas ofensivas, possuindo os recursos e habilidades para realizar tal projeto. Um grupo APT que desenvolve tal ferramenta pode não apenas começar a usá-la em suas operações, mas também distribuí-la sob o modelo AIMaaS (Artificial Intelligence Malware as a Service).
2. Uma ferramenta de teste de segurança é vazada. Isso resultaria em um aumento do tipo de ataque que a ferramenta foi projetada para testar. 
3. Um governo decide espalhar uma ferramenta de IA ofensiva e entregá-la a criminosos comuns. Por exemplo, tal software poderia ser distribuído para apoiar uma campanha hacktivista contra outro país. 

Em qualquer um desses cenários, cibercriminosos comuns teriam a oportunidade de usar uma ferramenta de IA ofensiva criada profissionalmente. Além disso, se essas ferramentas caíssem em mãos criminosas, eles seriam capazes de estudar a tecnologia subjacente, catalisando ainda mais a criação de novas variantes maliciosas. 

Vazamentos de dados de ataques rotulados

Um dos principais desafios na criação de uma ferramenta de IA é a dificuldade de coletar um conjunto de dados de treinamento de alta qualidade. Na segurança da informação, essa questão afeta tanto os cibercriminosos quanto os desenvolvedores de sistemas de segurança. 

Um potencial vazamento de dados rotulados de um fornecedor de segurança da informação poderia ajudar significativamente os criminosos. Por exemplo, um conjunto de dados de treinamento vazado de uma ferramenta de IA usada para teste de penetração poderia permitir que os cibercriminosos criassem sua própria versão. Além disso, um vazamento de dados rotulados para um piloto automático de segurança poderia não apenas ajudar ferramentas ofensivas baseadas em IA a evadir medidas de segurança, mas também automatizar etapas individuais de ataque e combiná-las em uma única cadeia, desde a coleta de informações até a execução de um evento não tolerável.

Esperamos que os cibercriminosos realizem gradualmente mais ataques direcionados à segurança da informação e aos pesquisadores de IA. Cobrimos uma dessas operações em nosso estudo sobre as ameaças cibernéticas atuais no segundo trimestre de 2024. Nela, os criminosos buscaram obter informações não públicas relacionadas à inteligência artificial generativa. 

Piloto automático de defesa vs. piloto automático de ataque

A inteligência artificial tem potencial significativo não apenas para o ataque, mas também para a defesa. Em resposta à crescente atividade de atacantes, estão surgindo novos pilotos automáticos de defesa como o MaxPatrol O2, capazes de detectar e bloquear automaticamente atividades dentro da infraestrutura. À medida que o nível de segurança aumenta, a taxa de sucesso de ataques individuais provavelmente diminuirá, forçando os criminosos a adaptar seus ataques. Eles podem maximizar a automação para aumentar o número de ataques e simultaneamente atingir várias vítimas, ou podem complicar e adaptar cada ataque ao sistema-alvo específico. Para ambas as abordagens, os atacantes tentarão aproveitar a inteligência artificial. 

Vulnerabilidades de regiões em desenvolvimento

Em estudos anteriores, discutimos as características únicas da ciberpaisagem em regiões em desenvolvimento. Os cibercriminosos são atraídos pelo rápido crescimento econômico acompanhado por questões de segurança cibernética não resolvidas, como proteção de hardware e software insuficiente, baixa conscientização do usuário e legislação de segurança cibernética prematura. Nessas regiões, os cibercriminosos podem empregar com sucesso métodos de ataque mais simples ou até mesmo desatualizados, como a exploração de vulnerabilidades básicas conhecidas há muito tempo. Em 2022–2023, a exploração de vulnerabilidades foi usada em 37%, 39% e 44% dos ataques a organizações africanas, asiáticas e do Oriente Médio, respectivamente. Acreditamos que as ferramentas ofensivas baseadas em IA imperfeitas existentes podem ser aplicadas de forma eficaz e em grande escala em regiões em desenvolvimento. Se os criminosos virem lucro em tais ciberataques, podemos testemunhar um aumento maciço no uso malicioso da IA.

Para obter o quadro completo, também devemos considerar as condições que podem desacelerar o surgimento de novos ataques baseados em IA ou até mesmo limitar as aplicações existentes. 

Resultados fracos

Se criminosos altamente qualificados falharem em obter novos resultados significativos com IA, eles podem abandonar investimentos adicionais nela. Cibercriminosos novatos e médios não têm o conhecimento, os recursos e a capacidade de criar novas ferramentas ou desenvolver novos tipos de ataques. Se os membros mais experientes da comunidade criminosa deixarem de desenvolver novas tecnologias, o uso da IA em ciberataques permanecerá dentro dos limites existentes. 

Um exemplo muito importante são os modelos GPT maliciosos. No verão de 2023, o WormGPT ganhou popularidade como uma ferramenta para gerar código malicioso, escrever e-mails de phishing e auxiliar cibercriminosos. No entanto, sua eficácia permanece questionável: o feedback do usuário em fóruns da dark web indica que a ferramenta conseguiu gerar mensagens de phishing, mas falhou no código malicioso. O amplo público-alvo do projeto de cibercriminosos inexperientes e seu encerramento abrupto em agosto de 2023 também podem sugerir sua intenção inicialmente fraudulenta — uma maneira de círculos criminosos explorarem uns aos outros. 

Além do WormGPT, os cibercriminosos estão distribuindo outros LLMs maliciosos. Esses são frequentemente comercializados como sendo treinados especificamente para ciberataques, mas muitos deles acabam sendo golpes ou simplesmente modelos legais com jailbreaks automatizados embutidos. Esses modelos são distribuídos através de um esquema de "jailbreak as a service" e podem responder a certas perguntas que violam os requisitos de segurança dos LLMs legais, mas não são ferramentas genuinamente treinadas para conduzir ciberataques.

Já existe uma decepção geral com a eficácia da IA entre os especialistas em segurança cibernética. A pesquisa SANS 2024 SOC indicou uma diminuição na satisfação com a tecnologia de IA. Tendências semelhantes do lado do ataque podem levar a uma espécie de platô, persistindo até que avanços tecnológicos permitam que os cibercriminosos façam um avanço substancial. 

Pressão jurídica

Um fator que afeta toda a indústria de IA poderia ser os numerosos processos judiciais movidos contra ela. Escritores, artistas, performers, gravadoras, veículos de notícias, desenvolvedores e indivíduos acusaram tanto os principais desenvolvedores de LLM quanto startups de treinar modelos em conteúdo protegido por direitos autorais e dados confidenciais. 

Se os tribunais começarem a decidir a favor dessas ações judiciais, isso poderia exacerbar um dos desafios mais difíceis da tecnologia de IA — a aquisição de dados de treinamento. As empresas precisariam mudar sua abordagem para construir bancos de dados de treinamento, desacelerando o desenvolvimento de novos modelos e ferramentas e, assim, o progresso de toda a indústria.  Isso também afetaria os cibercriminosos que buscam adaptar e explorar ferramentas e tecnologias legais para fins ilícitos. 

A IA é uma das tecnologias mais importantes dos últimos anos. Grandes modelos de linguagem e outras ferramentas de IA podem lidar eficazmente com uma variedade de tarefas, mas usá-las bem requer habilidades especializadas. 

As ferramentas de IA existentes podem ajudar cibercriminosos iniciantes a aprender métodos de ataque básicos para os estágios iniciais dos ciberataques. Com a IA, estágios individuais de ciberataques podem ser automatizados, como criar fragmentos de código malicioso, gerar mensagens de phishing e gerenciar botnets. O desenvolvimento de ferramentas de IA levou ao surgimento de ataques envolvendo deepfakes. Apenas criminosos experientes serão capazes de desenvolver e criar novas ferramentas de IA para automatizar e melhorar ciberataques, e no futuro próximo, esperamos o surgimento de módulos maliciosos dedicados a abordar tarefas específicas dentro de cenários de ataque já conhecidos.

Os cibercriminosos usarão tecnologias de IA juntamente com uma multiplicidade de outras ferramentas. Prevemos um aumento nos ataques de phishing e deepfake gerados, pois já se mostraram eficazes ao atacar indivíduos e organizações e na disseminação de várias formas de desinformação. Para garantir a segurança pessoal e corporativa, recomendamos seguir as diretrizes gerais. As empresas devem prestar atenção especial aos processos de gerenciamento de vulnerabilidades e participar de programas de recompensas por bugs. É essencial corrigir rapidamente as vulnerabilidades descobertas, especialmente aquelas com exploits publicamente disponíveis. Essas medidas são necessárias em qualquer caso, mas a automação da exploração de vulnerabilidades usando aprendizado de máquina permitirá que os cibercriminosos ataquem organizações mais rápido e com mais frequência. 

Ter pânico do potencial da IA em ciberataques não ajudará. Precisamos ver o futuro de forma realista — em primeiro lugar, estudando as capacidades das novas tecnologias e construindo sistematicamente uma cibersegurança orientada a resultados. Os cibercriminosos continuarão a integrar a IA em seus ataques, e aqueles na defesa devem desenvolver proativamente medidas de segurança sem esperar que os atacantes produzam resultados. Ao enfrentar a IA ofensiva, a contramedida lógica é uma IA defensiva mais poderosa, capaz de detectar e frustrar ataques no modo piloto automático. 

Este relatório contém informações sobre as ameaças cibernéticas globais atuais com base na própria experiência da Positive Technologies, investigações e fontes confiáveis.

Estimamos que a maioria dos ataques cibernéticos não é divulgada devido a riscos à reputação. Por esse motivo, até mesmo empresas especializadas em investigação de incidentes e em análise de atividades de hackers não conseguem quantificar o número exato de ameaças. Nossa pesquisa busca chamar a atenção de empresas e indivíduos comuns que se preocupam com o estado atual da segurança da informação para os métodos e motivos mais relevantes dos ciberataques envolvendo inteligência artificial. 

Este relatório considera cada ataque em massa (por exemplo, um e-mail de phishing enviado para vários endereços) como um único incidente em vez de múltiplos incidentes diferentes. Para obter explicações dos termos utilizados neste relatório, consulte o glossário da Positive Technologies.