O que é prompt injection
Prompt injection, ou injeção de prompt, é uma ameaça direcionada aos Modelos de Linguagem em Grande Escala (LLMs). Essa vulnerabilidade permite que aplicações de inteligência artificial executem comandos não autorizados.
Ela explora falhas estruturais nos sistemas de IA generativa, tornando-se uma preocupação crescente na segurança digital. A dificuldade em diferenciar instruções legítimas de maliciosas amplifica os riscos.
Desafios dos modelos de IA
Os modelos de inteligência artificial generativa enfrentam problemas para distinguir regras de desenvolvedores e prompts de usuários. Essa confusão facilita a ação de cibercriminosos.
Qualquer aplicação que utilize LLMs se torna potencialmente vulnerável a esses ataques.
Principais alvos da ameaça
Inteligências artificiais generativas populares estão entre os principais focos. Isso inclui:
- ChatGPT
- Google Gemini
- Navegadores com IA embarcada (ChatGPT Atlas, Comet e Fellou)
A entidade Open Web Application Security Project (OWASP) classifica o prompt injection como a principal vulnerabilidade de LLMs.
Aplicações vulneráveis
A exploração não se limita a plataformas específicas. Abrange todas as ferramentas que dependem de modelos de linguagem.
Isso inclui sistemas que processam múltiplos LLMs ou realizam processamentos em sequência.
Como funcionam os ataques
Invasores desenvolvem métodos para enviar instruções maliciosas às ferramentas de IA. Essas instruções são confundidas com regras legítimas.
A injeção de código manipula os próprios LLMs para gerar e executar códigos prejudiciais.
Técnicas de ataque
Em casos de injeção recursiva, sistemas com múltiplos modelos são explorados de forma complexa. Cibercriminosos abusam dessa técnica para executar comandos não autorizados.
Prompt injection induz ferramentas de IA a ignorar instruções originais dos desenvolvedores.
Impactos na segurança digital
Ao interpretar códigos maliciosos, as ferramentas de IA podem expor informações confidenciais. Entre elas:
- Credenciais de acesso
- Senhas bancárias
- Dados financeiros
Cibercriminosos aproveitam a injeção para executar comandos que disseminam malware.
Consequências adicionais
A modificação das regras de desenvolvedor compromete a integridade das aplicações. Isso afeta a confiança dos usuários.
A falta de distinção clara entre entradas legítimas e maliciosas agrava os riscos.
Portuguese