Indirekt promptinjektion är ett stort problem, och kanske generativ AI:s största brist. Mike Pound från University of Nottingham förklarar hur det liknar SQL-injektion, men ändå inte...

Indirekt promptinjektion är ett allvarligt säkerhetsproblem för stora språkmodeller (LLM). Det innebär att information göms i data som LLM använder, vilket kan manipulera framtida svar. Exempelvis kan en dold text i ett e-postmeddelande få en AI-assistent att godkänna ett köp. Problemet liknar SQL-injektion, men är svårare att stoppa. Framtida risker inkluderar åtkomst till känsliga data som medicinska journaler och bankuppgifter.

Några lösningar:

• Kontrollera datakällor: Granska och begränsa informationen som LLM har tillgång till.
• Testa noggrant: Skapa omfattande tester för att identifiera sårbarheter.
• Separera data och prompt: Försök att skilja data från instruktioner, men detta är svårt med nuvarande LLM.

Indirekt promptinjektion är en pågående risk som kräver kontinuerlig uppmärksamhet och nya lösningar.