Säkerheten för generativ artificiell intelligens Den är tillbaka i rampljuset efter ett nytt akademiskt arbete som lägger fram ett lika slående som oroande knep: det räcker med att omformulera vissa budskap i form av en dikt för att de mest avancerade språkmodellerna ska börja svara där de borde vägra.
Denna metod, kallad "fiendtlig poesi" Forskargruppen visar att det kan räcka med att bara ändra skrivstilen – utan att förändra den underliggande skadliga avsikten – för att kringgå de filter som företag som OpenAI, Google, Meta, Microsoft eller kinesiska DeepSeek påstår sig ha införlivat för att begränsa farlig användning av sina chattrobotar.
Vad är "kontroversiell poesi" och varför är det oroande?
Studien, med en mycket grafisk titel "Motståndspoesi som en universell mekanism för att undkomma ett enda skifte i storskaliga språkliga modeller"Den har utförts av Icaro Labs tillsammans med Sapienza-universitetet i Rom och Sant'Anna School of Advanced Studies, och har spridits som en förpublikation i arXiv-arkivet i väntan på granskning av andra experter.
Författarna fokuserade på en idé som var lika enkel som effektiv: att använda korta dikter, metaforiska verser eller lyriska strukturer att formulera förfrågningar som AI-modeller, i direkt prosa, omedelbart skulle avvisa för att de strider mot deras interna användningsregler.
Enligt forskarna fungerar denna ”fiendtliga poesi” som en jailbreaking-mekanism en enda tur, det vill säga ett sätt att tvinga fram oönskade beteenden hos modeller med ett enda budskap, utan behov av långa samtal eller särskilt sofistikerade knep.
Med hans egna ord visar testerna ”att enbart stilistisk variation "Det kan kringgå moderna säkerhetsmekanismer", vilket pekar på djupa begränsningar i de nuvarande anpassnings- och riskbedömningsmetoder som används av Big Tech.
Teamet beslutade att inte avslöja de exakta texterna till de dikter som användes under experimentet, ett val motiverat av säkerhetskonsekvenserEn av forskarna, Piercosma Bisconti, berättade för internationella medier att det inte skulle vara särskilt komplicerat att replikera tekniken om detaljerade exempel gavs.
Studieresultat: alarmerande höga andelar av bedrägerier
För att testa denna idé undersökte forskarna 25 olika generativa AI-modeller, inklusive de mest populära systemen idag, som ChatGPT, Gemini eller Claude, samt modeller från Meta och kinesiska leverantörer som DeepSeek.
I praktiken gjordes förfrågningar med tydliga mål: att erhålla instruktioner för att utföra cyberattackerutvinna känsliga uppgifter, knäcka lösenord, utforma skadlig programvara eller till och med samla in information relaterad till skapandet av kemiska vapen och kärnvapen.
När samma önskemål framfördes som verser eller poetiska kompositionerAndelen osäkra svar skjutit i höjden. Studien fann att i genomsnitt, om man skrev prompten på ett lyriskt sätt, kunde systemet luras att tro att... 62 % av tiden, en procentandel långt över vad som uppnås med neutrala och direkta formuleringar.
I vissa specifika scenarier är siffrorna ännu högre: forskare säger att nästan 90 % av poetiska uppviglingar De var utformade för experimentet och lyckades utlösa beteenden som filtren borde ha blockerat.
I det specifika fallet med information relaterad till kärnvapenFramgångsgrader mellan 40 % och 55 % uppnåddes, vilket innebär att nästan hälften av försöken formulerade i versform genererade innehåll som gränsar till, eller direkt korsar, de röda linjer som satts upp av användningspolicyer.
Hur poesi glider genom AI:s filter
En av de viktigaste faktorerna som författarna till studien använder för att förklara varför det här tricket fungerar ligger i själva språkmodellers arbetssättDessa AI:er "resonerar" inte som en person, utan förutspår snarare nästa troligaste ord baserat på föregående sekvens och vad de har lärt sig under sin träning.
I en mer eller mindre konventionell prosatext är strukturen relativt enkel att modellera: det finns tydliga syntaxmönster, frekventa uttryck och återkommande sammanhang. Men när man introducerar poetisk struktur, metaforer och ovanliga frasvändningarModellen rör sig på betydligt halare mark.
Forskare påpekar att eftersom poesi är ett format där meningen kan bli mer suddig och språket blir mer tvetydig och mindre förutsägbarMekanismerna för att upptäcka farligt innehåll förlorar i precision. Som ett resultat känner säkerhetsfiltret inte lika tydligt igen att en skadlig begäran är dold bakom dikten.
Studien betonar att när skadliga budskap uttrycks i vers istället för prosa, attackernas framgångsgrad De ökar avsevärt. Detta belyser en stor lucka i nuvarande bedömningspraxis och i de protokoll som används för att validera efterlevnaden av användningsriktlinjer.
En annan anmärkningsvärd faktor är att dessa sårbarheter uppträder i en bestående av modeller från olika familjer och tillverkareTrots att varje företag har följt sina egna strategier för att utbilda och anpassa sina system, talar författarna om en "systematisk sårbarhet" snarare än isolerade fel.
Påverkan på säkerheten: från cyberattacker till vapen
Utöver det språkliga tricket är det verkligen typen av varningsklockor som väcker information som AI kan generera om de kan luras med dessa metoder. Studien beskriver fall där chattrobotar, med hjälp av noggrant utformade dikter, erbjöd riktlinjer för att organisera cyberattacker eller intrång i system.
Bland de problematiska användningsområden som har observerats finns indikationer gällande utnyttjande av sårbarheter, datautvinning eller lösenordsknäckningDessa uppgifter är en del av den typiska arsenal av cyberbrottslighet och avancerade hot som berör regeringar, företag och organisationer runt om i världen.
Svar har också registrerats som hjälper till att skapa eller förbättra skadliga programDetta är särskilt oroande med tanke på att många användare med begränsad teknisk kunskap kan förlita sig på dessa verktyg för att lättare utveckla attacker.
Det känsligaste området, och det som vanligtvis riktar uppmärksamhet mot reglering i Europa och internationellt, är det spridning av kemiska vapen och kärnvapenÄven utan att erbjuda "kompletta manualer" väcker ett AI-systems förmåga att tillhandahålla användbar information inom detta område redan många misstankar bland säkerhetsexperter.
Författarna betonar att deras mål inte är att dramatisera, utan att visa att De nuvarande filtren är inte tillräckliga när de ställs inför relativt enkla manipulationstekniker, såsom poetisk omformulering av farliga order, något som skulle kunna utnyttjas av både cyberbrottslingar och statliga aktörer.
Begränsningar i nuvarande system och industrins svar
De ledande företagen som utvecklar generativa AI-modeller har länge insisterat på att de integrerar flerskiktade säkerhetsmekanismerOpenAI, till exempel, lyfter ofta fram den kombinerade användningen av modereringsalgoritmer och mänskliga team som är dedikerade till att granska och filtrera innehåll som uppmuntrar till hat, är explicit eller bryter mot dess policyer.
Resultaten av detta arbete tyder dock på att chatbotar, trots dessa skyddsåtgärder, fortfarande är sårbara för kreativa formuleringsformer av förfrågningarna. Enligt forskarna försämrar den motståndskraftiga poesin tydligt det avvisande beteende som alla modeller som är väl anpassade till sina användningsnormer bör uppvisa.
I testerna visade verktyg från företag som OpenAI och Anthropic, i jämförelse, lägre sannolikhet att övervinna sina egna hinderDe var dock inte befriade från problemet. Samma generella trend observerades som på de andra plattformarna, bara med något lägre framgångsfrekvens.
När internationella medier frågade om dessa resultat, frågade företag som OpenAI, Google, DeepSeek eller Meta De gav inget omedelbart svar. Det förväntas att företagen, allt eftersom debatten får allmänhetens uppmärksamhet, kommer att behöva redogöra för vilka motåtgärder de avser att genomföra.
Ur ett regulatoriskt perspektiv överensstämmer denna typ av forskning med de farhågor som redan återspeglas i Europeiska unionens AI-förordningDetta betonar riskhantering, transparens och ansvarsskyldighet för leverantörer av avancerade system. Upptäckten av nya attackvektorer, såsom fiendtlig poesi, förstärker argumentet för behovet av kontinuerliga och mer rigorösa bedömningsprocesser.
Andra hot i sikte: dataförgiftning och manipulation
Adversarial poesi är inte på något sätt den enda inriktningen som oroar cybersäkerhetsgemenskapen när det gäller generativ AI. En betydande del av den senaste forskningen fokuserar på risker förknippade med modellträningdär de enorma databaserna som används för att lära dessa verktyg att tala, skriva och resonera kommer in i bilden.
Oberoende studier har visat att det är möjligt manipulera storskaliga språkmodeller kontaminerar en mycket liten del av träningsdata: cirka 250 korrupta dokument skulle räcka för att introducera bias, bakdörrar eller oväntade beteenden, även i toppmoderna system.
Det som är slående är att denna tröskel inte verkar öka signifikant med modellens storlek, vilket bryter mot intuitionen att "Större betyder automatiskt robustare"I praktiken kan både lättviktslösningar och massiva modeller vara sårbara för denna typ av dataförgiftning.
Om en attack av denna typ går obemärkt förbi kan den leda till cyberattacker som är svåra att spåraeftersom själva modellen skulle bete sig på ett till synes normalt sätt tills vissa dolda villkor i datan som tjänade till att korrumpera den var uppfyllda.
I kombination med tekniker som adversarial poesi öppnar manipulationen av träningsdata upp ett scenario där Miljontals användare kan använda verktyg med dolda brister.utan att vara medvetna om det, vilket utgör en stor utmaning för AI-säkerhets- och styrningspolicyer.
Alla dessa resultat tyder på att säkerheten för generativ artificiell intelligens inte är ett löst problem, utan ett ständigt utvecklande område där nya former av attacker dyker upp i takt med att teknik integreras i fler områden av det dagliga livet, från kontorsarbete till offentlig förvaltning eller utbildning.
I detta sammanhang har ”poesi för att lura AI” blivit ett mycket tydligt exempel på hur en enkel stilförändring kan avslöja system som, på pappret, har strikta skyddsprotokoll. Forskningen från Icaro Labs och italienska universitet förstärker idén att sådana åtgärder kommer att vara nödvändiga. mer kreativa bedömningarKontinuerliga stresstester och nära samarbete mellan utvecklare, cybersäkerhetsexperter och tillsynsmyndigheter för att säkerställa att de språkmodeller vi använder dagligen verkligen är kapabla att motstå både tekniska attacker och de mest geniala språkliga knepen.