Kristaps Taranda. Publicitātes foto.
Vai jūs ticētu, ja es teiktu, ka mākslīgā intelekta drošības noteikumus var apiet, rakstot dzejā?
Tieši tik neticami izklausās pētījuma Adversarial Poetry as a Universal Single-Turn Jailbreak Mechanism in Large Language Models rezultāti. Pētnieki paņēma kaitīgus pieprasījumus, kurus modeļiem drošības dēļ vajadzētu atteikt, un pārrakstīja tos dzejā. Mērķis palika tas pats, mainījās tikai veids, kā tas tika pateikts.
Un ar to daudzos gadījumos pietika. Divdesmit manuāli veidoti dzejas prompti 25 pārbaudītajos modeļos vidēji apgāja drošības mehānismus 62% gadījumu. Gemini 2.5 Pro šajā konkrētajā testā neatteica nevienu no 20 pieprasījumiem. Kad pētnieki automātiski pārvērta dzejā vēl 1200 kaitīgus testa promptus, efekts saglabājās: vidējais sekmīgo jailbreak* īpatsvars bija ap 43%, bet dažiem modeļiem tas bija līdz pat 18 reizēm augstāks nekā ar tiem pašiem pieprasījumiem parastā prozā.
Pētījums pagaidām ir preprint*, un konkrētie modeļi kopš testēšanas jau var būt mainījušies, tāpēc no šiem skaitļiem nevajadzētu secināt, ka šodien jebkuru MI var uzlauzt ar pāris atskaņām. Taču pats eksperiments ir pārāk interesants, lai to norakstītu kā kārtējo tehnisko triku. Kaitīgais nolūks palika tas pats, bet drošības mehānismu reakcija mainījās līdz ar valodas formu.
Te būtu ērti visu norakstīt uz to, ka modelis ir pārāk dumjš, lai saprastu dzeju, taču pētnieku nākamais solis rāda, ka tik vienkārši nav. Pētījuma turpinājumā konkrētais modelis dzejas formu no prozas atšķīra ar augstu precizitāti, tātad vismaz šajā gadījumā problēma nebija tajā, ka modelis “nesaprastu”, ko lasa. Drīzāk dzejiska valoda, metaforas un netipiska sintakse mainīja veidu, kā modelis apstrādāja vienu un to pašu nodomu. Cilvēkam tas šķiet mazliet absurdi, jo mēs visu mūžu trenējamies lasīt ne tikai vārdus, bet arī to, kas aiz tiem stāv. Vienu un to pašu domu var pateikt rupji, pieklājīgi, ironiski, juridiski vai skaistā dzejolī, bet forma pati par sevi mūsu acīs nemaina nodoma būtību. LLM gadījumā izrādās, ka “saprast tekstu” un “pareizi novērtēt tā nolūku” nav gluži viens un tas pats.
Uzņēmumā MI modelis šodien vairs ne vienmēr lasa tikai to, ko cilvēks tam ieraksta čata logā. To pieslēdz e-pastiem, dokumentiem, mājaslapām, datubāzēm, CRM sistēmām un citiem ārējiem avotiem. Modelis lasa saturu, kuru nav rakstījis ne tā izstrādātājs, ne pats uzņēmums, un arvien biežāk tam ir arī iespēja pēc izlasītā kaut ko izdarīt.
Tur parādās tā sauktais indirect prompt injection*. Ļaunprātīga instrukcija nav obligāti jāieraksta pašā čatā. Tā var atrasties e-pastā, dokumentā vai mājaslapā, kuru MI ir uzdots izlasīt. Sistēmai tad jāspēj atšķirt informāciju, kas tai jāapstrādā, no instrukcijas, kas mēģina mainīt tās rīcību. Microsoft kā iespējamās sekas min gan nevēlamas darbības, gan datu noplūdi un sistēmas integritātes zaudēšanu.
Dzejas eksperiments šajā kontekstā kļūst diezgan praktisks. Valoda MI sistēmā vienlaikus var būt lietotāja instrukcija, apstrādājamie dati un uzbrukuma kanāls, turklāt robežas starp šīm lomām ne vienmēr ir tik skaidras, kā mums gribētos. OWASP* savā 2025. gada lielo valodas modeļu drošības risku sarakstā prompt injection* izceļ kā vienu no galvenajiem riskiem.
Pašam uzbūvēt diezgan nopietnu MI sistēmu tikmēr kļūst arvien vienkāršāk. Ar gataviem modeļiem, n8n, Make, API un dažādiem SaaS rīkiem arī neliela komanda var izveidot aģentu, kurš lasa ienākošos e-pastus, apkopo klienta informāciju, sagatavo dokumentus, atjaunina CRM vai iedarbina nākamo procesa soli. Tehnoloģija, kas vēl nesen prasītu atsevišķu izstrādes projektu, šodien dažreiz sākas ar pāris abonementiem un pēcpusdienu pie automatizācijas rīka.
Ļoti bieži manā darbā vairs pat nav vērts uzdot jautājumu: “Vai to var automatizēt?” MI ir attīstījies tiktāl, ka lielākoties atbilde ir “jā”. Daudz vairāk laika ir vērts veltīt tam, ko konkrētajai sistēmai vispār vajadzētu ļaut darīt. Kādus datus tai vajag redzēt, vai tai nepieciešama rakstīšanas pieeja CRM, vai sagatavotais e-pasts jānosūta automātiski, kurā brīdī vajag cilvēka apstiprinājumu un kā mēs uzzināsim, ka sistēma ir izdarījusi kaut ko tādu, ko neviens nebija paredzējis.
Tas nav arguments aģentus nebūvēt. Jo pieejamāki tie kļūs, jo vairāk uzņēmumu tos izmantos, un diez vai šo vilcienu kāds grasās griezt atpakaļ. Kā tas nereti mēdz būt, mūsu aizrautība par tehnoloģisko progresu skrien pa priekšu tam, cik labi esam paspējuši saprast tā riskus un robežas. Aģentus uzbūvēt kļūst arvien vieglāk, bet pieredze, kā tiem droši dot pieeju reāliem biznesa procesiem, veidojas daudz lēnāk.
Drošību tāpēc nevar atstāt tikai paša modeļa ziņā. Svarīgas kļūst piekļuves tiesības, cilvēka apstiprinājums sensitīvām darbībām, ārējā satura nodalīšana, darbību žurnāli un iespēja pamanīt neparastu uzvedību. Microsoft savās rekomendācijās iet pat tik tālu, ka iesaka šādas sistēmas projektēt ar pieņēmumu, ka daļa indirect prompt injection* mēģinājumu agrāk vai vēlāk var būt sekmīgi. Ja viens aizsardzības slānis nenostrādā, pārējiem ir jāierobežo sekas.
Šobrīd MI rīku ieviešanas barjera turpina krist, un “mums ir AI aģents” diezgan drīz var kļūt tikpat ikdienišķi kā savulaik “mums ir mājaslapa” vai “mums ir CRM”. Tikai aģents ne vienmēr aprobežojas ar informācijas glabāšanu vai teksta ģenerēšanu. Tam var būt iespēja lasīt, interpretēt un rīkoties mūsu vietā.
Un viss šis stāsts sākās ar dzejoli. Ar vienu no senākajiem veidiem, kā cilvēki spēlējas ar valodu, pētniekiem izdevās parādīt ļoti modernu tehnoloģisku vājumu. Jo vairāk MI sistēmas iziet ārpus čata loga un sāk reāli darboties mūsu vietā, jo svarīgāk kļūst saprast, kur tām novilkt robežas. MI sistēmu uzbūvēt kļūst arvien vieglāk. Saprast, ko tai drīkst uzticēt, ne obligāti.
* Preprint: zinātniska pētījuma versija, kas jau ir publiski pieejama, bet vēl nav izgājusi pilnu akadēmiskās recenzēšanas jeb peer review procesu.
* Jailbreak: paņēmiens, ar kuru mēģina apiet MI modelī iestrādātos drošības ierobežojumus un panākt, lai tas sniedz informāciju vai veic darbību, ko normālā situācijā atteiktos darīt.
* Prompt injection: mēģinājums ar īpaši formulētām vai saturā paslēptām instrukcijām mainīt MI paredzēto rīcību. Tas var notikt gan tieši lietotāja promptā, gan netieši, piemēram, e-pastā, dokumentā vai mājaslapā, ko MI ir uzdots izlasīt.
* OWASP (Open Worldwide Application Security Project): globāla bezpeļņas organizācija un drošības kopiena, kas veido plaši izmantotas programmatūras drošības vadlīnijas, standartus un rīkus.
Avoti un atsauces
• Turpinājuma pētījums: Metaphor Is Not All Attention Needs
• Microsoft: Defend against indirect prompt injection attacks
• OWASP: LLM01:2025 Prompt Injection
Autors ir digitālā mārketinga speciālists un konsultants.
