Autonómni AI agenti: Skutočným rizikom nie je technológia

Rozhovor

Diskusia sa týka aktuálnych bezpečnostných obáv okolo autonómnych AI agentov, najmä nástrojov ako MoltBot a OpenClaw, ktoré sú navrhnuté tak, aby fungovali s vysokou úrovňou prístupu k systému a autonómie.

V týchto prípadoch výskumníci a odborníci z praxe upozornili na scenáre, keď boli AI agenti nasadení s rozsiahlymi oprávneniami vrátane prístupu k lokálnym prostrediam, prihlasovacím údajom, komunikačným platformám a automatizačným schopnostiam, často bez dostatočných bezpečnostných kontrol alebo izolácie.

Jeden široko diskutovaný príklad jasne ilustroval riziko: autonómny AI agent vykonal finančnú akciu, nákup online kurzu, na základe kontextovej interpretácie úlohy, bez silného kontrolného bodu so schválením od človeka. Problémom nebola tradičná kompromitácia, ale kombinácia oprávnení, autonómie a rozhodovacej právomoci udelenej systému.

Obavou teda nebol jeden katastrofálny prienik, ale skôr architektonické podmienky, ktoré vznikajú, keď:

• sú vysoké oprávnenia udelené predvolene
• je povolená perzistentná pamäť a autonómne vykonávanie
• sú zavedené externé integrácie a rozšíriteľnosť
• viditeľnosť do správania agenta zostáva obmedzená

Táto kombinácia vytvára prostredia, v ktorých by zneužitie, kompromitácia alebo nezamýšľané akcie mohli viesť k významnému riziku pre organizáciu.

Nasledujúci rozhovor skúma, čo by si mali bezpečnostní lídri odniesť z tejto vznikajúcej triedy technológií.

1. Čo je z bezpečnostného hľadiska na incidente OpenClaw / MoltBot skutočne nové a čo je len starý problém zabalený do vrstvy AI?

Nové: predovšetkým bezprecedentná úroveň dôvery a oprávnení, ktoré bežní používatelia udeľujú AI agentovi nainštalovanému v priebehu minút – prístup k shellu, prístup k súborovému systému, prihlasovacie údaje, messagingové aplikácie a podobne.

Doteraz bola táto úroveň oprávnení zvyčajne vyhradená len pre jadro operačného systému, riešenia EDR/AV/XDR alebo špecializované podnikové nástroje.

Perzistentná pamäť v kombinácii s komunikáciou medzi agentmi a trhoviskom zručností (skills) vytvára nové útočné vektory, ako je otrávenie pamäte (memory poisoning) a útoky na dodávateľský reťazec prostredníctvom škodlivých zručností.

Staré: nechránené koncové body bez autentifikácie, prihlasovacie údaje v otvorenom texte, prompt injection, riziká dodávateľského reťazca v registroch pluginov, vykonávanie bez ochranných mantinelov – to všetko je známe už roky.

2. Kde podľa vás v tomto prípade dôvera zlyhala najviac? V technológii, architektúre alebo v predpokladoch, ktoré si o týchto nástrojoch robíme?

Väčšina zlyhaní, ako obvykle, pochádza od používateľov. Zaujíma ich, či to funguje, nie ako to funguje alebo či je to bezpečné.

Pripomína mi to svet OT/SCADA, kde funkčnosť často víťazí nad bezpečnosťou. V tomto prípade sa to však deje na verejnej infraštruktúre, nie v izolovanom prostredí.

Architektúra projektu nepovažovala bezpečnosť za prioritu, či už úmyselne alebo neúmyselne, čo nedokážem posúdiť.

Hlavným vinníkom je však ľudský faktor a ochota zveriť jedinému AI agentovi všetko, čo by ľudia v reálnom svete nikdy nedovolili. Dúfajme.

Povedal by som teda, že pomer človek verzus architektúra je zhruba 70:30.

3. Ako sa útočná plocha autonómnych AI agentov líši od tradičných aplikácií a prečo je ich správanie také ťažké monitorovať a kontrolovať?

Útočná plocha autonómnych AI agentov sa v porovnaní s tradičnými aplikáciami dramaticky rozšírila.

Novým aspektom je schopnosť otráviť agenta nepriamo prostredníctvom vstupných dát, ako sú e-maily, dokumenty alebo zručnosti, čo umožňuje nepriamy prompt injection v kombinácii s otrávením pamäte.

Takéto otrávenie môže tiež zostať latentné – agent môže škodlivý kontext raz uložiť a vykonať akcie až o niekoľko týždňov, pričom všetko vyzerá ako legitímna činnosť.

Zatiaľ nemám skúsenosti z reálnej praxe, takže ide skôr o teoretické pozorovanie.

4. Kto by mal niesť zodpovednosť za správanie autonómneho AI nástroja v produkcii – dodávateľ, bezpečnostný tím alebo organizácia ako celok?

Konečná zodpovednosť vždy zostáva na organizácii ako celku – konkrétne na výkonnom vedení, vlastníkoch alebo predstavenstve. Tak ako je to dnes. To by som nemenil.

5. Keby ste mali z incidentu OpenClaw vyextrahovať jedno praktické ponaučenie, ktoré by ste dnes odovzdali bezpečnostným tímom, aké by to bolo?

Namiesto boja proti "tieňovým" (shadow) agentom je lepšie poskytnúť používateľom bezpečnú, riadenú alternatívu.

Do business case by sme tiež mali zahrnúť všetky bezpečnostné náklady, aby sme pochopili, či to naozaj chceme a či si to môžeme dovoliť.

Používatelia budú vždy hľadať spôsoby, ako si zjednodušiť prácu, bez ohľadu na to, či to naše výpočty ROI podporujú alebo nie. Inak sa táto téma nakoniec objaví v registri rizík.