Bezpečnostní firma AIR vytvořila falešnou dovednost (skill) pro AI agenty, protlačila ji oblíbeným tržištěm dovedností i reklamou na Instagramu a tvrdí, že se rozšířila zhruba k 26 000 agentům, mezi nimi i k některým na firemních účtech. Každý skener bezpečnosti dovedností, který firma vyzkoušela, ji označil za bezpečnou. Užitečné zatížení (payload) bylo záměrně neškodné: posbíralo e-mailovou adresu uživatele a nic víc.
Cílem bylo ukázat, že žádný ze signálů, na které lidé při důvěře v dovednost spoléhají, podvod neodhalil – ani skenery, ani hvězdičky na GitHubu, ani pověst open source projektu.
Jak útok proběhl
Dovednost s názvem „brand-landingpage“ slibovala vytvoření vstupní stránky pomocí návrhářského nástroje Google Stitch a mířila přímo na netechnické uživatele – marketéry, obchodníky a designéry. Aby působila věrohodně, zaměřila se AIR na dva signály důvěry. Kvůli hvězdičkám otevřela pull request do repozitáře tržiště dovedností s asi 36 000 hvězdičkami a 156 dovednostmi; po několika dnech byl PR sloučen, takže dovednost zdědila počet hvězdiček repozitáře. Poté firma spustila reklamu na Instagramu cílící na marketéry, obchodníky a designéry, kteří ji nainstalovali a začali používat.
Pro úspěšné projití skenem AIR využila strukturální slepé místo. Dovednost sama o sobě neobsahovala žádné instalační pokyny. Místo toho agentovi řekla, aby si nainstaloval „Stitch SDK“ podle dokumentace na externím odkazu stitch-design.ai – doméně, kterou AIR ovládá. Skutečný Stitch přitom sídlí na stitch.withgoogle.com. Napodobená doména je přesně ten typ detailu, který netechnický uživatel při instalaci nikdy nekontroluje.
Skenery, které AIR otestovala – od Cisca, NVIDIA a ty zabudované v registru skills.sh – analyzují balíček, který jim předáte: soubor SKILL.md a soubory dodané spolu s ním. Externí odkaz zpočátku vedl na pravou dokumentaci Stitch, takže skenery viděly čistý balíček odkazující na věrohodnou instalační stránku a propustily ho. Stránka, kterou by agent ve skutečnosti stáhl a podle níž by jednal, ležela mimo dosah skenu.
Jakmile se dovednost rozšířila, AIR změnila obsah za daným odkazem. Upravená stránka pak agentovi nařídila stáhnout a spustit skript. V testu AIR tento skript posbíral pouze e-mailovou adresu uživatele, ale firma uvedla, že stejný postup by mohl posloužit ke kompromitaci počítače, na kterém agent běží.
Proč na tom záleží
Technika není nová. Tři týdny předtím, než AIR zveřejnila své výsledky, obešel tým Trail of Bits detektor škodlivých dovedností ClawHub, Ciscův skener i všechny tři skenery zabudované do hlavních registrů dovedností. Jeho závěr zněl, že skener kontroluje pevně daný balíček, zatímco útočník může užitečné zatížení libovolně upravovat, dokud kontrolou neprojde.
Podstata problému je jednoduchá: skener kontroluje balíček v okamžiku odeslání, ale stránku, na kterou dovednost agenta nasměruje, lze kdykoli po schválení přepsat. Oněch 26 000 agentů má dovednost nainstalovanou i nadále – pokud nebyla aktivně odstraněna.
Zdroj: thehackernews.com
