Zraniteľnosti ChatGPT umožňovali únik citlivých údajov cez “indirect prompt injection”
Bezpečnostní výskumníci zo spoločnosti Tenable zverejnili informácie o siedmich zraniteľnostiach v systéme OpenAI ChatGPT, ktoré mohli útočníkom umožniť realizáciu tzv. indirect prompt injection útokov. Tieto útoky umožňujú získať prístup k citlivým informáciám používateľov prostredníctvom manipulácie vstupov, ktoré model následne spracováva.
Ako útok fungoval
Na rozdiel od klasických injekčných útokov, kde útočník zadáva príkazy priamo do rozhrania AI, indirect prompt injection využíva nepriamy vstup – napríklad text vložený do webovej stránky, ktorú si model načíta pre sumarizáciu. Takto môžu byť do prostredia modelu podvrhnuté skryté inštrukcie, ktoré AI vykoná bez vedomia používateľa.
Podľa Tenable išlo konkrétne o tieto typy zraniteľností:
- Tri zraniteľnosti umožňovali podvrhnúť škodlivé príkazy prostredníctvom obsahu sumarizovanej webovej stránky.
- Ďalšia zraniteľnosť využívala načítavanie príkazov z výsledkov indexovaných vyhľadávačmi (napr. Bing či crawlerom OpenAI).
- Jedna zraniteľnosť spočívala v priamom vložení promptu do URL chatgpt.com/?q={prompt}, čo mohlo viesť k manipulácii vstupu používateľa.
- Zneužitie whitelisting vyhľadávača Bing mohlo umožniť útočníkom podvrhnúť škodlivé presmerovanie na externé stránky.
Tieto techniky dokázali obísť bežné bezpečnostné opatrenia a získať údaje z histórie konverzácií alebo interného kontextu modelu.
Záver
Článok referencuje nedávno zverejnené zraniteľnosti v AI vyhľadávačoch, platformách a agentových prehliadačoch, čím poukazuje na vysoké riziká vyplývajúce z využitia týchto technológií. Zverejnené boli aj výsledky výskumu ohľadom manipulácie myslenia modelov AI podvrhnutím veľkého množstva falošných informácií. Kým spoločnosť OpenAI už reagovala opravami, odborníci varujú, že ofenzívne techniky prompt injection a data poisoning zostávajú otvorenými výzvami pre celý AI ekosystém.
Zdroje: