Промпт-инъекцияларды қорғаушылар қаруға алды: ЖИ-агенттердің басты осалдығы қорғаныс құралына айналды

Ars Technica киберқауіпсіздіктегі жаңа бетбұрысты сипаттайды: промпт-инъекцияларды — ЖИ-ді бөтен еркінді орындауға мәжбүрлейтін жасырын нұсқауларды — енді қорғаушылар да қолдана бастады. Құжаттар мен жүйелердегі тұзақтар шабуылдаушылардың ЖИ-құралдарын шатастырады: автоматтандырылған бұзу жасанды командаларға тап болып, өзін әшкерелейді немесе жалған ізбен кетеді.

Мұндағы симметрия көп нәрсені айтады: үлкен тілдік модельдердің бір ғана осалдығы — кез келген мәтіндегі нұсқауларды орындау әдеті — екі бағытта да жұмыс істейді. Шабуылдаушылар корпоративтік ЖИ-агенттерді алдау үшін командаларды хаттар мен файлдарға жасырады; қорғаушылар шабуылдаушылардың ЖИ-ін алдау үшін оларды жемтіктерге жасырады.

ЖИ-агенттерді енгізіп жатқан компанияға қорытынды теориялық емес. Поштаны, құжаттарды және веб-беттерді оқитын агент бөтен нұсқауларға да кездеседі — және деректерден келген командаларды орындамайтындай құрылуы тиіс: әрекет құқығы оған оқылған мәтін арқылы емес, бөлек беріледі. ЖИ-агенттерге платформа таңдағанда жеткізушіден дәл осыны сұраңыз: жүйе иеленушінің тапсырмасын келген шотқа жазылған «тапсырмадан» қалай ажыратады.