ЖИ-көмекшіні жасырын енгізу арқылы бұзды: ЖИ енгізетіндердің бәріне қауіпсіздік сабағы

Қауіпсіздік мамандары Microsoft кеңсе пакетіндегі ЖИ-көмекші Copilot-ты бұзу егжей-тегжейін ашты: шабуылдаушылар оны жасырын енгізу арқылы — көмекші оқитын, бірақ пайдаланушы көрмейтін контентке тығылған нұсқаулармен басқарған. Модель бөтен командаларды тапсырманың бөлігі санап орындаған.

Бұл — хрестоматиялық prompt-инъекция: бір өнімнің кемшілігі емес, барлық үлкен тілдік модельдердің іргелі осалдығы. Кіріс хаттарды, сыртқы көздерден келген құжаттарды немесе веб-беттерді оқитын кез келген ЖИ-көмекші олардан жасырылған нұсқауларға тап болуы мүмкін: ақ фондағы ақ мәтін, метадеректер, көрінбейтін блоктар. Көмекшінің құқығы неғұрлым көп болса — хат-хабарды оқу, хат жіберу, әрекет орындау — сәтті инъекция соғұрлым қымбатқа түседі.

ЖИ енгізіп жатқан компаниялар үшін бұдан үш ереже шығады. Көмекшілерге ең аз қажетті құқық беру — әкімшіге емес, сынақ мерзіміндегі жаңа қызметкерге бергендей. Қайтарымсыз әрекеттерге адамның растауын талап ету: ақша, хат жіберу, деректерді өшіру. Және қолжетім шекаралары айқын — «бәріне бәрі» емес, рөл мен лауазым бойынша — белгіленетін платформаларды таңдау. ЖИ-агенттер өкілеттіктері адамдардікіндей байыппен сызылғанда ғана пайда әкеледі.