OpenAI ЖИ-агентін өзінің осалдықтарын іздеуге үйретті

Промпт-инъекция — бұл ЖИ-агентті құжаттағы, хаттағы немесе веб-беттегі арнайы құрастырылған мәтін арқылы алдап, одан күтпеген әрекетті орындатуға тырысу. OpenAI-дың GPT-Red жүйесі мұндай шабуылдарды автоматты түрде жасайды және модельді оларға қарсы тұруға үйретеді — яғни компания бұл кез келген ЖИ-агентке негізделген өнім үшін нақты және өсіп келе жатқан тәуекел екенін мойындап отыр. Агенттерге хат алмасуға, құжаттарға немесе дерекқорларға қолжетімділік беретін бизнес үшін бұл тікелей сигнал: шешім жеткізушіден агенттің кіретін деректер арқылы манипуляция әрекеттеріне қаншалықты төзімді екенін қалай тексеретінін сұраған жөн, «бұл ЖИ болғандықтан қауіпсіз» деп есептемей. 1Cifer-де біз мұны агенттердің жұмысына бастапқыдан бастап енгіземіз: агент тек қызметкердің құқығы бойынша қолжетімді деректерді ғана көреді және өңдейді, ал құжаттармен немесе поштамен кез келген әрекет түсінікті ережелер арқылы өтеді, файлдың мазмұны бойынша соқыр орындалмайды. Мұндай тексеру агенттер контрагенттерден келген құжат сканерлерімен немесе сыртқы файлдармен жұмыс істейтін компаниялар үшін әсіресе маңызды — зиянды нұсқаулар көбіне сол жерде жасырылады.