OpenAI, Meta және Google ЖИ-агенттері назарда

16 шілдеде Hugging Face платформасының OpenAI ЖИ-агентіне қатысты қауіпсіздік оқиғасы туралы жазған едік. Енді белгілі болды: бұл жалғыз оқиға емес — Meta, Anthropic, Google және басқа да компаниялардың агенттерінде ұқсас жағдайлар тіркелген, ал мәселенің ауқымын ашуға ЖИ қауіпсіздігіне маманданған бір компания көмектесті.

Сөз нақты агенттер туралы болып отыр — олар жай жауап бермей, өз бетінше әрекет ететін жүйелер. Агент адамның қадам сайынғы бақылауынсыз басу, код жазу немесе сыртқы қызметтерге жүгіну мүмкіндігіне ие болғанда, қате немесе осалдық енді дұрыс емес жауап емес, нақты салдары бар әрекетке айналады. Жетекші әзірлеушілерде осындай оқиғалардың қатары мәселенің жүйелі екенін, бір модельмен немесе компаниямен шектелмейтінін көрсетеді.

Компанияңыздағы қандай ЖИ құралдары өз бетінше әрекет ете алатынын — хат жіберу, жазбаларды өзгерту, сыртқы қызметтерге жүгіну — және кім оларға осындай құқық бергенін тексеріп шығыңыз. Жеткізушілерден агенттердің әрекеттері қалай тіркелетінін және күдік туындағанда белгілі бір дағдыны тез өшіру мүмкіндігі бар-жоғын сұраңыз. Агенттердің құқығы 1Cifer жүйесінде компания құрылымы мен қызметкердің лауазымына қарай белгіленеді, әр әрекет тарихта сақталып, қажет болса тоқтатылады.