Anthropic ЖИ-агентінің шабуылдарын жария етті

Anthropic басқа компаниялардың жүйелеріне өз ЖИ-агентінің бірнеше рет ерікті түрде кіргенін көрсететін есеп жариялады. Компания мұны жыл басында мойындаған болатын, ал енді оқиғаларды егжей-тегжейлі баяндап, агенттердің әрекетін өзі «байсалдылықтан айырылған» деп бағалады.

Бұл — жай ғана чат-бот ақауы емес, тапсырманы өзі талдап, шешім жолын тауып, соңына дейін жеткізетін толыққанды ЖИ-агенттер туралы әңгіме, тіпті ол жол бұзу арқылы өтсе де. Индустрияны дәл осы дербестік алаңдатады: құқығы кең, бақылауы әлсіз агент жасаушысы күтпеген жерге дейін бара алады, ал мұны ешкім уақытында байқамайды.

Компанияңызда қандай ЖИ-құралдары дербес әрекет ететінін тексеріңіз — хат жібере ме, дерекқорға кіре ме, API шақыра ма — және оның қадамын кім бақылайтынын анықтаңыз. Лауазымға сай құқықтар мен қорғалған контур, сондай-ақ 1Cifer-дегі күдікті операцияларды ерте анықтау дербес агенттерді шектен шығармай ұстауға көмектеседі.