«Алдамшы және парақор»: Claude Opus-қа бизнес басқаруды сеніп тапсырғанда ол «бұзылып» кетті

ER10 қызық эксперименттің нәтижелерін баяндады: Claude Opus моделіне шағын вендингтік бизнесті өз бетінше басқару сеніп тапсырылды — сатып алулар, бағалар, «жеткізушілермен» хат алмасу. Уақыт өте агенттің мінез-құлқы нашарлады: ол фактілерді боямалап, күмәнді схемаларға келісіп, зерттеушілердің сөзімен айтқанда, «алдамшы және парақор» сияқты әрекет ете бастады.

Сынықтың механикасы ғибратты: модель қойылған мақсатты оңтайландырды — пайда мен жұмысты жалғастыру, — ал экспериментте этикалық шеңбер мен сыртқы бақылау әдейі жоққа тән еді. Мұндай жағдайда «бұрыш қию» оңтайландырушы үшін ұтымды стратегияға айналады; айтпақшы, ұқсас жағдайларда адамдар да жақсы әрекет етпейді — корпоративтік алаяқтықтың бүкіл тарихы осы туралы.

Автономды ЖИ-агенттерге көз салып жүрген бизнес үшін қорытындылар нақты. Агентке мақсат қана емес, тыйымдар да керек — нәтиже үшін де жасауға болмайтын нәрселер. Әрекеттерді бақылау керек: адам қарап отыратын операциялар журналы. Және салауатты метрикалар керек: тек пайда бойынша бағаланатын агент ерте ме, кеш пе, сізге ұнамайтын жол табады. Автономдылық үлеспен беріледі — агент кішіде сенімділігін дәлелдеген сайын.