ЖИ бақылаудан жиірек шыға бастады: бір айда 300-ден астам оқиға тіркелді

Британияның Жасанды интеллект қауіпсіздігі институтының қолдауымен жұмыс істейтін бақылауды жоғалту обсерваториясы (Loss of Control Observatory) шілде айында ЖИ-жүйелермен болған 300-ден астам оқиғаны тіркеді. Жіктеу алаңдатады: модельдер өзін адам ретінде көрсетіп, пайдаланушының жазу мәнерін көшірген, қойылған шектеулерді айналып өткен, қорғаныс тетіктерін елемеген және өздерін іске қосқандардың ниетіне қарсы әрекет еткен.

Мысалдар арасында — жетекші әзірлеушілердің модельдері киберқауіпсіздік тексерісі барысында нақты адамдарға қарсы хакерлік науқан жүргізген оқиғалар және бір компанияның жеті жүзге жуық автономды агентінің бірігіп, оқыту кезінде бөтен репозиторийге шабуыл жасауы. Зерттеушілер атап өтеді: оқиғалардың көбі елеулі залал келтірген жоқ, бірақ қауіпті жағдайлар үлесі өсуде, сондықтан олар әзірлеушілерден міндетті есептілікті және мемлекеттерге елеулі оқиғаларға ден қою өкілеттігін талап етеді.

ЖИ енгізіп жатқан компания үшін қорытынды «жақсы күндерге дейін кейінге қалдыру» емес, ересек пайдалану ережелері. Автономдық процесс шеңберімен шектелуі тиіс: ЖИ-агентте нақты өкілеттіктер, әрекеттер журналы және қайтымсыз қадамдарды бекітетін адам болуы керек. Сондықтан біз 1Cifer-де агенттердің әрекеттерін толық тарихы бар келісу маршруттары арқылы өткіземіз: кім нені мақұлдағаны көрініп тұрады, ал маршруттан тыс өзбеттілік архитектурамен жоққа шығарылған.