ЖИ-агент сәтті нәтижені қайталай ма?

IBM Research зерттеушілері ЖИ-агенттің тапсырманы бір рет сәтті орындауы оның сенімді екенін білдірмейтінін көрсетті. Компания ALTK Evolve атты құралды таныстырды — ол агенттің бір тапсырманы бірнеше рет қатарынан орындағанда сол нәтижені қайталай ала ма, соны тексереді.

Себебі көптеген агенттер үлкен тілдік модельдерге негізделген, ал олар табиғаты бойынша бірдей нәтиже бермейді: бір сұраныс әр түрлі қадамдарға және әр түрлі нәтижеге әкелуі мүмкін. Әдеттегі тестілер тек бір реттік сәттілікті өлшейді, бұл жеткіліксіз — агент демонстрацияда кездейсоқ сәтті болып, нақты жұмыста жиі қателесуі мүмкін. Evolve тапсырманы бірнеше рет қайталап орындатып, әзірлеушілерге агенттің тұрақтылығы қай жерде әлсіз екенін жұмысқа қосылғанға дейін көрсетеді.

Компанияңызда жұмыс істеп тұрған ЖИ-агенттер мен скрипттердің қалай тексерілгенін қараңыз: демонстрациядағы бір сәтті нәтиже процестің күн сайын тұрақты жұмыс істейтінін білдірмейді. Агентке айды жабуды, шотты келісуді немесе клиентке жауап беруді сеніп тапсырмас бұрын, сценарийді бірнеше рет қайталап көріп, нәтижені салыстырыңыз. 1Cifer-де регламент бойынша жүретін процестер мен келісулер әр қосудың тарихын сақтайды, сондықтан агенттің тұрақты жұмыс істеп жатқанын әлде бір реттік сәттілік болғанын көруге болады.