Transformers llama.cpp үлгілерін іске қосады

Hugging Face Transformers кітапханасын жаңартты: енді ол llama.cpp қозғалтқышы қолданатын GGUF пішіміндегі үлгілерді алдын ала түрлендірместен тікелей жүктеп, іске қосады. Бұрын сығылған, яғни квантталған, үлгілермен жұмыс істеу үшін бөлек llama.cpp құралын орнату немесе салмақтарды қолмен басқа пішімге ауыстыру керек болатын.

Қуантталу үлгінің көлемі мен қажетті жадты сапасын онша жоғалтпай айтарлықтай азайтады — бұл заманауи үлгілерді қымбат видеокарталарда ғана емес, әдеттегі серверлерде де іске қосудың негізгі тәсілдерінің бірі. Екі экожүйенің бір құралда бірігуі жаңа үлгінің шығуы мен оның нақты өнімде қолданылуы арасындағы артық техникалық қадамды алып тастайды.

Егер компанияңызда ішкі міндеттер үшін жергілікті немесе жабық ЖИ-үлгілерін сынап жатсаңыз, осы жаңарту жабдыққа кететін шығынды азайтады ма, әлде пилотты жылдам іске қосуға көмектеседі ме — ІТ мамандарынан сұраңыз. Әзірлеушілер пішімдер мен квантталумен айналысқанда, бизнес бұл жолды қысқарта алады: 1Cifer-де әр лауазымға арналған агент дайын тұрады және компания деректері бойынша инфрақұрылымды өзі құрмай-ақ жауап береді.