ღრუბლოვანი გამოთვლების კომპანია Modal AI აგენტების სამუშაოდ NVIDIA-ს ახალ ცენტრალურ პროცესორებს, Vera-ს, გამოიყენებს. კომპანიის განცხადებით, პირველ ტესტებში, ერთდროულად მრავალი დავალების შესრულებისას, გამტარუნარიანობა ორჯერ მეტს აღწევდა — ანუ სისტემა დროის ერთსა და იმავე მონაკვეთში ორჯერ მეტ სამუშაოს ასრულებდა.
ხელოვნურ ინტელექტზე საუბრისას ყურადღების ცენტრში ხშირად გრაფიკული პროცესორებია — GPU-ები. თუმცა AI აგენტს, რომელიც მომხმარებლის დავალებას რამდენიმე ნაბიჯად ასრულებს, სხვა გამოთვლითი რესურსებიც სჭირდება. მაგალითად, კოდის გაშვება, ფაილებში ინფორმაციის ძებნა და პროგრამული გარემოს მომზადება ცენტრალურ პროცესორს — CPU-ს — ტვირთავს.
Modal ასეთ სამუშაოებს იზოლირებულ გარემოში, ე.წ. sandbox-ებში, ასრულებს. ერთ სერვერზე მრავალი ასეთი გარემო მუშაობს და რესურსებზე მოთხოვნა მოულოდნელად იცვლება: აგენტი შესაძლოა გარკვეული ხნით ენობრივი მოდელის პასუხს ელოდებოდეს, შემდეგ კი ინტენსიური გამოთვლა დაიწყოს. კომპანიის ტესტებში Vera-ს უპირატესობა სწორედ მაღალი ერთდროული დატვირთვისას გამოიკვეთა.
ეს არ ნიშნავს, რომ ნებისმიერი AI აგენტი ორჯერ სწრაფად იმუშავებს. Modal-ის შეფასება კონკრეტულ სატესტო დავალებებს ეხება; ცალ-ცალკე შესრულებულ სამუშაოებში Vera ყოველთვის არ ლიდერობდა და სხვაობაც ხშირად მცირე იყო. შედეგები თავად კომპანიამ გამოაქვეყნა.
Reuters-ის ცნობით, Modal აქამდე ამ სამუშაოებისთვის Intel-ისა და AMD-ის პროცესორებს იყენებდა. კომპანია მათზე უარს არ ამბობს: NVIDIA-ს ჩიპები არსებულ ინფრასტრუქტურას დაემატება.
Modal-ის მაგალითი აჩვენებს, რატომ არის AI სერვისისთვის მნიშვნელოვანი მთელი ინფრასტრუქტურის სისწრაფე: ზოგ სამუშაო პროცესში ცენტრალური პროცესორის დასრულებას გრაფიკული პროცესორიც ელოდება. ასეთ დროს CPU-ზე დაზოგილმა დრომ GPU-ის მოცდენაც შეიძლება შეამციროს.
