Šakniniai signalaiHelsinkyje ir Palo Alto įsikūręs startuolis, kurio specializacija yra generatyvinis AI (GenAI) matavimas naudojant LLM-as-a-Judge metodus, surinko 2,5 mln. Turą vedė Angular Venturesdalyvaujant „Business Finland“. „Root Signals“ panaudos finansavimą, kad paspartintų savo platformos ir modelių kūrimą bei pardavimo ir rinkodaros galimybes. Root Signals padeda įmonėms paspartinti GenAI pritaikymą, suteikdama joms įmonės lygio įrankius, skirtus visapusiškai matuoti, valdyti ir stebėti LLM programas.
Siekdami saugiai pristatyti GenAI varomas verslo programas į gamybą, AI inžinieriai pradėjo naudoti apsauginius turėklus, kad blokuotų nenumatytą elgesį. Šis metodas kontroliuoja riziką, tačiau suteikia mažai galimybių padidinti vertę. Vietoj to, daugelis supranta, kad jiems reikia atidžiai išnagrinėti AI išvestis naudojant platų matavimų sąrašą su automatika, imituojančia žmogaus apžvalgininką.
Galiausiai šį sudėtingą užduotį gali automatizuoti tik kiti AI modeliai, dažnai vadinama LLM kaip teisėjas. Tai leidžia kiekybiškai įvertinti, pavyzdžiui, haliucinacijų laipsnį, atsakymų tinkamumą arba atitiktį reikalavimams. Tačiau dabartinės AI sistemos nepakankamai atsižvelgia į sudėtingumą, išlaidas ir nepatikimumą.
Didelį, ilgalaikį požiūrį į tai bendrovė vadina EvalOps. Palengvindama šių sudėtingų matavimų kūrimą ir automatizavimą, „Root Signals“ leidžia gamybinio lygio „GenAI“ programas įvertinti kiekybiškai, patikimai, tikrinti ir pakartotinai naudoti.
„GenAI neturi integruotos kokybės kontrolės. Negalite to laikyti tradicine programine įranga, o reikia galvoti apie tai kaip apie nepatikimą laisvai samdomą darbuotoją. Turite būti pedantiški jai instruktuodami, tada patikrinkite jo veikimą septyniais skirtingais būdais – o rytoj patikrinkite dar kartą. Padarome tai keičiamą naudodami metriką, kuri yra suprantama ir lengvai prižiūrima gamyboje. Dauguma kitų elektrinių įrankių šiame sektoriuje yra per žemo lygio ir sudėtingi, arba juose yra daugiau juodųjų dėžių, kurios padidina patikimumą. Dr. Ari Heljakka, „Root Signals“ įkūrėjas ir generalinis direktorius, turintis GenAI mokslų daktaro laipsnį.
Greitesni modeliai
Labiausiai trokštantys „Root Signals“ pritaikyti buvo nepriklausomi programinės įrangos pardavėjai, teikiantys „GenAI“ varomus vertikalius robotus savo specifinėms kompetencijos sritims, AI komandos, kuriose dirba greitai besikeičiantys esami pramonės žaidėjai, siekiantys įgyti konkurencinį pranašumą, ir LLM programinės įrangos konsultantai. Naudodamos „Root Signals“ įmonės gali greitai sukurti išsamią metriką, todėl lengva atlikti išsamų modelių palyginimą. Tai atveria principinį būdą pakeisti didelius modelius, pvz., GPT, mažesniais, greitesniais vietiniais modeliais – tai itin svarbu reguliuojamų pramonės šakų įmonėms.
„Mūsų vertinimai atskleidžia iš esmės daugiau nei 50 pastarųjų metų straipsnių geriausią praktiką ir įžvalgas“, pakomentavo Oguzhan Gencoglu, „Root Signals“ AI vadovas. „Nors AI elgsenos matavimas yra vienas dalykas, mūsų vartotojai nuolat klausia: „Kaip aš arba mano klientai galiu pasitikėti pačiu jūsų AI? Taigi, skirtingai nei kiti žaidėjai, mes įtraukėme savęs išmatavimą į savo vertinimo variklio branduolį.
„Root Signals metodas naudoti AI įmonės AI diegimui valdyti yra intuityvus“, pridūrė Gilas Dibneris iš „Angular Ventures“. „Visi žino, kad 90% įmonių GenAI projektų stringa. Kad įmonės būtų sėkmingos, jos turės įdiegti LLM specifines vertinimo priemones, o tai nėra lengva pradėti. Pakankamai gerai tai padaryti įmonės naudojimo atvejais reiškia sukurti tvirtą LLM teisėjų grupę, ir tik kelios įmonės turi pakankamai žinių tai padaryti. Jų laimei, „Root Signals“ įkūrėjai apie šią problemą galvojo 20 metų.
