Github dienos geriausias: kurkite realaus laiko balso AI agentą, universalų įrankių rinkinį

Ar kada nors jautėte, kad norite sukurti paprastą balso AI agentą, bet įstringate dėl įvairių problemų, pavyzdžiui, komandoje yra žmonių, kurie gerai moka Python, o kiti puikiai išmano C++. Kai atskiros sukurtos dalys sujungiamos, atsiranda problemų, aplinkos konfigūravimas gali užtrukti pusę dienos, o išplėstinės funkcijos tampa vis labiau chaotiškos, kol galiausiai entuziazmas išblėsta.

Šiandien noriu pristatyti jums itin patogų universalų kūrimo įrankių rinkinį TEN-Framework.

Atvirojo kodo adresas: https://github.com/TEN-framework/ten-framework

TEN Framework tarsi supakuoja visus šiuos sudėtingus dalykus už jus. Tai iš tikrųjų yra sistema, specialiai sukurta realaus laiko daugiarūšiam pokalbių AI kurti. Galite įsivaizduoti ją kaip paruoštą AI balso asistento gamybos liniją. Balso atpažinimo modulis, didelis modelio modulis, balso sintezės modulis – visa tai jums paruošta. Jums tereikia juos surinkti pagal savo poreikius. Tai daug patogiau nei išradinėti ratą nuo nulio.

Kalbant apie tai, ką jis konkrečiai gali padaryti, pirmiausia paminėsiu kelis, kurie, mano nuomone, yra praktiškesni. Pirmasis yra universalus balso asistentas, palaikantis RTC ir WebSocket ryšio režimus, su mažu vėlavimu ir gera garso kokybe. Nesvarbu, ar norite sukurti išmanųjį klientų aptarnavimą, ar asmeninį balso asistentą, ši funkcija iš esmės gali patenkinti jūsų poreikius. Įdomu tai, kad jis taip pat turi grafiti generatorių, kuris piešia tai, ką sakote, generuodamas rankų darbo stiliaus grafiti. Ši funkcija turėtų būti gana populiari demonstracijose ar pramogų scenarijuose.

Daugelio žmonių pokalbių scenarijams taip pat yra atitinkami sprendimai. Jis turi realaus laiko kalbėtojo atpažinimo funkciją, kuri gali automatiškai atskirti, kas kalba, todėl nereikia jaudintis dėl painiavos įrašant susitikimus ar transkribuojant interviu. Kalbant apie virtualius avatarus, kai AI asistentas kalba, personažo burnos forma gali būti puikiai sinchronizuojama su balsu. Nesvarbu, ar tai būtų antrojo matmens animacinis personažas, ar tikroviškas 3D virtualus žmogus, burnos forma gali būti suderinta. Tai labai patogu kūrėjams, kuriant virtualius transliuotojus ar individualizuotus asistentus.

Jei norite, kad jis atsilieptų į telefoną, jis taip pat palaiko SIP protokolą, o AI asistentas gali tiesiogiai atsiliepti į skambučius. Ši funkcija labai praktiška įmonių vartotojams, nes sujungus išmanųjį klientų aptarnavimą su telefono sistema, galima sutaupyti daug darbo sąnaudų. Žinoma, jis taip pat turi pagrindinę balso į tekstą funkciją, kuri realiu laiku paverčia balsą tekstu, o tai gali būti naudojama susitikimų protokolams, subtitrų generavimui ir kitiems scenarijams.

Be standartizuotų procesų, jame taip pat yra daug paruoštų projektų šablonų, nesvarbu, ar tai būtų AI agento šablonai, ar įvairūs plėtiniai ir programų šablonai. Pavyzdžiui, LLM, TTS plėtinių šablonai ir kelių pagrindinių kalbų numatytieji programų šablonai gali būti naudojami tiesiogiai. Nuo naujo projekto sukūrimo iki pirmojo demonstracinio paleidimo užtrunka tik kelios minutės, o tai labai taupo laiką.

Jei esate patyręs kūrėjas, yra ir pažangių būdų, pavyzdžiui, sukurti didelio našumo realaus laiko balso asistentą, naudoti C++ realaus laiko garso ir vaizdo apdorojimui, kad būtų užtikrintas mažas vėlavimas, naudoti Python LLM išvadoms, kad asistentas galėtų suprasti ir mąstyti. Tada naudokite Node.js priekinei sąveikai, kad vartotojai galėtų lengvai valdyti, o visas kūrimo greitis yra daugiau nei 3 kartus didesnis nei tradicinio vienos kalbos kūrimo.

Arba sujunkite TEN VAD balso aktyvumo aptikimo plėtinį, TTS teksto į kalbą plėtinį ir LLM plėtinį, kad sukurtumėte visiškai automatinį išmanųjį pokalbių robotą, o plėtiniai gali sklandžiai susijungti, nereikia rašyti sudėtingo integravimo kodo.

Šiuo metu sistema netrukus viršys 10 000 žvaigždučių, jei susidomėjote, galite išbandyti.