Github labākais katru dienu: izstrādājiet reāllaika balss AI aģentu, universālu rīku komplektu

Vai jums kādreiz ir bijusi sajūta, ka vēlaties izveidot vienkāršu balss AI aģentu, bet jūs iestrēgst dažādās problēmās, piemēram, kāds jūsu komandā pārzina Python, bet kāds cits ir eksperts C++. Kad katra izstrādātā daļa tiek salikta kopā, rodas problēmas, vides konfigurēšana var aizņemt pusi dienas, un paplašināšanas funkcijas kļūst arvien juceklīgākas, līdz beidzot entuziasms ir zudis.

Šodien es vēlos iepazīstināt jūs ar super noderīgu universālu izstrādes rīku komplektu TEN-Framework.

Atvērtā koda adrese: https://github.com/TEN-framework/ten-framework

TEN Framework ir kā iepakojums visām šīm sarežģītajām lietām. Tas faktiski ir ietvars, kas īpaši paredzēts reāllaika daudzmodālu sarunu AI veidošanai. Jūs varat to iedomāties kā gatavu AI balss palīgu ražošanas līniju. Balss atpazīšanas modulis, lielo modeļu modulis, balss sintēzes modulis, tie visi ir sagatavoti jums. Viss, kas jums jādara, ir tos salikt kopā atbilstoši savām vajadzībām. Tas ir daudz vieglāk nekā sākt visu no nulles.

Runājot par to, ko tas var darīt, es vispirms izvēlēšos dažus, kas, manuprāt, ir praktiski. Pirmais ir daudzfunkcionāls balss palīgs, kas atbalsta gan RTC, gan WebSocket savienojuma metodes, ar zemu latentumu un labu skaņas kvalitāti. Neatkarīgi no tā, vai vēlaties izveidot viedo klientu apkalpošanu vai personīgo balss palīgu, šī funkcija būtībā var apmierināt jūsu vajadzības. Interesanti, ka tam ir arī grafiti ģenerators, kas zīmē to, ko jūs sakāt, ģenerējot ar roku zīmētu grafiti. Šī funkcija būs ļoti populāra demonstrācijās vai izklaides scenārijos.

Ir arī atbilstoši risinājumi vairāku personu sarunu scenārijiem. Tam ir reāllaika runātāja atpazīšanas funkcija, kas var automātiski atšķirt, kurš runā, tāpēc jums nav jāuztraucas par apjukumu sanāksmju ierakstos vai interviju transkripcijās. Virtuālo tēlu ziņā, kad AI palīgs runā, varoņa mutes forma var būt lieliski sinhronizēta ar balsi. Neatkarīgi no tā, vai tas ir divdimensiju animācijas varonis vai reālistisks 3D virtuālais cilvēks, mutes forma var būt pareiza. Tas ir pārāk ērti izstrādātājiem, kas veido virtuālos straumētājus vai personalizētus palīgus.

Ja vēlaties, lai tas atbildētu uz tālruņa zvaniem, tas atbalsta arī SIP protokolu, un AI palīgs var tieši atbildēt uz tālruņa zvaniem. Šī funkcija ir ļoti praktiska korporatīvajiem lietotājiem. Savienojot viedo klientu apkalpošanu ar tālruņu sistēmu, var ietaupīt daudz darbaspēka izmaksu. Protams, tam ir arī pamata balss pārveidošanas tekstā funkcija, kas reāllaikā pārveido balsi tekstā, ko var izmantot sanāksmju protokoliem, subtitru ģenerēšanai un citiem scenārijiem.

Papildus standartizētajiem procesiem tam ir arī daudz iebūvētu projektu veidņu, neatkarīgi no tā, vai tie ir AI Agent veidnes vai dažādas paplašināšanas un lietojumprogrammu veidnes. Piemēram, LLM, TTS paplašināšanas veidnes un vairāku populāru valodu noklusējuma lietojumprogrammu veidnes var izmantot tieši. No jauna projekta izveides līdz pirmā demonstrācijas palaišanai paiet tikai dažas minūtes, kas ietaupa daudz laika.

Ja esat pieredzējis izstrādātājs, ir arī uzlabotas spēles, piemēram, varat izveidot augstas veiktspējas reāllaika balss palīgu, izmantojot C++ reāllaika audio un video apstrādei, lai nodrošinātu zemu latentumu, un izmantojot Python LLM secinājumiem, lai palīgs varētu saprast un domāt. Pēc tam izmantojiet Node.js, lai veiktu priekšgala mijiedarbību, lai lietotāji varētu viegli darboties, un visa izstrādes ātrums ir vairāk nekā 3 reizes ātrāks nekā tradicionālā vienas valodas izstrāde.

Vai arī apvienojiet TEN VAD balss aktivitātes noteikšanas paplašinājumu, TTS teksta pārveidošanas runā paplašinājumu un LLM paplašinājumu, lai izveidotu pilnībā automātisku viedo sarunu robotu. Paplašinājumi var nemanāmi savienoties, un jums nav jāraksta apgrūtinošs integrācijas kods.

Pašlaik šis ietvars drīz sasniegs 10 000 zvaigžņu, ja jūs interesē, varat to izmēģināt.