Github Dnevni Najbolji Prvi: Razvoj AI Agenta za Glas u Stvarnom Vremenu, Univerzalni Alatni Okvir

Jeste li ikada imali osjećaj da želite napraviti jednostavan AI agent za glas, ali vas zaustavljaju razni problemi, na primjer, netko u timu je dobar u Pythonu, a netko u C++. Dijelovi koje su razvili se ne slažu kada se spoje, konfiguracija okruženja može trajati pola dana, a proširenje funkcija postaje sve kaotičnije, sve dok na kraju entuzijazam ne nestane.

Danas vam predstavljam super koristan univerzalni alatni okvir TEN-Framework.

Otvoreni izvor: https://github.com/TEN-framework/ten-framework

TEN Framework je kao da je sve te složene stvari spakirao za vas. To je zapravo okvir posebno dizajniran za izgradnju multimodalnih konverzacijskih AI u stvarnom vremenu. Možete ga zamisliti kao gotovu proizvodnu liniju za AI glasovne asistente. Modul za prepoznavanje glasa, modul velikog modela, modul za sintezu glasa, sve je to pripremljeno za vas. Sve što trebate učiniti je sastaviti ih prema vlastitim potrebama. Ovo je puno lakše nego izmišljati kotač od nule.

Što se tiče toga što točno može učiniti, prvo ću odabrati nekoliko za koje mislim da su praktični. Prvi je višenamjenski glasovni asistent koji podržava RTC i WebSocket veze, s vrlo niskom latencijom i dobrom kvalitetom zvuka. Bez obzira želite li napraviti inteligentnu službu za korisnike ili osobnog glasovnog asistenta, ova funkcija u osnovi može zadovoljiti potrebe. Zanimljivo je da ima i generator crteža. Što god kažete, on će nacrtati, generirajući crteže u stilu ručno crtanih. Ova funkcija bi trebala biti vrlo popularna u demonstracijama ili zabavnim scenarijima.

Postoje i odgovarajuća rješenja za scenarije razgovora s više osoba. Ima funkciju prepoznavanja govornika u stvarnom vremenu, koja može automatski razlikovati tko govori, tako da ne morate brinuti o zabuni prilikom snimanja sastanaka ili transkripcije intervjua. Što se tiče virtualnih likova, kada AI asistent govori, oblik usta lika može se savršeno sinkronizirati s glasom. Bilo da se radi o anime liku iz druge dimenzije ili realističnom 3D virtualnom čovjeku, oblik usta može se uskladiti. Ovo je previše zgodno za programere koji izrađuju virtualne streamere ili personalizirane asistente.

Ako želite da odgovara na telefone, podržava i SIP protokol, a AI asistent može izravno odgovarati na pozive. Ova je funkcija vrlo praktična za poslovne korisnike. Povezivanje inteligentne službe za korisnike s telefonskim sustavom može uštedjeti mnogo troškova rada. Naravno, ima i osnovnu funkciju pretvaranja glasa u tekst, pretvarajući glas u tekst u stvarnom vremenu, što se može koristiti u scenarijima kao što su zapisnici sa sastanaka i generiranje titlova.

Pored standardiziranih procesa, ima i mnogo gotovih predložaka projekata, bilo da se radi o predlošcima AI Agenta ili raznim predlošcima proširenja i aplikacija. Na primjer, predlošci proširenja LLM, TTS, kao i zadani predlošci aplikacija za nekoliko glavnih jezika, mogu se koristiti izravno. Od stvaranja novog projekta do pokretanja prvog demoa, potrebno je samo nekoliko minuta, što štedi puno vremena.

Ako ste iskusni programer, postoje i napredne mogućnosti, na primjer, možete napraviti AI asistenta za glas u stvarnom vremenu visokih performansi, koristiti C++ za obradu audio i video zapisa u stvarnom vremenu kako biste osigurali nisku latenciju, koristiti Python za LLM zaključivanje kako bi asistent mogao razumjeti i razmišljati. Zatim koristite Node.js za interakciju s prednjim krajem kako bi korisnici mogli lako upravljati, a ukupna brzina razvoja je više od 3 puta brža od tradicionalnog razvoja s jednim jezikom.

Ili kombinirajte TEN-ovo VAD proširenje za detekciju glasovne aktivnosti, TTS proširenje za pretvaranje teksta u govor i LLM proširenje kako biste postavili potpuno automatiziranog inteligentnog robota za razgovor. Proširenja se mogu neprimjetno povezati bez potrebe da sami pišete zamoran integracijski kod.

Trenutno će ovaj okvir uskoro premašiti 10000 zvjezdica, ako ste zainteresirani, možete ga isprobati.