Github Araw-araw na Pinakamahusay #1: Bumuo ng Real-time na Voice AI Intelligent Agent, Isang Universal na Toolbox

Naranasan niyo na ba yung ganitong pakiramdam, na gusto niyong gumawa ng simpleng voice AI intelligent agent, pero napupunta kayo sa iba't ibang problema, halimbawa, may mga miyembro ng team na magaling sa Python, may mga eksperto sa C++. Kapag pinagsama-sama yung mga parte na ginawa nila, nagkakaproblema, yung pag-configure ng environment inaabot ng halos buong araw, yung pagpapalawak ng mga function lalong gumugulo, hanggang sa mawala na yung enthusiasm.

Ngayon, ipapakilala ko sa inyo ang isang napakagandang universal development toolbox, ang TEN-Framework.

Open source address: https://github.com/TEN-framework/ten-framework

Ang TEN Framework ay parang binalot na lahat ng mga komplikadong bagay na ito para sa inyo. Ito ay isang framework na espesyal na ginawa para bumuo ng real-time na multi-modal na conversational AI, pwede niyo itong isipin bilang isang handa nang AI voice assistant production line. Voice recognition module, large model module, voice synthesis module, lahat ng ito ay handa na para sa inyo, ang gagawin niyo na lang ay i-assemble ang mga ito ayon sa inyong pangangailangan. Mas madali ito kaysa sa gumawa ng sarili niyong gulong mula sa simula.

Pagdating sa kung ano ang kaya nitong gawin, pipiliin ko muna yung ilan na sa tingin ko ay mas praktikal. Ang una ay ang multi-purpose voice assistant, na sumusuporta sa dalawang uri ng koneksyon, ang RTC at WebSocket, mababa ang latency, at maganda rin ang kalidad ng tunog. Gusto niyo mang gumawa ng intelligent customer service o personal voice assistant, karaniwang matutugunan ng function na ito ang mga pangangailangan. Ang nakakatuwa pa, mayroon itong doodle generator, kung ano ang sasabihin mo, yun ang iguguhit nito, na may istilong hand-drawn. Ang function na ito ay tiyak na magugustuhan sa mga demonstration o entertainment scenario.

Mayroon ding mga solusyon para sa mga multi-person na dialogue scenario. Mayroon itong real-time na speaker recognition function, na awtomatikong nakikilala kung sino ang nagsasalita, kaya hindi mo na kailangang mag-alala tungkol sa pagkalito kapag nagtatala ng mga pulong o nagta-transcribe ng mga panayam. Pagdating sa virtual avatar, kapag nagsasalita ang AI assistant, ang hugis ng bibig ng character ay perpektong naka-synchronize sa boses. Anime character man na 2D o makatotohanang 3D virtual human, kayang gawin na magtugma ang hugis ng bibig. Napakadali nito para sa mga developer na gumagawa ng virtual streamer o personalized assistant.

Kung gusto mong ipasagot ito sa telepono, sinusuportahan din nito ang SIP protocol, maaaring direktang sagutin ng AI assistant ang mga tawag sa telepono. Ang function na ito ay napaka-praktikal para sa mga gumagamit ng enterprise, ang pagsasama ng intelligent customer service sa sistema ng telepono ay makakatipid ng maraming gastos sa paggawa. Siyempre, mayroon din itong basic na voice-to-text function, na nagko-convert ng boses sa teksto sa real time, na magagamit sa mga scenario tulad ng mga minutes ng pulong at pagbuo ng subtitle.

Bukod sa mga standardized na proseso, mayroon din itong maraming handa nang project template, AI Agent template man, o iba't ibang extension at application template. Halimbawa, LLM, TTS extension template, at ilang default na application template sa mga pangunahing wika, lahat ay maaaring gamitin nang direkta. Mula sa paggawa ng bagong proyekto hanggang sa pagpapatakbo ng unang demo, ilang minuto lang ang aabutin, na nakakatipid ng maraming oras.

Kung ikaw ay isang beteranong developer, mayroon ding mga advanced na paraan para maglaro, halimbawa, maaari kang gumawa ng isang high-performance na real-time na voice assistant, gamit ang C++ para sa real-time na pagpoproseso ng audio at video, na tinitiyak ang mababang latency, gamit ang Python para sa LLM inference, upang maunawaan at makapag-isip ang assistant. Pagkatapos ay gamitin ang Node.js para sa front-end na interaction, upang madaling mapatakbo ng mga user, ang buong bilis ng pag-develop ay 3 beses na mas mabilis kaysa sa tradisyonal na single-language na pag-develop.

O pagsamahin ang TEN's VAD voice activity detection extension, TTS text-to-speech extension, at LLM extension, maaari kang bumuo ng isang ganap na awtomatikong intelligent na dialogue robot, ang mga extension ay maaaring walang putol na magkonekta, hindi mo na kailangang magsulat ng masalimuot na integration code.

Sa kasalukuyan, ang framework na ito ay malapit nang lumampas sa 10000 stars, kung interesado ka, maaari mo itong subukan.