Github Najlepší denne: Vývoj AI agentov pre hlas v reálnom čase, univerzálna súprava nástrojov

Mali ste niekedy pocit, že chcete vytvoriť jednoduchého hlasového AI agenta, ale zaseknú vás rôzne problémy, napríklad niekto v tíme je dobrý v Pythone a niekto ovláda C++. Časti, ktoré vyvinuli, sa spoja a vyskytnú sa problémy, konfigurácia prostredia môže trvať pol dňa a rozširovanie funkcií je čoraz chaotickejšie, až nakoniec stratíte všetko nadšenie.

Dnes vám predstavím super užitočnú univerzálnu vývojovú súpravu nástrojov TEN-Framework.

Adresa otvoreného zdroja: https://github.com/TEN-framework/ten-framework

TEN Framework je ako keby vám zabalil všetky tieto zložité veci. V skutočnosti je to rámec špeciálne navrhnutý na vytváranie multimodálnej konverzačnej AI v reálnom čase. Môžete si ho predstaviť ako hotovú výrobnú linku pre hlasových asistentov AI. Modul rozpoznávania reči, modul veľkého modelu, modul syntézy reči, to všetko je pre vás pripravené. Všetko, čo musíte urobiť, je zostaviť ich podľa svojich potrieb. To je oveľa menej starostí ako vynaliezať koleso od nuly.

Čo sa týka toho, čo konkrétne dokáže, najprv si vyberiem niekoľko, ktoré považujem za praktické. Prvým je viacúčelový hlasový asistent, ktorý podporuje dva spôsoby pripojenia RTC a WebSocket, s nízkou latenciou a dobrou kvalitou zvuku. Či už chcete vytvoriť inteligentný zákaznícky servis alebo osobného hlasového asistenta, táto funkcia v podstate dokáže splniť vaše potreby. Zaujímavé je, že má aj generátor čmáraníc, ktorý nakreslí to, čo poviete, a vygeneruje čmáranice v štýle ručnej kresby. Táto funkcia by mala byť veľmi populárna v demo alebo zábavných scenároch.

Existujú aj zodpovedajúce riešenia pre scenáre konverzácie viacerých ľudí. Má funkciu rozpoznávania hovoriaceho v reálnom čase, ktorá dokáže automaticky rozlíšiť, kto hovorí, takže sa nemusíte obávať zmätku pri nahrávaní schôdzí alebo prepisovaní rozhovorov. Čo sa týka virtuálnych avatarov, keď hovorí AI asistent, tvar úst postavy sa môže dokonale synchronizovať s hlasom. Či už ide o dvojrozmernú animovanú postavu alebo realistickú 3D virtuálnu osobu, tvar úst sa dá zladiť. To je príliš pohodlné pre vývojárov, ktorí vytvárajú virtuálnych streamerov alebo personalizovaných asistentov.

Ak chcete, aby zdvíhal telefóny, podporuje aj protokol SIP a AI asistent môže priamo prijímať hovory. Táto funkcia je veľmi praktická pre podnikových používateľov. Prepojenie inteligentného zákazníckeho servisu s telefónnym systémom môže ušetriť veľa nákladov na prácu. Samozrejme, má aj základnú funkciu prevodu reči na text, ktorá dokáže prevádzať reč na text v reálnom čase. Dá sa použiť na zápisnice zo schôdzí, generovanie titulkov a iné scenáre.

Okrem štandardizovaných procesov má tiež zabudovaných mnoho hotových šablón projektov, či už ide o šablóny AI Agent alebo rôzne šablóny rozšírení a aplikácií. Napríklad šablóny rozšírení LLM, TTS a niekoľko predvolených šablón aplikácií pre bežné jazyky sa dajú použiť priamo. Od vytvorenia nového projektu až po spustenie prvého dema to trvá len niekoľko minút, čo šetrí čas.

Ak ste skúsený vývojár, existujú aj pokročilé spôsoby hrania, napríklad vytvorenie vysokovýkonného hlasového asistenta v reálnom čase, použitie C++ na spracovanie zvuku a videa v reálnom čase na zabezpečenie nízkej latencie, použitie Pythonu na inferenciu LLM, aby asistent rozumel a dokázal premýšľať. A potom použite Node.js na interakciu front-endu, aby používatelia mohli ľahko pracovať, a celková rýchlosť vývoja je viac ako 3-krát rýchlejšia ako tradičný vývoj v jednom jazyku.

Alebo skombinujte rozšírenie TEN VAD na detekciu hlasovej aktivity, rozšírenie TTS na prevod textu na reč a rozšírenie LLM, aby ste vytvorili plne automatického inteligentného konverzačného robota. Rozšírenia sa dajú bez problémov prepojiť bez toho, aby ste museli písať zdĺhavý integračný kód.

Aktuálne tento framework čoskoro prekoná 10 000 hviezd, ak máte záujem, môžete ho vyskúšať.