Github Dagens Bedste #1: Udvikl Real-Time Stemme AI Agenter, En Universel Værktøjskasse

Har I nogensinde haft den følelse, at I gerne vil lave en simpel stemme AI agent, men bliver stoppet af forskellige problemer? For eksempel, at nogen i teamet er gode til Python, og andre er dygtige til C++. Når de forskellige dele sættes sammen, opstår der problemer, miljøkonfigurationen kan tage en halv dag, og udvidelsesfunktionerne bliver mere og mere rodede, indtil entusiasmen er væk.

I dag vil jeg introducere en super praktisk universel udviklingsværktøjskasse, TEN-Framework.

Open source adresse: https://github.com/TEN-framework/ten-framework

TEN Framework er som at pakke alle disse komplicerede ting for dig. Det er faktisk et framework, der er specielt designet til at bygge real-time multimodale samtale-AI. Du kan tænke på det som en færdig produktionslinje for AI stemmeassistenter. Stemmegenkendelsesmodul, store modelmoduler, stemmesyntesemoduler, alt dette er forberedt til dig. Det eneste du skal gøre er at samle dem efter dine egne behov. Det er meget mere bekvemt end at opfinde hjulet selv.

Hvad angår, hvad det specifikt kan gøre, vil jeg først vælge et par, som jeg synes er mere praktiske. Den første er en multi-purpose stemmeassistent, der understøtter både RTC- og WebSocket-forbindelser, med lav latency og god lydkvalitet. Uanset om du vil lave en intelligent kundeservice eller en personlig stemmeassistent, kan denne funktion grundlæggende opfylde dine behov. Interessant nok har den også en doodle generator, der tegner det, du siger, og genererer en håndtegnet stil af doodles. Denne funktion burde være populær i demonstrations- eller underholdningsscenarier.

Der er også en tilsvarende løsning til multi-personers samtalescenarier. Den har real-time talergenkendelsesfunktion, som automatisk kan skelne, hvem der taler, så du behøver ikke at bekymre dig om forvirring ved mødeoptagelser eller transskription af interviews. Med hensyn til virtuelle avatarer kan karakterens mundbevægelser synkroniseres perfekt med stemmen, når AI-assistenten taler. Uanset om det er en todimensionel anime-karakter eller en realistisk 3D virtuel person, kan mundbevægelserne matche. Dette er meget praktisk for udviklere, der laver virtuelle streamere eller personlige assistenter.

Hvis du vil have den til at besvare telefonopkald, understøtter den også SIP-protokollen, og AI-assistenten kan besvare telefonopkald direkte. Denne funktion er meget praktisk for virksomhedsbrugere, der kan forbinde intelligent kundeservice med telefonsystemet, hvilket sparer en masse manuelle omkostninger. Selvfølgelig har den også den grundlæggende stemme-til-tekst-funktion, der konverterer stemme til tekst i realtid, hvilket kan bruges i mødenotater, undertekstgenerering og andre scenarier.

Ud over standardiserede processer har den også mange færdige projektskabeloner, uanset om det er AI Agent-skabeloner eller forskellige udvidelser og applikationsskabeloner. For eksempel LLM-, TTS-udvidelsesskabeloner og standardapplikationsskabeloner på flere mainstream-sprog, som alle kan bruges direkte. Fra oprettelse af et nyt projekt til at køre den første demo tager det kun et par minutter, hvilket sparer meget tid.

Hvis du er en erfaren udvikler, er der også avancerede måder at spille på. For eksempel kan du lave en højtydende real-time stemmeassistent, bruge C++ til real-time lyd- og videobehandling for at sikre lav latency, bruge Python til LLM-inferens for at lade assistenten forstå og tænke. Brug derefter Node.js til frontend-interaktion for at lade brugerne nemt betjene. Hele udviklingshastigheden er mere end 3 gange hurtigere end traditionel single-language udvikling.

Eller kombiner TEN's VAD stemmeaktivitetsdetektionsudvidelse, TTS tekst-til-tale-udvidelse og LLM-udvidelse for at bygge en fuldautomatisk intelligent samtalerobot. Udvidelserne kan forbindes problemfrit uden at du selv skal skrive besværlig integrationskode.

I øjeblikket er dette framework ved at bryde 10000 stjerner, så hvis du er interesseret, kan du prøve det.