Githubs daglige beste nr. 1: Utvikle sanntids stemme-AI-agenter, en universal verktøykasse

Har dere noen gang følt at dere vil lage en enkel stemme-AI-agent, men blir stoppet av forskjellige problemer? For eksempel, noen i teamet er flinke i Python, og noen er eksperter i C++. Når de respektive utviklede delene settes sammen, oppstår det problemer. Konfigurasjon av miljøet kan ta en halv dag, og utvidelsesfunksjoner blir mer rotete jo mer du endrer dem, og til slutt blir entusiasmen slitt bort.

I dag vil jeg introdusere en super praktisk universal utviklingsverktøykasse TEN-Framework.

Åpen kildekode adresse: https://github.com/TEN-framework/ten-framework

TEN Framework er som å pakke alle disse komplekse tingene for deg. Det er faktisk et rammeverk spesielt brukt til å bygge sanntids multimodale samtale-AI. Du kan tenke på det som en ferdig produksjonslinje for AI-stemmeassistenter. Stemmegjenkjenningsmodul, stor modellmodul, stemmesyntesemodul, alt dette er forberedt for deg. Det du trenger å gjøre er å sette dem sammen i henhold til dine egne behov. Dette er mye mer problemfritt enn å bygge hjulet fra bunnen av.

Når det gjelder hva det kan gjøre spesifikt, vil jeg først velge noen få som jeg synes er mer praktiske. Den første er en flerbruks stemmeassistent som støtter både RTC- og WebSocket-tilkoblingsmetoder, med lav latens og god lydkvalitet. Enten du vil lage en intelligent kundeservice eller en personlig stemmeassistent, kan denne funksjonen i utgangspunktet dekke behovene. Interessant nok har den også en doodle-generator. Den tegner det du sier, og genererer en håndtegnet stil. Denne funksjonen bør være populær i demonstrasjons- eller underholdningsscenarier.

Det finnes også tilsvarende løsninger for flerdeltakersamtaler. Den har sanntids høyttaleridentifikasjonsfunksjon, som automatisk kan skille hvem som snakker, slik at du ikke trenger å bekymre deg for forvirring når du tar møtereferater eller transkriberer intervjuer. Når det gjelder virtuelle avatarer, kan munnbevegelsene til karakteren synkroniseres perfekt med stemmen når AI-assistenten snakker. Enten det er en todimensjonal anime-karakter eller en realistisk 3D virtuell person, kan munnbevegelsene stemme overens. Dette er veldig praktisk for utviklere som lager virtuelle streamere eller personlige assistenter.

Hvis du vil at den skal svare på telefonen, støtter den også SIP-protokollen, og AI-assistenten kan svare på telefoner direkte. Denne funksjonen er veldig praktisk for bedriftsbrukere. Å koble intelligent kundeservice til telefonsystemet kan spare mye arbeidskraftkostnader. Selvfølgelig har den også den grunnleggende stemme-til-tekst-funksjonen, som konverterer stemme til tekst i sanntid. Møtereferater, generering av undertekster og andre scenarier kan brukes.

I tillegg til standardiserte prosesser, har den også mange ferdige prosjektmaler innebygd, enten det er AI Agent-maler eller forskjellige utvidelser og applikasjonsmaler. For eksempel LLM-, TTS-utvidelsesmaler og standard applikasjonsmaler for flere vanlige språk kan brukes direkte. Fra å opprette et nytt prosjekt til å kjøre den første demoen tar det bare noen få minutter, noe som sparer mye tid.

Hvis du er en erfaren utvikler, er det også avanserte måter å spille på, for eksempel å lage en høyytelses sanntids stemmeassistent, bruke C++ for sanntids lyd- og videobehandling for å sikre lav latens, og bruke Python for LLM-inferens for å la assistenten forstå og tenke. Bruk deretter Node.js for frontend-interaksjon for å la brukere enkelt betjene, og hele utviklingshastigheten er mer enn 3 ganger raskere enn tradisjonell enkelt-språkutvikling.

Eller kombiner TENs VAD stemmeaktivitetsdeteksjonsutvidelse, TTS tekst-til-tale-utvidelse og LLM-utvidelse for å sette opp en helautomatisk intelligent samtalerobot. Utvidelser kan kobles sømløst uten at du trenger å skrive kjedelig integrasjonskode selv.

For øyeblikket er dette rammeverket i ferd med å bryte 10 000 stjerner, og de som er interessert kan prøve det.