Github's Beste van de Dag: Ontwikkel Real-time Spraak AI Agenten, een Alles-in-één Toolkit

Hebben jullie dat ook wel eens, dat je een simpele spraak AI agent wilt maken, maar vastloopt op allerlei problemen? Bijvoorbeeld dat iemand in het team goed is in Python, en iemand anders in C++. De delen die ze apart ontwikkelen, werken niet samen, de omgevingsconfiguratie kost je een halve dag, en het uitbreiden van functionaliteiten wordt steeds chaotischer, waardoor je uiteindelijk je enthousiasme verliest.

Vandaag introduceer ik een superhandige alles-in-één ontwikkeltoolkit: TEN-Framework.

Open source adres: https://github.com/TEN-framework/ten-framework

TEN Framework is alsof al die complexe dingen al voor je zijn ingepakt. Het is eigenlijk een framework dat speciaal is ontworpen voor het bouwen van real-time multimodale conversationele AI. Je kunt het zien als een kant-en-klare productielijn voor AI-spraakassistenten. Spraakherkenningsmodules, grote modelmodules, spraaksynthesemodules, ze zijn allemaal voor je klaargezet. Het enige wat je hoeft te doen is ze naar eigen behoefte samen te stellen. Dat is een stuk makkelijker dan zelf het wiel uitvinden.

Wat het precies kan, zal ik eerst een paar dingen noemen die ik handig vind. De eerste is een multifunctionele spraakassistent, die zowel RTC- als WebSocket-verbindingen ondersteunt, met een lage latentie en een goede geluidskwaliteit. Of je nu een slimme klantenservice of een persoonlijke spraakassistent wilt maken, deze functie kan in principe aan je behoeften voldoen. Interessant is dat er ook een doodle-generator is, die tekent wat je zegt, in een handgetekende stijl. Deze functie zou populair moeten zijn in demo- of entertainmentscenario's.

Er zijn ook oplossingen voor scenario's met meerdere gesprekken. Het heeft een real-time sprekerherkenningsfunctie, die automatisch kan onderscheiden wie er spreekt, zodat je je geen zorgen hoeft te maken over verwarring bij het opnemen van vergaderingen of het transcriberen van interviews. Op het gebied van virtuele personages kan de mond van het personage perfect synchroon lopen met de spraak wanneer de AI-assistent spreekt. Of het nu gaat om een tweedimensionaal anime-personage of een realistisch 3D-virtueel persoon, de mond kan worden gesynchroniseerd. Dit is erg handig voor ontwikkelaars die virtuele streamers of gepersonaliseerde assistenten willen maken.

Als je het wilt laten telefoneren, ondersteunt het ook het SIP-protocol, en de AI-assistent kan rechtstreeks telefoongesprekken beantwoorden. Deze functie is erg handig voor zakelijke gebruikers, omdat het integreren van slimme klantenservice met telefoonsystemen veel arbeidskosten kan besparen. Natuurlijk heeft het ook de basisfunctie van spraak-naar-tekst, die spraak in realtime omzet in tekst, wat kan worden gebruikt voor notulen van vergaderingen, het genereren van ondertitels en andere scenario's.

Naast gestandaardiseerde processen heeft het ook veel kant-en-klare projectsjablonen, of het nu gaat om AI Agent-sjablonen of verschillende uitbreidingen en applicatiesjablonen. Bijvoorbeeld LLM-, TTS-uitbreidingssjablonen en standaard applicatiesjablonen in verschillende gangbare talen, die direct kunnen worden gebruikt. Van het maken van een nieuw project tot het uitvoeren van de eerste demo, het duurt slechts enkele minuten, wat erg tijdbesparend is.

Als je een ervaren ontwikkelaar bent, zijn er ook geavanceerde manieren om te spelen, zoals het maken van een krachtige real-time spraakassistent, het gebruik van C++ voor real-time audio- en videoverwerking om een lage latentie te garanderen, het gebruik van Python voor LLM-inferentie om de assistent te laten begrijpen en nadenken. Gebruik vervolgens Node.js voor frontend-interactie, zodat gebruikers gemakkelijk kunnen werken. De algehele ontwikkelingssnelheid is meer dan 3 keer sneller dan traditionele ontwikkeling in één taal.

Of combineer TEN's VAD-spraakactiviteitdetectie-uitbreiding, TTS-tekst-naar-spraak-uitbreiding en LLM-uitbreiding om een volledig geautomatiseerde intelligente dialoogrobot te bouwen. Uitbreidingen kunnen naadloos worden geïntegreerd zonder dat je zelf omslachtige integratiecode hoeft te schrijven.

Momenteel staat dit framework op het punt om de 10.000 sterren te overschrijden, geïnteresseerden kunnen het proberen.