Meilleur projet GitHub du jour : Développer un agent IA vocal en temps réel, une boîte à outils universelle

Avez-vous déjà ressenti ça ? Vous voulez créer un simple agent IA vocal, mais vous êtes bloqué par divers problèmes. Par exemple, certains membres de l'équipe maîtrisent Python, d'autres excellent en C++. Les parties développées par chacun posent problème lorsqu'elles sont assemblées, la configuration de l'environnement peut prendre une demi-journée, et l'extension des fonctionnalités devient de plus en plus chaotique au fur et à mesure des modifications, jusqu'à ce que l'enthousiasme disparaisse.

Je vais vous présenter aujourd'hui une boîte à outils de développement universelle super pratique : TEN-Framework.

Adresse open source : https://github.com/TEN-framework/ten-framework

TEN Framework, c'est comme si toutes ces choses complexes étaient emballées pour vous. Il s'agit en fait d'un framework spécialement conçu pour construire une IA conversationnelle multimodale en temps réel. Vous pouvez l'imaginer comme une ligne de production d'assistants vocaux IA prête à l'emploi. Le module de reconnaissance vocale, le module de grand modèle, le module de synthèse vocale, tout cela est préparé pour vous. Ce que vous devez faire, c'est les assembler selon vos propres besoins. C'est beaucoup plus simple que de réinventer la roue à partir de zéro.

En parlant de ce qu'il peut faire concrètement, je vais d'abord choisir quelques éléments que je trouve plus pratiques. Le premier est un assistant vocal polyvalent, qui prend en charge les connexions RTC et WebSocket, avec une faible latence et une bonne qualité sonore. Que vous souhaitiez créer un service client intelligent ou un assistant vocal personnel, cette fonctionnalité peut essentiellement répondre à vos besoins. Ce qui est intéressant, c'est qu'il dispose également d'un générateur de gribouillis : vous dites quelque chose, il le dessine, en générant des gribouillis de style dessinés à la main. Cette fonctionnalité devrait être très populaire dans les scénarios de démonstration ou de divertissement.

Il existe également des solutions correspondantes pour les scénarios de conversation à plusieurs. Il dispose d'une fonction de reconnaissance de l'orateur en temps réel, qui peut automatiquement distinguer qui parle, de sorte que vous n'avez pas à vous soucier de la confusion lors de l'enregistrement de réunions ou de la transcription d'entretiens. En ce qui concerne les avatars virtuels, lorsque l'assistant IA parle, la forme de la bouche du personnage peut être parfaitement synchronisée avec la voix. Qu'il s'agisse de personnages d'anime en 2D ou d'humains virtuels 3D réalistes, la forme de la bouche peut correspondre. C'est très pratique pour les développeurs qui créent des streamers virtuels ou des assistants personnalisés.

Si vous voulez qu'il réponde au téléphone, il prend également en charge le protocole SIP, et l'assistant IA peut répondre directement aux appels téléphoniques. Cette fonctionnalité est très pratique pour les utilisateurs professionnels. La connexion du service client intelligent au système téléphonique peut permettre d'économiser beaucoup de coûts de main-d'œuvre. Bien sûr, il possède également la fonction de base de conversion de la parole en texte, qui transforme la parole en texte en temps réel, et peut être utilisée dans des scénarios tels que les procès-verbaux de réunion et la génération de sous-titres.

En plus des processus standardisés, il intègre également de nombreux modèles de projets prêts à l'emploi, qu'il s'agisse de modèles d'agents IA ou de divers modèles d'extensions et d'applications. Par exemple, les modèles d'extension LLM, TTS, ainsi que plusieurs modèles d'applications par défaut dans les principaux langages, peuvent être utilisés directement. De la création d'un nouveau projet à l'exécution de la première démo, cela ne prend que quelques minutes, ce qui permet de gagner beaucoup de temps.

Si vous êtes un développeur expérimenté, il existe également des façons avancées de jouer, par exemple, vous pouvez créer un assistant vocal en temps réel haute performance, utiliser C++ pour le traitement audio et vidéo en temps réel afin de garantir une faible latence, utiliser Python pour l'inférence LLM afin que l'assistant puisse comprendre et réfléchir. Utilisez ensuite Node.js pour l'interaction frontale afin que les utilisateurs puissent facilement utiliser, et la vitesse de développement globale est plus de 3 fois plus rapide que le développement traditionnel en langage unique.

Ou combinez l'extension de détection d'activité vocale VAD de TEN, l'extension de conversion de texte en parole TTS et l'extension LLM pour créer un robot de dialogue intelligent entièrement automatique. Les extensions peuvent se connecter de manière transparente sans que vous ayez à écrire un code d'intégration fastidieux.

Actuellement, ce framework est sur le point de dépasser les 10 000 étoiles. Si vous êtes intéressé, vous pouvez l'essayer.