Github Най-доброто за деня: Разработване на AI агент за глас в реално време, универсален инструментариум

Имали ли сте някога чувството, че искате да направите прост AI агент за глас, но сте блокирани от различни проблеми, като например, че някои в екипа са добри в Python, а други са добри в C++. Когато частите, разработени от всеки, се съберат, възникват проблеми, конфигурирането на средата може да отнеме половин ден, а разширяването на функциите става все по-объркано с всяка промяна и в крайна сметка ентусиазмът изчезва.

Днес ще ви представя супер полезен универсален инструментариум за разработка TEN-Framework.

Адрес с отворен код: https://github.com/TEN-framework/ten-framework

TEN Framework е като да опакова всички тези сложни неща за вас. Всъщност това е рамка, специално използвана за изграждане на мултимодален разговорен AI в реално време. Можете да си я представите като готова производствена линия за AI гласов асистент. Модул за разпознаване на глас, модул за голям модел, модул за синтез на глас, всички те са подготвени за вас. Всичко, което трябва да направите, е да ги сглобите според вашите нужди. Това е много по-лесно, отколкото да изобретявате колелото от нулата.

Говорейки за това какво може да направи конкретно, първо ще избера няколко, които смятам за доста практични. Първият е многофункционален гласов асистент, който поддържа RTC и WebSocket методи за свързване, с ниска латентност и добро качество на звука. Независимо дали искате да направите интелигентно обслужване на клиенти или личен гласов асистент, тази функция основно може да отговори на нуждите. Интересното е, че има и генератор на драскулки, каквото кажете, той рисува, генерирайки драскулки в ръчно рисуван стил. Тази функция трябва да бъде доста популярна в демонстрационни или развлекателни сценарии.

Има и съответни решения за сценарии с много хора. Има функция за разпознаване на говорещи в реално време, която може автоматично да разграничи кой говори, така че не е нужно да се притеснявате за объркване при запис на срещи или транскрибиране на интервюта. Що се отнася до виртуалните аватари, когато AI асистентът говори, формата на устата на героя може да бъде перфектно синхронизирана с гласа. Независимо дали става въпрос за аниме герой от второ измерение или реалистичен 3D виртуален човек, формата на устата може да бъде съчетана. Това е твърде удобно за разработчиците, които правят виртуални стриймъри или персонализирани асистенти.

Ако искате да отговаря на телефонни обаждания, той също така поддържа SIP протокол, а AI асистентът може директно да отговаря на телефонни обаждания. Тази функция е много практична за корпоративни потребители. Свързването на интелигентното обслужване на клиенти с телефонната система може да спести много разходи за труд. Разбира се, той има и основната функция за преобразуване на глас в текст, преобразувайки гласа в текст в реално време, което може да се използва в сценарии като протоколи от срещи и генериране на субтитри.

В допълнение към стандартизираните процеси, той също така има вградени много готови шаблони на проекти, независимо дали са шаблони на AI Agent или шаблони за различни разширения и приложения. Например, LLM, TTS шаблони за разширения и няколко основни езикови шаблона за приложения могат да бъдат използвани директно. От създаването на нов проект до стартирането на първото демо, отнема само няколко минути, което спестява много време.

Ако сте опитен разработчик, има и разширени начини за игра, като например създаване на високопроизводителен гласов асистент в реално време, използване на C++ за обработка на аудио и видео в реално време, за да се осигури ниска латентност, използване на Python за LLM извод, за да може асистентът да разбира и да мисли. След това използвайте Node.js за взаимодействие с предния край, за да могат потребителите лесно да работят, а цялата скорост на разработка е повече от 3 пъти по-бърза от традиционната разработка на един език.

Или комбинирайте TEN VAD разширение за откриване на гласова активност, TTS разширение за преобразуване на текст в глас и LLM разширение, за да създадете напълно автоматичен интелигентен чатбот. Разширенията могат да бъдат свързани безпроблемно, без да е необходимо да пишете тромав код за интеграция.

В момента тази рамка е на път да надхвърли 10 000 звезди, ако се интересувате, можете да я опитате.