Github свакодневни најбољи број 1: Развој AI агента за глас у реалном времену, универзални алат

Да ли сте икада имали осећај да, иако желите да направите једноставног AI агента за глас, заглавите се са разним проблемима, на пример, неко у тиму је добар у Python-у, а неко је добар у C++-у. Када се делови које су развили споје, настају проблеми, конфигурација окружења може да траје пола дана, а проширење функција постаје све неуредније како се мења, и на крају ентузијазам нестане.

Данас ћу вам представити супер користан универзални алат TEN-Framework.

Отворени код: https://github.com/TEN-framework/ten-framework

TEN Framework је као да је спаковао све ове сложене ствари за вас. То је заправо оквир специјално дизајниран за изградњу мултимодалних дијалошких AI у реалном времену. Можете га замислити као готову производну линију за AI гласовне асистенте. Модул за препознавање говора, модул за велике моделе, модул за синтезу говора, све је спремно за вас. Све што треба да урадите је да их саставите према вашим потребама. Ово је много лакше него да сами креирате точак од нуле.

Што се тиче тога шта конкретно може да уради, прво ћу изабрати неколико за које мислим да су практични. Први је вишенаменски гласовни асистент, који подржава RTC и WebSocket везе, са веома малим кашњењем и добрим квалитетом звука. Без обзира да ли желите да направите интелигентну корисничку службу или личног гласовног асистента, ова функција у основи може да задовољи потребе. Занимљиво је да има и генератор цртежа, шта год да кажете, он ће нацртати, генеришући цртеже у ручно нацртаном стилу. Ова функција би требало да буде веома популарна у демонстрацијама или забавним сценаријима.

Постоје и одговарајућа решења за сценарије разговора са више људи. Има функцију препознавања говорника у реалном времену, која може аутоматски да разликује ко говори, тако да не морате да бринете о конфузији приликом снимања састанака или транскрипције интервјуа. Што се тиче виртуелних ликова, када AI асистент говори, облик уста лика може бити савршено синхронизован са гласом. Без обзира да ли се ради о аниме лику из друге димензије или реалистичном 3D виртуелном лику, облик уста може да се поклопи. Ово је превише згодно за програмере који праве виртуелне стримере или персонализоване асистенте.

Ако желите да одговара на телефон, такође подржава SIP протокол, а AI асистент може директно да одговара на телефонске позиве. Ова функција је веома практична за корпоративне кориснике. Повезивање интелигентне корисничке службе са телефонским системом може уштедети много трошкова рада. Наравно, има и основну функцију претварања гласа у текст, претварајући глас у текст у реалном времену, што се може користити у сценаријима као што су записници састанака и генерисање титлова.

Поред стандардизованих процеса, такође има уграђене многе готове шаблоне пројеката, било да се ради о шаблонима AI Agent-а или разним шаблонима проширења и апликација. На пример, шаблони за проширење LLM, TTS, као и неколико подразумеваних шаблона апликација за главне језике, могу се користити директно. Од креирања новог пројекта до покретања првог демо-а, потребно је само неколико минута, што штеди много времена.

Ако сте искусни програмер, постоје и напредни начини играња, на пример, можете направити AI асистента за глас у реалном времену високих перформанси, користити C++ за обраду аудио и видео записа у реалном времену како бисте осигурали мало кашњење, користити Python за LLM закључивање како би асистент могао да разуме и размишља. Затим користите Node.js за интеракцију са предњим крајем како би корисници могли лако да раде, а цела брзина развоја је више од 3 пута бржа од традиционалног развоја на једном језику.

Или комбинујте TEN-ово VAD проширење за детекцију гласовне активности, TTS проширење за претварање текста у говор и LLM проширење да бисте направили потпуно аутоматског интелигентног робота за дијалог. Проширења се могу неприметно повезати без потребе да сами пишете досадне интеграционе кодове.

Тренутно, овај оквир ће ускоро премашити 10000 звездица, ако сте заинтересовани, можете га испробати.