Github Дневен Најдобар Прв: Развијте AI Интелигентен Агент за Гласовна Комуникација во Реално Време, Универзална Кутија со Алатки

Дали некогаш сте го имале ова чувство, очигледно сакате да направите едноставен гласовен AI интелигентен агент, но сте заглавени со разни проблеми, на пример, некој во тимот е добар во Python, а некој е добар во C++. Деловите што ги развиваат секој од нив имаат проблеми кога ќе се спојат, конфигурацијата на околината може да се мачи половина ден, а проширувањето на функциите станува се повеќе хаотично како што се менува, и на крајот ентузијазмот се троши.

Денес ќе ви претставиме супер корисна универзална кутија со алатки за развој TEN-Framework.

Отворен код адреса: https://github.com/TEN-framework/ten-framework

TEN Framework е како да ги спакувал сите овие сложени работи за вас. Тоа е всушност рамка специјално дизајнирана за градење на мултимодални дијалошки AI во реално време, можете да ја замислите како готов производствен систем за AI гласовни асистенти. Модулот за препознавање говор, модулот за големи модели, модулот за синтеза на говор, сите овие се подготвени за вас, се што треба да направите е да ги составите според вашите потреби. Ова е многу помалку проблематично отколку да измислувате тркало од нула.

Што се однесува до тоа што конкретно може да направи, прво ќе изберам неколку за кои мислам дека се практични. Првиот е повеќенаменски гласовен асистент, кој поддржува два методи на поврзување RTC и WebSocket, со ниска латентност и добар квалитет на звукот. Без разлика дали сакате да направите интелигентна услуга за корисници или личен гласовен асистент, оваа функција во основа може да ги задоволи потребите. Интересно е што има и генератор на цртежи, што и да кажете, тој ќе го нацрта, генерирајќи цртежи во рачно нацртан стил. Оваа функција треба да биде многу популарна во демонстрации или забавни сценарија.

Исто така, постојат соодветни решенија за сценарија за разговор со повеќе луѓе. Има функција за препознавање на говорник во реално време, која автоматски може да разликува кој зборува, така што не треба да се грижите за конфузија при снимање на состаноци или транскрипција на интервјуа. Во однос на виртуелните ликови, кога AI асистентот зборува, обликот на устата на ликот може совршено да се синхронизира со говорот. Без разлика дали се работи за дводимензионален аниме лик или реален 3D виртуелен човек, обликот на устата може да се совпадне. Ова е премногу погодно за програмерите кои прават виртуелни стримери или персонализирани асистенти.

Ако сакате да одговара на телефон, исто така поддржува SIP протокол, а AI асистентот може директно да одговара на телефонски повици. Оваа функција е многу практична за деловните корисници, поврзувањето на интелигентната услуга за корисници со телефонскиот систем може да заштеди многу трошоци за работна сила. Се разбира, исто така, има основна функција за претворање говор во текст, претворање на говорот во текст во реално време, а може да се користи во сценарија како што се записници од состаноци и генерирање преводи.

Покрај стандардизираните процеси, исто така, има многу готови шаблони за проекти, без разлика дали се работи за шаблон за AI Agent или разни шаблони за проширувања и апликации. На пример, шаблони за проширување LLM, TTS, како и неколку стандардни шаблони за апликации на главните јазици, може да се користат директно. Од креирање нов проект до извршување на првото демо, потребни се само неколку минути, што заштедува многу време.

Ако сте искусен развивач, има и напредни начини на играње, на пример, можете да направите гласовен асистент во реално време со високи перформанси, да користите C++ за обработка на аудио и видео во реално време за да обезбедите ниска латентност, да користите Python за LLM заклучување, така што асистентот може да слуша и да размислува. Потоа користете Node.js за интеракција на предниот дел, така што корисниците можат лесно да работат, а целата брзина на развој е повеќе од 3 пати побрза од традиционалниот развој на еден јазик.

Или комбинирајте ги TEN-овото VAD проширување за откривање гласовна активност, TTS проширување за претворање текст во говор и LLM проширување, можете да поставите целосно автоматски интелигентен робот за разговор, проширувањата можат беспрекорно да се поврзат едни со други, без да пишувате комплициран код за интеграција.

Во моментов, оваа рамка наскоро ќе достигне 10000 ѕвезди, ако сте заинтересирани, можете да ја пробате.