Github Bora ya Siku: Tengeneza Akili Bandia ya Sauti ya Wakati Halisi, Sanduku la Zana la Kila Kitu

Je, umewahi kuhisi hivi, unataka kutengeneza akili bandia ya sauti rahisi, lakini unakwama na masuala mbalimbali, kama vile baadhi ya watu kwenye timu wana ujuzi wa Python, na wengine wana ujuzi wa C++. Sehemu zilizotengenezwa na kila mtu zina matatizo zinapounganishwa pamoja, usanidi wa mazingira unaweza kuchukua nusu siku, na upanuzi wa kazi unazidi kuwa mbaya kadri unavyobadilika, na mwishowe shauku yote imepotea.

Leo, ninakuletea sanduku la zana la maendeleo la matumizi yote TEN-Framework.

Anwani ya chanzo huria: https://github.com/TEN-framework/ten-framework

TEN Framework ni kama kukusaidia kupakia mambo haya magumu yote. Kwa kweli ni mfumo maalum wa kujenga AI ya mazungumzo ya wakati halisi ya multimodal, unaweza kuifikiria kama laini ya uzalishaji iliyo tayari ya msaidizi wa sauti wa AI. Moduli ya utambuzi wa sauti, moduli kubwa ya lugha, moduli ya usanisi wa sauti, hizi zote zimeandaliwa kwako, unachohitaji kufanya ni kuziunganisha pamoja kulingana na mahitaji yako. Hii ni rahisi zaidi kuliko kujenga gurudumu kutoka mwanzo.

Kuhusu kile inachoweza kufanya haswa, kwanza nitachagua chache ambazo nadhani ni za vitendo zaidi. Ya kwanza ni msaidizi wa sauti wa madhumuni mengi, anayeunga mkono njia mbili za unganisho za RTC na WebSocket, ucheleweshaji ni mdogo sana, na ubora wa sauti pia ni mzuri. Ikiwa unataka kufanya huduma ya wateja mahiri au msaidizi wa sauti wa kibinafsi, kazi hii kimsingi inaweza kukidhi mahitaji. Jambo la kufurahisha ni kwamba ina jenereta ya doodle, unasema nini inachora nini, ikizalisha aina ya doodle ya mtindo wa kuchora kwa mkono. Kazi hii inapaswa kuwa maarufu sana katika maonyesho au matukio ya burudani.

Matukio ya mazungumzo ya watu wengi pia yana suluhisho zinazolingana. Ina kazi ya utambuzi wa mzungumzaji wa wakati halisi, ambayo inaweza kutofautisha kiotomatiki ni nani anayezungumza, ili usihitaji kuwa na wasiwasi juu ya machafuko wakati wa rekodi za mkutano au unukuzi wa mahojiano. Katika suala la picha za mtandaoni, wakati msaidizi wa AI anazungumza, umbo la mdomo wa mhusika linaweza kusawazishwa kikamilifu na sauti. Iwe ni mhusika wa uhuishaji wa pande mbili au mtu halisi wa 3D, umbo la mdomo linaweza kuendana. Hii ni rahisi sana kwa watengenezaji wa watangazaji wa mtandaoni au wasaidizi wa kibinafsi.

Ikiwa unataka iitishe simu, pia inasaidia itifaki ya SIP, na msaidizi wa AI anaweza kujibu simu moja kwa moja. Kazi hii ni ya vitendo sana kwa watumiaji wa biashara. Kuunganisha huduma ya wateja mahiri na mfumo wa simu kunaweza kuokoa gharama nyingi za kazi. Kwa kweli, pia ina kazi ya msingi ya sauti-kwa-maandishi, ikibadilisha sauti kuwa maandishi kwa wakati halisi, ambayo inaweza kutumika katika muhtasari wa mkutano, uzalishaji wa manukuu na matukio mengine.

Mbali na michakato sanifu, pia ina violezo vingi vya mradi vilivyojengwa ndani, iwe ni violezo vya AI Agent, au violezo vya upanuzi na matumizi mbalimbali. Kwa mfano, violezo vya upanuzi vya LLM, TTS, na violezo kadhaa vya matumizi chaguo-msingi katika lugha kuu zinaweza kutumika moja kwa moja. Inachukua dakika chache tu kutoka kwa kuunda mradi mpya hadi kuendesha onyesho la kwanza, ambayo huokoa muda mwingi.

Ikiwa wewe ni mtaalamu wa maendeleo, kuna michezo ya hali ya juu zaidi, kama vile kutengeneza msaidizi wa sauti wa wakati halisi wa utendaji wa juu, ukitumia C++ kufanya usindikaji wa sauti na video wa wakati halisi ili kuhakikisha ucheleweshaji mdogo, na kutumia Python kufanya uamuzi wa LLM ili kumruhusu msaidizi aelewe na afikiri. Kisha tumia Node.js kufanya mwingiliano wa mbele ili kuruhusu watumiaji kufanya kazi kwa urahisi, na kasi nzima ya maendeleo ni haraka zaidi ya mara 3 kuliko maendeleo ya lugha moja ya jadi.

Au unganisha upanuzi wa utambuzi wa shughuli za sauti wa TEN VAD, upanuzi wa maandishi-kwa-hotuba wa TTS na upanuzi wa LLM pamoja ili kuunda roboti ya mazungumzo mahiri otomatiki kabisa. Upanuzi unaweza kuunganishwa bila mshono bila wewe kuandika msimbo tata wa ujumuishaji.

Kwa sasa, mfumo huu unakaribia kuvunja nyota 10000, ikiwa una nia, unaweza kujaribu.