Github daglega besti fyrsti: Þróa rauntíma radd-AI snjallvætti, alhliða verkfærakistu

Hafið þið einhvern tíma fundið fyrir því að þið viljið búa til einfaldan radd-AI snjallvætti, en festist í ýmsum vandamálum, eins og að einhver í teyminu sé góður í Python og annar sé góður í C++? Þegar hlutarnir sem hver og einn þróar eru settir saman koma upp vandamál, umhverfisuppsetningin getur tekið hálfan dag og stækkunaraðgerðirnar verða meira og meira flóknar eftir því sem breytingar eru gerðar, og að lokum hverfur áhuginn.

Í dag kynnum við fyrir ykkur frábæra alhliða þróunarverkfærakistu TEN-Framework.

Opinn uppspretta heimilisfang: https://github.com/TEN-framework/ten-framework

TEN Framework er eins og að pakka öllum þessum flóknu hlutum fyrir þig. Það er í raun rammi sem er sérstaklega notaður til að byggja upp rauntíma fjölþætta samræðu AI. Þú getur ímyndað þér það sem fullbúna framleiðslulínu fyrir AI raddaðstoðarmenn. Talgreiningareining, stór líkanseining, talgervilsmódel, þetta er allt tilbúið fyrir þig. Það sem þú þarft að gera er að setja þau saman í samræmi við þínar eigin þarfir. Þetta er miklu auðveldara en að búa til hjólið frá grunni.

Talandi um hvað það getur gert sérstaklega, þá mun ég fyrst velja nokkra sem mér finnast vera hagnýtir. Sá fyrsti er fjölnota raddaðstoðarmaður, sem styður bæði RTC og WebSocket tengingar, með litla töf og góð hljómgæði. Hvort sem þú vilt búa til snjalla þjónustuver eða persónulegan raddaðstoðarmann, þá getur þessi aðgerð í grundvallaratriðum uppfyllt þarfirnar. Það sem er áhugavert er að það er líka krassmyndari, þú segir hvað sem er og hann teiknar það, og býr til krass í handteiknuðum stíl. Þessi aðgerð ætti að vera mjög vinsæl í kynningar- eða afþreyingaratriðum.

Það eru líka samsvarandi lausnir fyrir samræður margra aðila. Það hefur rauntíma hátalaragreiningaraðgerð, sem getur sjálfkrafa greint hver er að tala, svo þú þarft ekki að hafa áhyggjur af ruglingi þegar þú tekur fundargerðir eða afritar viðtöl. Hvað varðar sýndarmyndir, þá getur munnform persónunnar samstillt fullkomlega við röddina þegar AI aðstoðarmaðurinn talar. Hvort sem það er tvívíddar anime persóna eða raunhæf þrívíddarsýndarvera, þá er hægt að passa munnformið. Þetta er of þægilegt fyrir þróunaraðila sem búa til sýndarstraumara eða sérsniðna aðstoðarmenn.

Ef þú vilt láta það svara símtölum, þá styður það einnig SIP samskiptareglur og AI aðstoðarmaðurinn getur svarað símtölum beint. Þessi aðgerð er mjög hagnýt fyrir fyrirtækjanotendur. Að tengja snjalla þjónustuverið við símkerfið getur sparað mikinn launakostnað. Auðvitað hefur það einnig grunnaðgerðina radd-í-texta, sem breytir rödd í texta í rauntíma. Fundargerðir, textagerð og önnur atriði geta notað það.

Til viðbótar við staðlað ferli hefur það einnig margar fullbúnar verkefnasniðmát innbyggð, hvort sem það eru AI Agent sniðmát eða ýmis viðbætur og forrit sniðmát. Til dæmis er hægt að nota LLM, TTS viðbótarsniðmát og nokkur sjálfgefin forrit sniðmát fyrir almenn tungumál beint. Það tekur aðeins nokkrar mínútur frá því að búa til nýtt verkefni til að keyra fyrstu kynninguna, sem sparar mikinn tíma.

Ef þú ert reyndur þróunaraðili eru líka til háþróaðri leikir, eins og að búa til afkastamikinn rauntíma raddaðstoðarmann, nota C++ til að vinna úr rauntíma hljóð- og myndskeiðum til að tryggja litla töf, nota Python til að gera LLM ályktun, svo að aðstoðarmaðurinn geti skilið og hugsað. Notaðu síðan Node.js til að gera samskipti við notendaviðmótið, svo að notendur geti auðveldlega stjórnað, og allur þróunarhraðinn er meira en 3 sinnum hraðari en hefðbundin einmálsþróun.

Eða sameinaðu TEN's VAD raddvirkni uppgötvunarviðbót, TTS texta-í-tal viðbót og LLM viðbót til að byggja upp fullkomlega sjálfvirkan snjallræðuvélmenni. Viðbæturnar geta tengst óaðfinnanlega án þess að þú þurfir að skrifa flókinn samþættingarkóða.

Sem stendur er þessi rammi að fara að ná 10000 stjörnum, þeir sem hafa áhuga geta prófað hann.