Github napi legjobbja: Valós idejű hangalapú AI ügynök fejlesztése, univerzális eszköztár

Éreztétek már úgy, hogy egy egyszerű hangalapú AI ügynököt szeretnétek készíteni, de különféle problémákba ütköztök? Például a csapatban valaki jártas a Pythonban, valaki pedig a C++-ban. A külön-külön fejlesztett részek összeillesztése problémákat okoz, a környezet konfigurálása fél napig is eltarthat, a funkciók bővítése pedig egyre kaotikusabbá válik, és végül a lelkesedés is elpárolog.

Ma bemutatok nektek egy szuper hasznos univerzális fejlesztő eszköztárat, a TEN-Framework-öt.

Nyílt forráskódú cím: https://github.com/TEN-framework/ten-framework

A TEN Framework olyan, mintha ezeket a bonyolult dolgokat mind becsomagolta volna neked. Ez valójában egy keretrendszer, amelyet kifejezetten valós idejű, többmodális, beszélgetéses AI létrehozására terveztek. Úgy képzelheted el, mint egy kész AI hangasszisztens gyártósort. A hangfelismerő modul, a nagyméretű modell modul és a hangszintézis modul mind készen állnak számodra. Neked csak a saját igényeid szerint kell összeállítanod őket. Ez sokkal kevésbé fárasztó, mint a nulláról feltalálni a kereket.

Ha arról van szó, hogy konkrétan mire képes, először kiválasztok néhányat, amelyek szerintem praktikusak. Az első a többcélú hangasszisztens, amely támogatja az RTC és a WebSocket kapcsolatokat is, alacsony késleltetéssel és jó hangminőséggel. Akár intelligens ügyfélszolgálatot, akár személyes hangasszisztenst szeretnél készíteni, ez a funkció alapvetően minden igényt kielégít. Érdekes, hogy van egy firkagenerátora is, ami azt rajzolja, amit mondasz, kézzel rajzolt stílusú firkákat generálva. Ez a funkció valószínűleg népszerű lesz a bemutatókban vagy a szórakoztató jelenetekben.

A több résztvevős beszélgetésekhez is van megfelelő megoldás. Valós idejű beszélőfelismerő funkcióval rendelkezik, amely automatikusan megkülönbözteti, hogy ki beszél, így a megbeszélések rögzítésekor vagy az interjúk átírásakor nem kell aggódnod a zavar miatt. A virtuális avatárok esetében, amikor az AI asszisztens beszél, a karakter szájmozgása tökéletesen szinkronban van a hanggal. Legyen szó kétdimenziós anime karakterről vagy valósághű 3D virtuális emberről, a szájmozgás pontosan illeszkedik. Ez nagyon kényelmes a virtuális műsorvezetők vagy a személyre szabott asszisztensek fejlesztői számára.

Ha azt szeretnéd, hogy fogadjon hívásokat, támogatja a SIP protokollt is, így az AI asszisztens közvetlenül fogadhatja a telefonhívásokat. Ez a funkció nagyon hasznos a vállalati felhasználók számára, mivel az intelligens ügyfélszolgálat és a telefonrendszer összekapcsolásával jelentős munkaerőköltséget takaríthatnak meg. Természetesen az alapvető hangszöveggé alakítási funkció is rendelkezésre áll, valós időben alakítva a hangot szöveggé, ami hasznos lehet a megbeszélések jegyzőkönyveinek készítéséhez, a feliratok generálásához és más hasonló helyzetekben.

A szabványosított folyamatok mellett számos kész projekt sablont is tartalmaz, legyen szó AI Agent sablonokról, vagy különféle bővítményekről és alkalmazási sablonokról. Például LLM, TTS bővítmény sablonok, valamint néhány népszerű nyelv alapértelmezett alkalmazási sablonja is közvetlenül használható. Egy új projekt létrehozásától az első demó futtatásáig mindössze néhány percet vesz igénybe, ami nagyon időtakarékos.

Ha tapasztalt fejlesztő vagy, vannak haladóbb lehetőségek is, például létrehozhatsz egy nagy teljesítményű, valós idejű hangasszisztenst, C++-ban valós idejű hang- és videofeldolgozást végezhetsz az alacsony késleltetés érdekében, Pythonban LLM következtetést végezhetsz, hogy az asszisztens megértse és gondolkodjon. A Node.js segítségével pedig frontend interakciót hozhatsz létre, hogy a felhasználók könnyen kezelhessék, és az egész fejlesztési sebesség több mint háromszor gyorsabb, mint a hagyományos egynyelvű fejlesztés.

Vagy kombinálhatod a TEN VAD hangaktivitás-érzékelő bővítményét, a TTS szövegfelolvasó bővítményét és az LLM bővítményét, hogy egy teljesen automatikus intelligens párbeszédrobotot hozz létre. A bővítmények zökkenőmentesen kapcsolódnak egymáshoz, anélkül, hogy neked kellene bonyolult integrációs kódot írnod.

Jelenleg ez a keretrendszer hamarosan eléri a 10000 csillagot, ha érdekel, próbáld ki.