Github'da Günün En İyisi: Gerçek Zamanlı Sesli Yapay Zeka Ajanı Geliştirme, Çok Amaçlı Araç Kutusu

Hiç şöyle hissettiniz mi, basit bir sesli yapay zeka ajanı yapmak isterken çeşitli sorunlarla karşılaşıyorsunuz, örneğin ekibinizde Python'da uzman olanlar var, C++'da uzman olanlar var. Herkesin geliştirdiği parçalar bir araya geldiğinde sorun çıkıyor, ortam yapılandırması neredeyse yarım gün sürüyor, genişletme işlevleri daha da karmaşıklaşıyor ve sonunda hevesiniz kırılıyor.

Bugün size süper kullanışlı çok amaçlı geliştirme araç kutusu TEN-Framework'ü tanıtacağım.

Açık kaynak adresi: https://github.com/TEN-framework/ten-framework

TEN Framework, bu karmaşık şeyleri sizin için paketlemiş gibi. Aslında gerçek zamanlı çok modlu diyalogsal yapay zeka oluşturmak için özel olarak kullanılan bir çerçeve. Bunu hazır bir yapay zeka sesli asistan üretim hattı olarak düşünebilirsiniz. Ses tanıma modülü, büyük model modülü, ses sentezi modülü, bunların hepsi sizin için hazırlanmış durumda. Yapmanız gereken tek şey, bunları kendi ihtiyaçlarınıza göre bir araya getirmek. Bu, sıfırdan tekerleği yeniden icat etmekten çok daha kolay.

Somut olarak neler yapabileceğine gelirsek, önce bana pratik gelen birkaç tanesini seçeyim. İlki, çok amaçlı sesli asistan, RTC ve WebSocket olmak üzere iki bağlantı türünü destekliyor, gecikme çok düşük ve ses kalitesi de iyi. İster akıllı müşteri hizmetleri ister kişisel sesli asistan yapmak isteyin, bu işlev temel olarak ihtiyaçlarınızı karşılayabilir. İlginç bir şekilde, bir de karalama oluşturucusu var, ne söylerseniz onu çiziyor, el çizimi tarzında karalamalar oluşturuyor. Bu işlevin demo veya eğlence senaryolarında oldukça popüler olması bekleniyor.

Çoklu konuşma senaryoları için de karşılık gelen çözümler var. Gerçek zamanlı konuşmacı tanıma işlevine sahip, kimin konuştuğunu otomatik olarak ayırt edebiliyor, böylece toplantı kayıtlarında veya röportaj transkripsiyonlarında karışıklık konusunda endişelenmenize gerek kalmıyor. Sanal karakter tarafında, yapay zeka asistanı konuştuğunda, karakterin ağız hareketleri sesle mükemmel bir şekilde senkronize olabiliyor. İster iki boyutlu anime karakteri ister gerçekçi 3D sanal insan olsun, ağız hareketleri eşleşebiliyor. Bu, sanal yayıncılar veya kişiselleştirilmiş asistanlar geliştirenler için çok uygun.

Eğer telefonlara cevap vermesini istiyorsanız, SIP protokolünü de destekliyor, yapay zeka asistanı doğrudan telefonlara cevap verebiliyor. Bu işlev, kurumsal kullanıcılar için çok pratik, akıllı müşteri hizmetlerini telefon sistemine bağlayarak önemli ölçüde işgücü maliyetinden tasarruf sağlayabiliyor. Tabii ki, temel sesten metne dönüştürme işlevi de mevcut, gerçek zamanlı olarak sesi metne dönüştürüyor, toplantı özetleri, altyazı oluşturma gibi senaryolarda kullanılabiliyor.

Standartlaştırılmış süreçlere ek olarak, yerleşik olarak birçok hazır proje şablonu da bulunuyor, ister AI Agent şablonu olsun, ister çeşitli uzantı ve uygulama şablonları olsun. Örneğin, LLM, TTS uzantı şablonları ve birkaç ana dilin varsayılan uygulama şablonları doğrudan kullanılabiliyor. Yeni bir proje oluşturmaktan ilk demoyu çalıştırmaya kadar sadece birkaç dakika sürüyor, bu da çok zaman kazandırıyor.

Geliştirme konusunda deneyimliyseniz, daha gelişmiş yöntemler de var, örneğin yüksek performanslı bir gerçek zamanlı sesli asistan yapabilirsiniz, düşük gecikmeyi sağlamak için C++ ile gerçek zamanlı ses ve video işleme yapabilir, asistanın anlayabilmesi ve düşünebilmesi için Python ile LLM çıkarımı yapabilirsiniz. Ayrıca, kullanıcıların kolayca işlem yapabilmesi için Node.js ile ön uç etkileşimi yapabilirsiniz, tüm geliştirme hızı geleneksel tek dilli geliştirmeden 3 kat daha hızlıdır.

Veya TEN'in VAD ses etkinliği algılama uzantısını, TTS metinden sese uzantısını ve LLM uzantısını bir araya getirerek, tam otomatik bir akıllı diyalog robotu oluşturabilirsiniz, uzantılar arasında sorunsuz bir şekilde bağlantı kurulabilir, karmaşık entegrasyon kodunu kendiniz yazmanıza gerek kalmaz.

Şu anda, bu çerçeve yakında 10000 yıldıza ulaşacak, ilgilenenler deneyebilir.