Github อันดับ 1 ประจำวัน: พัฒนา AI อัจฉริยะด้านเสียงแบบเรียลไทม์, กล่องเครื่องมืออเนกประสงค์

คุณเคยรู้สึกแบบนี้ไหม? อยากจะสร้าง AI อัจฉริยะด้านเสียงง่ายๆ แต่กลับติดขัดกับปัญหาต่างๆ เช่น ในทีมมีคนเก่ง Python, คนเก่ง C++ แต่พอเอาส่วนที่แต่ละคนพัฒนามาประกอบกันก็เกิดปัญหา การตั้งค่าสภาพแวดล้อมก็เสียเวลาไปครึ่งวัน การขยายฟังก์ชันก็ยิ่งแก้ยิ่งเละ สุดท้ายความกระตือรือร้นก็หมดไป

วันนี้จะมาแนะนำกล่องเครื่องมือพัฒนาอเนกประสงค์ที่ใช้งานง่ายสุดๆ TEN-Framework

ที่อยู่โอเพนซอร์ส: https://github.com/TEN-framework/ten-framework

TEN Framework เหมือนกับการแพ็กเรื่องยุ่งยากเหล่านี้ให้คุณทั้งหมด ที่จริงแล้วมันคือเฟรมเวิร์กที่ออกแบบมาเพื่อสร้าง AI เชิงสนทนาแบบมัลติโมดัลแบบเรียลไทม์โดยเฉพาะ คุณสามารถจินตนาการว่ามันเป็นสายการผลิตผู้ช่วยเสียง AI สำเร็จรูป โมดูลการรู้จำเสียง, โมดูลโมเดลขนาดใหญ่, โมดูลการสังเคราะห์เสียง ทั้งหมดนี้เตรียมไว้ให้คุณแล้ว สิ่งที่คุณต้องทำคือประกอบมันตามความต้องการของคุณเอง ซึ่งประหยัดเวลามากกว่าการสร้างวงล้อเองตั้งแต่เริ่มต้น

พูดถึงสิ่งที่มันทำได้จริงๆ ผมขอเลือกสิ่งที่ผมคิดว่ามีประโยชน์มาพูดก่อน อันแรกคือผู้ช่วยเสียงอเนกประสงค์ รองรับการเชื่อมต่อทั้งแบบ RTC และ WebSocket ความหน่วงต่ำ คุณภาพเสียงก็ดี ไม่ว่าคุณจะต้องการสร้างบริการลูกค้าอัจฉริยะหรือผู้ช่วยเสียงส่วนตัว ฟังก์ชันนี้ก็สามารถตอบสนองความต้องการได้โดยพื้นฐาน ที่น่าสนใจคือมันยังมีเครื่องมือสร้างภาพวาดเล่นๆ ด้วย คุณพูดอะไรมันก็วาดตามนั้น สร้างภาพวาดสไตล์วาดด้วยมือ ฟังก์ชันนี้ควรจะได้รับความนิยมในการสาธิตหรือสถานการณ์บันเทิง

สถานการณ์การสนทนาหลายคนก็มีโซลูชันที่สอดคล้องกัน มันมีฟังก์ชันการรู้จำผู้พูดแบบเรียลไทม์ สามารถแยกแยะได้โดยอัตโนมัติว่าใครกำลังพูด ดังนั้นในการบันทึกการประชุมหรือการถอดเสียงสัมภาษณ์ก็ไม่ต้องกังวลว่าจะสับสน ในส่วนของภาพลักษณ์เสมือนจริง เมื่อผู้ช่วย AI พูด ปากของตัวละครสามารถซิงโครไนซ์กับเสียงได้อย่างสมบูรณ์แบบ ไม่ว่าจะเป็นตัวการ์ตูนอนิเมะ 2 มิติ หรือมนุษย์เสมือนจริง 3 มิติที่สมจริง ก็สามารถทำให้ปากตรงกับเสียงได้ ซึ่งสะดวกมากสำหรับนักพัฒนาที่สร้างสตรีมเมอร์เสมือนจริงหรือผู้ช่วยส่วนตัว

หากคุณต้องการให้มันรับโทรศัพท์ มันยังรองรับโปรโตคอล SIP ผู้ช่วย AI สามารถรับสายได้โดยตรง ฟังก์ชันนี้มีประโยชน์มากสำหรับผู้ใช้ระดับองค์กร การเชื่อมต่อบริการลูกค้าอัจฉริยะกับระบบโทรศัพท์สามารถประหยัดค่าใช้จ่ายด้านแรงงานได้มาก แน่นอนว่ามันยังมีฟังก์ชันพื้นฐานในการแปลงเสียงเป็นข้อความด้วย แปลงเสียงเป็นข้อความแบบเรียลไทม์ สามารถใช้ได้ในสถานการณ์ต่างๆ เช่น บันทึกการประชุม การสร้างคำบรรยาย

นอกจากกระบวนการที่เป็นมาตรฐานแล้ว มันยังมีเทมเพลตโครงการสำเร็จรูปมากมาย ไม่ว่าจะเป็นเทมเพลต AI Agent หรือเทมเพลตส่วนขยายและแอปพลิเคชันต่างๆ เช่น เทมเพลตส่วนขยาย LLM, TTS และเทมเพลตแอปพลิเคชันเริ่มต้นในภาษาหลักหลายภาษา สามารถใช้งานได้โดยตรง ตั้งแต่การสร้างโครงการใหม่ไปจนถึงการรันเดโมแรก ใช้เวลาเพียงไม่กี่นาที ซึ่งประหยัดเวลามาก

หากคุณเป็นนักพัฒนาที่มีประสบการณ์ ก็ยังมีวิธีการเล่นขั้นสูง เช่น สามารถสร้างผู้ช่วยเสียงแบบเรียลไทม์ประสิทธิภาพสูง ใช้ C++ ในการประมวลผลเสียงและวิดีโอแบบเรียลไทม์ เพื่อให้มั่นใจว่ามีความหน่วงต่ำ ใช้ Python ในการอนุมาน LLM เพื่อให้ผู้ช่วยสามารถฟังและคิดได้ จากนั้นใช้ Node.js ในการโต้ตอบส่วนหน้า เพื่อให้ผู้ใช้สามารถใช้งานได้อย่างง่ายดาย ความเร็วในการพัฒนาโดยรวมเร็วกว่าการพัฒนาด้วยภาษาเดียวแบบดั้งเดิมถึง 3 เท่า

หรือรวมส่วนขยายการตรวจจับกิจกรรมเสียง VAD ของ TEN, ส่วนขยายการแปลงข้อความเป็นเสียง TTS และส่วนขยาย LLM เข้าด้วยกัน ก็สามารถสร้างหุ่นยนต์สนทนาอัจฉริยะอัตโนมัติได้อย่างสมบูรณ์ ส่วนขยายสามารถเชื่อมต่อกันได้อย่างราบรื่น โดยที่คุณไม่ต้องเขียนโค้ดรวมที่ซับซ้อนเอง

ปัจจุบัน เฟรมเวิร์กนี้กำลังจะทะลุ 10,000 ดาว ใครสนใจลองเล่นดูได้เลย