Github Ngày Tốt Nhất Mỗi Ngày: Phát triển AI Agent giọng nói thời gian thực, hộp công cụ vạn năng

Các bạn có cảm thấy như thế này không, rõ ràng muốn làm một AI Agent giọng nói đơn giản, nhưng lại bị kẹt bởi đủ loại vấn đề, ví dụ như trong nhóm có người giỏi Python, có người tinh thông C++. Các phần do mỗi người phát triển ghép lại với nhau thì xảy ra vấn đề, cấu hình môi trường có thể mất cả nửa ngày, mở rộng chức năng thì càng sửa càng loạn, đến cuối cùng nhiệt huyết cũng bị mài mòn hết.

Hôm nay xin giới thiệu với các bạn một hộp công cụ phát triển vạn năng siêu dễ sử dụng TEN-Framework.

Địa chỉ mã nguồn mở: https://github.com/TEN-framework/ten-framework

TEN Framework giống như là đã đóng gói sẵn những việc phức tạp này giúp bạn. Nó thực chất là một framework chuyên dùng để xây dựng AI đàm thoại đa phương thức thời gian thực, bạn có thể hình dung nó như một dây chuyền sản xuất trợ lý giọng nói AI có sẵn. Module nhận dạng giọng nói, module mô hình lớn, module tổng hợp giọng nói, những thứ này đều đã được chuẩn bị sẵn cho bạn, việc bạn cần làm là lắp ráp chúng theo nhu cầu của mình. Điều này tiết kiệm công sức hơn nhiều so với việc tự mình tạo ra mọi thứ từ đầu.

Nói đến việc nó có thể làm gì cụ thể, tôi xin chọn ra một vài thứ mà tôi thấy khá thiết thực để nói trước. Đầu tiên là trợ lý giọng nói đa năng, hỗ trợ hai phương thức kết nối RTC và WebSocket, độ trễ rất thấp, chất lượng âm thanh cũng tốt. Bất kể là muốn làm dịch vụ khách hàng thông minh hay trợ lý giọng nói cá nhân, chức năng này về cơ bản đều có thể đáp ứng nhu cầu. Điều thú vị là nó còn có một trình tạo hình vẽ nguệch ngoạc, bạn nói gì nó sẽ vẽ cái đó, tạo ra những hình vẽ nguệch ngoạc theo phong cách vẽ tay. Chức năng này khi dùng trong các tình huống trình diễn hoặc giải trí chắc chắn sẽ được hoan nghênh.

Các tình huống đối thoại nhiều người cũng có giải pháp tương ứng. Nó có chức năng nhận dạng người nói theo thời gian thực, có thể tự động phân biệt ai đang nói, như vậy khi ghi biên bản cuộc họp hoặc chuyển ngữ phỏng vấn thì không cần lo lắng bị hỗn loạn. Về mảng hình tượng ảo, khi AI trợ lý nói, hình dáng miệng của nhân vật có thể đồng bộ hoàn hảo với giọng nói. Bất kể là nhân vật anime 2D, hay người ảo 3D chân thực, đều có thể khớp hình dáng miệng. Điều này quá tiện lợi cho các nhà phát triển làm streamer ảo hoặc trợ lý cá nhân hóa.

Nếu bạn muốn nó nghe điện thoại, nó còn hỗ trợ giao thức SIP, AI trợ lý có thể trực tiếp nghe điện thoại. Chức năng này rất thiết thực đối với người dùng doanh nghiệp, kết nối dịch vụ khách hàng thông minh với hệ thống điện thoại, có thể tiết kiệm không ít chi phí nhân công. Tất nhiên, nó cũng có chức năng chuyển giọng nói thành văn bản cơ bản, chuyển giọng nói thành văn bản theo thời gian thực, các tình huống như biên bản cuộc họp, tạo phụ đề đều có thể sử dụng được.

Ngoài quy trình tiêu chuẩn hóa, nó còn tích hợp sẵn rất nhiều mẫu dự án có sẵn, bất kể là mẫu AI Agent, hay các mẫu mở rộng, ứng dụng khác nhau. Ví dụ như mẫu mở rộng LLM, TTS, còn có một vài mẫu ứng dụng mặc định của các ngôn ngữ phổ biến, đều có thể sử dụng trực tiếp. Từ việc tạo dự án mới đến chạy thông demo đầu tiên, cũng chỉ mất vài phút, rất tiết kiệm thời gian.

Nếu là người có kinh nghiệm phát triển lâu năm thì còn có cách chơi nâng cao, ví dụ như có thể làm một trợ lý giọng nói thời gian thực hiệu năng cao, dùng C++ để xử lý âm thanh và video thời gian thực, đảm bảo độ trễ thấp, dùng Python để suy luận LLM, giúp trợ lý có thể nghe hiểu, có thể suy nghĩ. Sau đó dùng Node.js để tương tác frontend, giúp người dùng có thể thao tác dễ dàng, toàn bộ tốc độ phát triển nhanh hơn gấp 3 lần so với phát triển đơn ngôn ngữ truyền thống.

Hoặc kết hợp mở rộng VAD phát hiện hoạt động giọng nói, mở rộng TTS chuyển văn bản thành giọng nói và mở rộng LLM của TEN lại với nhau, là có thể dựng một robot đối thoại thông minh hoàn toàn tự động, các mở rộng có thể kết nối liền mạch với nhau, không cần bạn tự viết mã tích hợp phức tạp.

Hiện tại, framework này sắp đạt 10000 sao, ai có hứng thú thì có thể thử nhé.