Github ਰੋਜ਼ਾਨਾ ਸਭ ਤੋਂ ਵਧੀਆ ਪਹਿਲਾ: ਰੀਅਲ-ਟਾਈਮ ਵੌਇਸ AI ਇੰਟੈਲੀਜੈਂਟ ਏਜੰਟ, ਆਲ-ਇਨ-ਵਨ ਟੂਲਬਾਕਸ ਵਿਕਸਤ ਕਰੋ

ਕੀ ਤੁਸੀਂ ਕਦੇ ਇਸ ਤਰ੍ਹਾਂ ਮਹਿਸੂਸ ਕੀਤਾ ਹੈ, ਸਪੱਸ਼ਟ ਤੌਰ 'ਤੇ ਇੱਕ ਸਧਾਰਨ ਵੌਇਸ AI ਇੰਟੈਲੀਜੈਂਟ ਏਜੰਟ ਬਣਾਉਣਾ ਚਾਹੁੰਦੇ ਹੋ, ਪਰ ਕਈ ਤਰ੍ਹਾਂ ਦੀਆਂ ਸਮੱਸਿਆਵਾਂ ਵਿੱਚ ਫਸ ਜਾਂਦੇ ਹੋ, ਜਿਵੇਂ ਕਿ ਟੀਮ ਵਿੱਚ ਕੁਝ ਲੋਕ Python ਵਿੱਚ ਚੰਗੇ ਹਨ, ਅਤੇ ਕੁਝ C++ ਵਿੱਚ ਮਾਹਰ ਹਨ। ਹਰੇਕ ਦੁਆਰਾ ਵਿਕਸਤ ਕੀਤੇ ਗਏ ਹਿੱਸਿਆਂ ਨੂੰ ਇਕੱਠੇ ਜੋੜਨ ਵਿੱਚ ਸਮੱਸਿਆਵਾਂ ਹਨ, ਵਾਤਾਵਰਣ ਸੰਰਚਨਾ ਅੱਧੇ ਦਿਨ ਲਈ ਸੁੱਟ ਦਿੱਤੀ ਜਾ ਸਕਦੀ ਹੈ, ਅਤੇ ਵਿਸਤ੍ਰਿਤ ਫੰਕਸ਼ਨ ਹੋਰ ਵੀ ਬਦਤਰ ਹੁੰਦੇ ਜਾਂਦੇ ਹਨ, ਅਤੇ ਅੰਤ ਵਿੱਚ ਉਤਸ਼ਾਹ ਖਤਮ ਹੋ ਜਾਂਦਾ ਹੈ।

ਅੱਜ ਮੈਂ ਤੁਹਾਡੇ ਲਈ ਇੱਕ ਸੁਪਰ ਉਪਯੋਗੀ ਆਲ-ਇਨ-ਵਨ ਡਿਵੈਲਪਮੈਂਟ ਟੂਲਬਾਕਸ TEN-Framework ਪੇਸ਼ ਕਰਾਂਗਾ।

ਓਪਨ ਸੋਰਸ ਐਡਰੈੱਸ: https://github.com/TEN-framework/ten-framework

TEN Framework ਇਹਨਾਂ ਗੁੰਝਲਦਾਰ ਚੀਜ਼ਾਂ ਨੂੰ ਤੁਹਾਡੇ ਲਈ ਪੈਕ ਕਰਨ ਵਰਗਾ ਹੈ। ਇਹ ਅਸਲ ਵਿੱਚ ਇੱਕ ਫਰੇਮਵਰਕ ਹੈ ਜੋ ਵਿਸ਼ੇਸ਼ ਤੌਰ 'ਤੇ ਰੀਅਲ-ਟਾਈਮ ਮਲਟੀਮੋਡਲ ਗੱਲਬਾਤ ਵਾਲੇ AI ਬਣਾਉਣ ਲਈ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ। ਤੁਸੀਂ ਇਸਨੂੰ AI ਵੌਇਸ ਅਸਿਸਟੈਂਟ ਉਤਪਾਦਨ ਲਾਈਨ ਦੇ ਇੱਕ ਤਿਆਰ ਸੈੱਟ ਵਜੋਂ ਸੋਚ ਸਕਦੇ ਹੋ। ਵੌਇਸ ਰਿਕੋਗਨੀਸ਼ਨ ਮੋਡੀਊਲ, ਵੱਡਾ ਮਾਡਲ ਮੋਡੀਊਲ, ਵੌਇਸ ਸਿੰਥੇਸਿਸ ਮੋਡੀਊਲ, ਇਹ ਸਭ ਤੁਹਾਡੇ ਲਈ ਤਿਆਰ ਹਨ। ਤੁਹਾਨੂੰ ਸਿਰਫ਼ ਆਪਣੀਆਂ ਲੋੜਾਂ ਅਨੁਸਾਰ ਉਹਨਾਂ ਨੂੰ ਇਕੱਠਾ ਕਰਨ ਦੀ ਲੋੜ ਹੈ। ਇਹ ਸ਼ੁਰੂ ਤੋਂ ਹੀ ਪਹੀਏ ਦੀ ਕਾਢ ਕੱਢਣ ਨਾਲੋਂ ਬਹੁਤ ਜ਼ਿਆਦਾ ਚਿੰਤਾ-ਮੁਕਤ ਹੈ।

ਜਦੋਂ ਇਸਦੀਆਂ ਖਾਸ ਚੀਜ਼ਾਂ ਦੀ ਗੱਲ ਆਉਂਦੀ ਹੈ ਜੋ ਇਹ ਕਰ ਸਕਦਾ ਹੈ, ਤਾਂ ਮੈਂ ਪਹਿਲਾਂ ਕੁਝ ਅਜਿਹੀਆਂ ਚੀਜ਼ਾਂ ਚੁਣਾਂਗਾ ਜੋ ਮੈਨੂੰ ਵਧੇਰੇ ਵਿਹਾਰਕ ਲੱਗਦੀਆਂ ਹਨ। ਪਹਿਲਾ ਇੱਕ ਬਹੁ-ਮੰਤਵੀ ਵੌਇਸ ਅਸਿਸਟੈਂਟ ਹੈ, ਜੋ RTC ਅਤੇ WebSocket ਦੋਵੇਂ ਕਨੈਕਸ਼ਨ ਵਿਧੀਆਂ ਦਾ ਸਮਰਥਨ ਕਰਦਾ ਹੈ, ਜਿਸ ਵਿੱਚ ਘੱਟ ਲੇਟੈਂਸੀ ਅਤੇ ਚੰਗੀ ਆਵਾਜ਼ ਦੀ ਗੁਣਵੱਤਾ ਹੈ। ਭਾਵੇਂ ਤੁਸੀਂ ਇੱਕ ਸਮਾਰਟ ਗਾਹਕ ਸੇਵਾ ਜਾਂ ਇੱਕ ਨਿੱਜੀ ਵੌਇਸ ਅਸਿਸਟੈਂਟ ਬਣਾਉਣਾ ਚਾਹੁੰਦੇ ਹੋ, ਇਹ ਫੰਕਸ਼ਨ ਮੂਲ ਰੂਪ ਵਿੱਚ ਲੋੜਾਂ ਨੂੰ ਪੂਰਾ ਕਰ ਸਕਦਾ ਹੈ। ਦਿਲਚਸਪ ਗੱਲ ਇਹ ਹੈ ਕਿ ਇਸ ਵਿੱਚ ਇੱਕ ਡੂਡਲ ਜਨਰੇਟਰ ਵੀ ਹੈ, ਜੋ ਤੁਸੀਂ ਕਹਿੰਦੇ ਹੋ ਉਸਨੂੰ ਖਿੱਚਦਾ ਹੈ, ਇੱਕ ਹੈਂਡ-ਡ੍ਰਾਅ ਸ਼ੈਲੀ ਦਾ ਡੂਡਲ ਤਿਆਰ ਕਰਦਾ ਹੈ। ਇਹ ਫੰਕਸ਼ਨ ਡੈਮੋ ਜਾਂ ਮਨੋਰੰਜਨ ਦੇ ਦ੍ਰਿਸ਼ਾਂ ਵਿੱਚ ਬਹੁਤ ਮਸ਼ਹੂਰ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ।

ਮਲਟੀਪਲ ਵਿਅਕਤੀਆਂ ਦੇ ਗੱਲਬਾਤ ਦੇ ਦ੍ਰਿਸ਼ਾਂ ਲਈ ਵੀ ਸੰਬੰਧਿਤ ਹੱਲ ਹਨ। ਇਸ ਵਿੱਚ ਰੀਅਲ-ਟਾਈਮ ਸਪੀਕਰ ਪਛਾਣ ਫੰਕਸ਼ਨ ਹੈ, ਜੋ ਆਪਣੇ ਆਪ ਇਹ ਪਛਾਣ ਸਕਦਾ ਹੈ ਕਿ ਕੌਣ ਬੋਲ ਰਿਹਾ ਹੈ, ਤਾਂ ਜੋ ਮੀਟਿੰਗ ਰਿਕਾਰਡਾਂ ਜਾਂ ਇੰਟਰਵਿਊ ਟ੍ਰਾਂਸਕ੍ਰਿਪਸ਼ਨਾਂ ਬਾਰੇ ਉਲਝਣ ਬਾਰੇ ਚਿੰਤਾ ਕਰਨ ਦੀ ਕੋਈ ਲੋੜ ਨਹੀਂ ਹੈ। ਵਰਚੁਅਲ ਚਿੱਤਰ ਦੇ ਹਿੱਸੇ ਲਈ, ਜਦੋਂ AI ਸਹਾਇਕ ਬੋਲਦਾ ਹੈ, ਤਾਂ ਕਿਰਦਾਰ ਦੇ ਮੂੰਹ ਦੀ ਸ਼ਕਲ ਆਵਾਜ਼ ਨਾਲ ਪੂਰੀ ਤਰ੍ਹਾਂ ਸਿੰਕ੍ਰੋਨਾਈਜ਼ ਹੋ ਸਕਦੀ ਹੈ। ਭਾਵੇਂ ਇਹ ਦੋ-ਅਯਾਮੀ ਐਨੀਮੇ ਕਿਰਦਾਰ ਹੋਵੇ ਜਾਂ ਇੱਕ ਯਥਾਰਥਵਾਦੀ 3D ਵਰਚੁਅਲ ਮਨੁੱਖ, ਮੂੰਹ ਦੀ ਸ਼ਕਲ ਨੂੰ ਮੇਲ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ। ਇਹ ਵਰਚੁਅਲ ਸਟ੍ਰੀਮਰਾਂ ਜਾਂ ਵਿਅਕਤੀਗਤ ਸਹਾਇਕਾਂ ਨੂੰ ਵਿਕਸਤ ਕਰਨ ਵਾਲਿਆਂ ਲਈ ਬਹੁਤ ਸੁਵਿਧਾਜਨਕ ਹੈ।

ਜੇਕਰ ਤੁਸੀਂ ਇਸਨੂੰ ਫ਼ੋਨ ਦਾ ਜਵਾਬ ਦੇਣਾ ਚਾਹੁੰਦੇ ਹੋ, ਤਾਂ ਇਹ SIP ਪ੍ਰੋਟੋਕੋਲ ਦਾ ਵੀ ਸਮਰਥਨ ਕਰਦਾ ਹੈ, ਅਤੇ AI ਸਹਾਇਕ ਸਿੱਧਾ ਫ਼ੋਨ ਦਾ ਜਵਾਬ ਦੇ ਸਕਦਾ ਹੈ। ਇਹ ਫੰਕਸ਼ਨ ਉੱਦਮ ਉਪਭੋਗਤਾਵਾਂ ਲਈ ਬਹੁਤ ਵਿਹਾਰਕ ਹੈ। ਸਮਾਰਟ ਗਾਹਕ ਸੇਵਾ ਨੂੰ ਟੈਲੀਫੋਨ ਸਿਸਟਮ ਨਾਲ ਜੋੜਨ ਨਾਲ, ਬਹੁਤ ਸਾਰੀਆਂ ਮਨੁੱਖੀ ਲਾਗਤਾਂ ਬਚਾਈਆਂ ਜਾ ਸਕਦੀਆਂ ਹਨ। ਬੇਸ਼ੱਕ, ਇਸ ਵਿੱਚ ਬੁਨਿਆਦੀ ਵੌਇਸ-ਟੂ-ਟੈਕਸਟ ਫੰਕਸ਼ਨ ਵੀ ਹੈ, ਜੋ ਰੀਅਲ ਟਾਈਮ ਵਿੱਚ ਆਵਾਜ਼ ਨੂੰ ਟੈਕਸਟ ਵਿੱਚ ਬਦਲਦਾ ਹੈ, ਅਤੇ ਇਸਨੂੰ ਮੀਟਿੰਗ ਮਿੰਟਾਂ ਅਤੇ ਉਪਸਿਰਲੇਖਾਂ ਵਰਗੇ ਦ੍ਰਿਸ਼ਾਂ ਵਿੱਚ ਵਰਤਿਆ ਜਾ ਸਕਦਾ ਹੈ।

ਮਿਆਰੀ ਪ੍ਰਕਿਰਿਆਵਾਂ ਤੋਂ ਇਲਾਵਾ, ਇਸ ਵਿੱਚ ਬਹੁਤ ਸਾਰੇ ਤਿਆਰ ਪ੍ਰੋਜੈਕਟ ਟੈਂਪਲੇਟਸ ਵੀ ਬਣਾਏ ਗਏ ਹਨ, ਭਾਵੇਂ ਇਹ AI ਏਜੰਟ ਟੈਂਪਲੇਟ ਹੋਵੇ ਜਾਂ ਵੱਖ-ਵੱਖ ਐਕਸਟੈਂਸ਼ਨਾਂ ਅਤੇ ਐਪਲੀਕੇਸ਼ਨਾਂ ਲਈ ਟੈਂਪਲੇਟਸ। ਉਦਾਹਰਨ ਲਈ, LLM, TTS ਐਕਸਟੈਂਸ਼ਨ ਟੈਂਪਲੇਟਸ, ਅਤੇ ਕਈ ਮੁੱਖ ਧਾਰਾ ਦੀਆਂ ਭਾਸ਼ਾਵਾਂ ਵਿੱਚ ਡਿਫਾਲਟ ਐਪਲੀਕੇਸ਼ਨ ਟੈਂਪਲੇਟਸ ਸਿੱਧੇ ਤੌਰ 'ਤੇ ਵਰਤੇ ਜਾ ਸਕਦੇ ਹਨ। ਇੱਕ ਨਵਾਂ ਪ੍ਰੋਜੈਕਟ ਬਣਾਉਣ ਤੋਂ ਲੈ ਕੇ ਪਹਿਲੇ ਡੈਮੋ ਨੂੰ ਚਲਾਉਣ ਤੱਕ, ਇਸ ਵਿੱਚ ਸਿਰਫ਼ ਕੁਝ ਮਿੰਟ ਲੱਗਦੇ ਹਨ, ਜੋ ਬਹੁਤ ਸਮਾਂ ਬਚਾਉਂਦਾ ਹੈ।

ਜੇਕਰ ਤੁਸੀਂ ਇੱਕ ਤਜਰਬੇਕਾਰ ਡਿਵੈਲਪਰ ਹੋ, ਤਾਂ ਇੱਥੇ ਐਡਵਾਂਸਡ ਗੇਮਪਲੇ ਵੀ ਹੈ, ਜਿਵੇਂ ਕਿ ਇੱਕ ਉੱਚ-ਪ੍ਰਦਰਸ਼ਨ ਵਾਲਾ ਰੀਅਲ-ਟਾਈਮ ਵੌਇਸ ਅਸਿਸਟੈਂਟ ਬਣਾਉਣਾ, ਰੀਅਲ-ਟਾਈਮ ਆਡੀਓ ਅਤੇ ਵੀਡੀਓ ਪ੍ਰੋਸੈਸਿੰਗ ਲਈ C++ ਦੀ ਵਰਤੋਂ ਕਰਨਾ, ਘੱਟ ਲੇਟੈਂਸੀ ਨੂੰ ਯਕੀਨੀ ਬਣਾਉਣਾ, ਅਤੇ LLM ਅਨੁਮਾਨ ਲਈ Python ਦੀ ਵਰਤੋਂ ਕਰਨਾ, ਤਾਂ ਜੋ ਸਹਾਇਕ ਸੁਣ ਸਕੇ ਅਤੇ ਸੋਚ ਸਕੇ। ਫਿਰ ਫਰੰਟ-ਐਂਡ ਇੰਟਰੈਕਸ਼ਨ ਲਈ Node.js ਦੀ ਵਰਤੋਂ ਕਰੋ, ਤਾਂ ਜੋ ਉਪਭੋਗਤਾ ਆਸਾਨੀ ਨਾਲ ਕੰਮ ਕਰ ਸਕਣ, ਅਤੇ ਸਮੁੱਚੀ ਵਿਕਾਸ ਦੀ ਗਤੀ ਰਵਾਇਤੀ ਸਿੰਗਲ-ਭਾਸ਼ਾ ਵਿਕਾਸ ਨਾਲੋਂ 3 ਗੁਣਾ ਤੇਜ਼ ਹੈ।

ਜਾਂ TEN ਦੇ VAD ਵੌਇਸ ਐਕਟੀਵਿਟੀ ਡਿਟੈਕਸ਼ਨ ਐਕਸਟੈਂਸ਼ਨ, TTS ਟੈਕਸਟ-ਟੂ-ਸਪੀਚ ਐਕਸਟੈਂਸ਼ਨ ਅਤੇ LLM ਐਕਸਟੈਂਸ਼ਨ ਨੂੰ ਜੋੜੋ, ਅਤੇ ਤੁਸੀਂ ਇੱਕ ਪੂਰੀ ਤਰ੍ਹਾਂ ਆਟੋਮੈਟਿਕ ਇੰਟੈਲੀਜੈਂਟ ਡਾਇਲਾਗ ਰੋਬੋਟ ਬਣਾ ਸਕਦੇ ਹੋ। ਐਕਸਟੈਂਸ਼ਨਾਂ ਵਿਚਕਾਰ ਸਹਿਜਤਾ ਨਾਲ ਜੁੜਿਆ ਜਾ ਸਕਦਾ ਹੈ, ਅਤੇ ਤੁਹਾਨੂੰ ਆਪਣੇ ਆਪ ਨੂੰ ਥਕਾਊ ਏਕੀਕਰਣ ਕੋਡ ਲਿਖਣ ਦੀ ਲੋੜ ਨਹੀਂ ਹੈ।

ਵਰਤਮਾਨ ਵਿੱਚ, ਇਹ ਫਰੇਮਵਰਕ ਜਲਦੀ ਹੀ 10000 ਸਟਾਰਾਂ ਨੂੰ ਤੋੜਨ ਵਾਲਾ ਹੈ, ਜੇਕਰ ਤੁਸੀਂ ਦਿਲਚਸਪੀ ਰੱਖਦੇ ਹੋ ਤਾਂ ਇਸਨੂੰ ਅਜ਼ਮਾ ਸਕਦੇ ਹੋ।