Github-ലെ മികച്ച പ്രതിദിന ഒന്നാമൻ: തത്സമയ വോയിസ് AI ഏജൻ്റ് വികസിപ്പിക്കുക, ഒരു മൾട്ടി പർപ്പസ് ടൂൾബോക്സ്

നിങ്ങൾക്ക് എപ്പോഴെങ്കിലും ഇങ്ങനെയൊരു അനുഭവം ഉണ്ടായിട്ടുണ്ടോ, ഒരു ലളിതമായ വോയിസ് AI ഏജൻ്റ് ഉണ്ടാക്കാൻ ശ്രമിക്കുമ്പോൾ, പല പ്രശ്നങ്ങളിലും കുടുങ്ങിപ്പോകുക, ഉദാഹരണത്തിന് നിങ്ങളുടെ ടീമിൽ ചിലർക്ക് Python-ൽ നല്ല പ്രാവീണ്യമുണ്ടാകും, ചിലർ C++-ൽ വിദഗ്ദ്ധരായിരിക്കും. ഓരോരുത്തരും ഡെവലപ്പ് ചെയ്ത ഭാഗങ്ങൾ ഒരുമിപ്പിക്കുമ്പോൾ പ്രശ്നങ്ങൾ ഉണ്ടാകുന്നു, പരിസ്ഥിതി ക്രമീകരണം (environment configuration) പൂർത്തിയാക്കാൻ തന്നെ ധാരാളം സമയം എടുക്കുന്നു, ഫീച്ചറുകൾ കൂട്ടിച്ചേർക്കാൻ ശ്രമിക്കുമ്പോൾ കൂടുതൽ കുഴപ്പങ്ങളുണ്ടാക്കുന്നു, അവസാനം ആവേശമെല്ലാം കെട്ടടങ്ങുന്നു.

ഇന്ന് ഞാൻ നിങ്ങൾക്ക് ഒരു സൂപ്പർ യൂസ്ഫുൾ മൾട്ടി പർപ്പസ് ഡെവലപ്‌മെൻ്റ് ടൂൾബോക്സായ TEN-Framework പരിചയപ്പെടുത്താം.

ഓപ്പൺ സോഴ്സ് വിലാസം: https://github.com/TEN-framework/ten-framework

TEN ഫ്രെയിംവർക്ക് ഈ സങ്കീർണ്ണമായ കാര്യങ്ങളെല്ലാം പാക്ക് ചെയ്തതുപോലെയാണ്. ഇത് തത്സമയ മൾട്ടിമോഡൽ സംഭാഷണ AI നിർമ്മിക്കാൻ ഉപയോഗിക്കുന്ന ഒരു ചട്ടക്കൂടാണ്. നിങ്ങൾക്ക് ഇതിനെ AI വോയിസ് അസിസ്റ്റൻ്റ് പ്രൊഡക്ഷൻ ലൈനായി കണക്കാക്കാം. വോയിസ് റെക്കഗ്നിഷൻ മൊഡ്യൂൾ, ലാർജ് മോഡൽ മൊഡ്യൂൾ, വോയിസ് സിന്തസിസ് മൊഡ്യൂൾ എന്നിവയെല്ലാം ഇതിൽ തയ്യാറാണ്. നിങ്ങളുടെ ആവശ്യത്തിനനുസരിച്ച് അവയെ കൂട്ടിച്ചേർക്കുക മാത്രമാണ് നിങ്ങൾ ചെയ്യേണ്ടത്. ഇത് ആദ്യം മുതൽ ഒരു ഉൽപ്പന്നം ഉണ്ടാക്കുന്നതിനേക്കാൾ എത്രയോ എളുപ്പമാണ്.

ഇതിൻ്റെ പ്രത്യേകത എന്താണെന്ന് ഞാൻ ആദ്യം പറയാം, എനിക്ക് ഉപയോഗപ്രദമെന്ന് തോന്നിയ ചില കാര്യങ്ങൾ ഞാൻ തിരഞ്ഞെടുത്ത് പറയാം. ഒന്നാമതായി മൾട്ടി പർപ്പസ് വോയിസ് അസിസ്റ്റൻ്റ്, ഇത് RTC, WebSocket കണക്ഷനുകളെ പിന്തുണയ്ക്കുന്നു, കുറഞ്ഞ ലേറ്റൻസിയും മികച്ച ശബ്ദ നിലവാരവും ഇതിനുണ്ട്. സ്മാർട്ട് കസ്റ്റമർ സർവീസ് അല്ലെങ്കിൽ പേഴ്സണൽ വോയിസ് അസിസ്റ്റൻ്റ് ഉണ്ടാക്കാൻ ഈ ഫീച്ചർ ഉപയോഗിക്കാം. ഇതിന് രസകരമായൊരു ഡൂഡിൽ ജനറേറ്റർ ഉണ്ട്, നിങ്ങൾ പറയുന്നത് എന്തും അത് വരയ്ക്കും, കൈകൊണ്ട് വരച്ച ചിത്രീകരണം പോലെയിരിക്കും ഇത്. ഈ ഫീച്ചർ ഡെമോൺസ്ട്രേഷനുകൾക്കും വിനോദത്തിനും ഉപയോഗിക്കാം.

ഒന്നിലധികം ആളുകൾ സംസാരിക്കുന്ന സാഹചര്യങ്ങൾക്കും ഇതിൽ പരിഹാരമുണ്ട്. ഇതിന് തത്സമയ സ്പീക്കർ തിരിച്ചറിയൽ ഫീച്ചറുണ്ട്, ഇത് ആരാണ് സംസാരിക്കുന്നതെന്ന് സ്വയം തിരിച്ചറിയുന്നു, അതിനാൽ മീറ്റിംഗ് റെക്കോർഡുകളിലോ അഭിമുഖ സംഭാഷണങ്ങളിലോ ആശയക്കുഴപ്പങ്ങൾ ഉണ്ടാകുന്നത് ഓർത്ത് വിഷമിക്കേണ്ടതില്ല. വെർച്വൽ അവതാരങ്ങളുടെ കാര്യത്തിൽ, AI അസിസ്റ്റൻ്റ് സംസാരിക്കുമ്പോൾ, കഥാപാത്രത്തിൻ്റെ ചുണ്ടുകൾ സംഭാഷണവുമായി കൃത്യമായി സമന്വയിപ്പിക്കാൻ കഴിയും. ഇത് ദ്വിമാന ആനിമേഷൻ കഥാപാത്രങ്ങളായാലും ത്രിമാന വെർച്വൽ മനുഷ്യരായാലും ചുണ്ടുകൾ സംഭാഷണത്തിനനുസരിച്ച് ചലിക്കും. വെർച്വൽ സ്ട്രീമർമാരെയും വ്യക്തിഗത അസിസ്റ്റൻ്റുമാരെയും ഉണ്ടാക്കുന്ന ഡെവലപ്പർമാർക്ക് ഇത് വളരെ ഉപകാരപ്രദമാണ്.

നിങ്ങൾക്ക് ഇതിലൂടെ ഫോൺ വിളിക്കാൻ സാധിക്കും, ഇത് SIP പ്രോട്ടോക്കോളിനെ പിന്തുണയ്ക്കുന്നതിനാൽ AI അസിസ്റ്റൻ്റിന് നേരിട്ട് കോളുകൾ എടുക്കാൻ കഴിയും. ഈ ഫീച്ചർ ബിസിനസ് ഉപയോക്താക്കൾക്ക് വളരെ ഉപകാരപ്രദമാണ്, സ്മാർട്ട് കസ്റ്റമർ സർവീസിനെയും ടെലിഫോൺ സിസ്റ്റത്തെയും ബന്ധിപ്പിക്കുന്നതിലൂടെ ധാരാളം ജീവനക്കാരുടെ ചിലവ് കുറയ്ക്കാൻ സാധിക്കും. ഇതിന് അടിസ്ഥാനപരമായ സംഭാഷണം ടെക്സ്റ്റ് ആക്കി മാറ്റുന്ന ഫീച്ചറുമുണ്ട്, തത്സമയം സംഭാഷണങ്ങളെ ടെക്സ്റ്റ് ആക്കി മാറ്റാൻ സാധിക്കും, മീറ്റിംഗ് മിനിറ്റ്സ്, സബ്ടൈറ്റിലുകൾ ഉണ്ടാക്കൽ തുടങ്ങിയ ആവശ്യങ്ങൾക്കും ഇത് ഉപയോഗിക്കാം.

ക്രമീകൃതമായ പ്രക്രിയകൾക്ക് പുറമെ, AI ഏജൻ്റ് ടെംപ്ലേറ്റുകൾ, എക്സ്റ്റൻഷനുകൾ, ആപ്ലിക്കേഷൻ ടെംപ്ലേറ്റുകൾ എന്നിങ്ങനെ നിരവധി പ്രോജക്റ്റ് ടെംപ്ലേറ്റുകളും ഇതിൽ ഉണ്ട്. LLM, TTS എക്സ്റ്റൻഷൻ ടെംപ്ലേറ്റുകൾ, കൂടാതെ പ്രധാന ഭാഷകളിലെല്ലാം ഡിഫോൾട്ട് ആപ്ലിക്കേഷൻ ടെംപ്ലേറ്റുകളും നേരിട്ട് ഉപയോഗിക്കാൻ സാധിക്കും. ഒരു പുതിയ പ്രോജക്റ്റ് ഉണ്ടാക്കുന്നതിനും ആദ്യത്തെ ഡെമോ പ്രവർത്തിപ്പിക്കുന്നതിനും കുറഞ്ഞ സമയം മതി, ഇത് സമയം ലാഭിക്കാൻ സഹായിക്കുന്നു.

പരിചയസമ്പന്നരായ ഡെവലപ്പർമാർക്ക് കൂടുതൽ കാര്യങ്ങൾ ചെയ്യാനാകും, ഉദാഹരണത്തിന് C++ ഉപയോഗിച്ച് തത്സമയ ഓഡിയോ, വീഡിയോ പ്രോസസ്സിംഗ് ചെയ്യുന്നതിലൂടെ കുറഞ്ഞ ലേറ്റൻസിയുള്ള ഒരു റിയൽ ടൈം വോയിസ് അസിസ്റ്റൻ്റ് ഉണ്ടാക്കാം, Python ഉപയോഗിച്ച് LLM ഇൻഫറൻസ് ചെയ്യുന്നതിലൂടെ അസിസ്റ്റൻ്റിന് കാര്യങ്ങൾ കേട്ട് മനസ്സിലാക്കാനും ചിന്തിക്കാനും കഴിയും. Node.js ഉപയോഗിച്ച് ഫ്രണ്ടെൻഡ് ഇൻ്ററാക്ഷൻ ഉണ്ടാക്കുന്നതിലൂടെ ഉപയോക്താക്കൾക്ക് എളുപ്പത്തിൽ പ്രവർത്തിപ്പിക്കാൻ കഴിയും, ഇത് സാധാരണ രീതിയിലുള്ള സിംഗിൾ ലാംഗ്വേജ് ഡെവലപ്‌മെൻ്റിനെക്കാൾ 3 മടങ്ങ് വേഗത്തിൽ കോഡിംഗ് ചെയ്യാൻ സഹായിക്കുന്നു.

അല്ലെങ്കിൽ TEN-ൻ്റെ VAD വോയിസ് ആക്ടിവിറ്റി ഡിറ്റക്ഷൻ എക്സ്റ്റൻഷൻ, TTS ടെക്സ്റ്റ് ടു സ്പീച്ച് എക്സ്റ്റൻഷൻ, LLM എക്സ്റ്റൻഷൻ എന്നിവ ഒരുമിപ്പിച്ച് ഒരു ഓട്ടോമേറ്റഡ് സ്മാർട്ട് ടോക്കിംഗ് റോബോട്ട് ഉണ്ടാക്കാം, എക്സ്റ്റൻഷനുകൾ തമ്മിൽ തടസ്സമില്ലാതെ ബന്ധിപ്പിക്കാൻ കഴിയും, അതിനായി നിങ്ങൾ കൂടുതൽ കോഡുകൾ എഴുതേണ്ടതില്ല.

നിലവിൽ ഈ ഫ്രെയിംവർക്ക് 10000 സ്റ്റാർ പിന്നിടാൻ പോകുകയാണ്, താല്പര്യമുള്ളവർക്ക് പരീക്ഷിക്കാവുന്നതാണ്.