Github-இல் நாளின் சிறந்த முதல் இடம்: நிகழ்நேர குரல் AI ஏஜென்ட்டை உருவாக்குதல், பல்துறை கருவித்தொகுப்பு

உங்களுக்கு எப்போதாவது இப்படி இருந்திருக்கிறதா, ஒரு எளிய குரல் AI ஏஜென்ட்டை உருவாக்க நினைத்து, பலவிதமான சிக்கல்களில் சிக்கிக்கொண்டது, உதாரணமாக, உங்கள் குழுவில் சிலர் Python-இல் திறமையானவர்கள், சிலர் C++-இல் நிபுணத்துவம் பெற்றவர்கள். அவரவர் உருவாக்கிய பகுதிகளை ஒன்றாக இணைக்கும்போது சிக்கல்கள் ஏற்படுகின்றன, சூழலை கட்டமைக்கவே பாதி நாள் ஆகிவிடும், மேலும் செயல்பாடுகளை விரிவாக்குவது குழப்பமாக இருக்கும், இறுதியில் ஆர்வம் குறைந்துவிடும்.

இன்று நான் உங்களுக்கு TEN-Framework என்ற சூப்பர் பயனுள்ள பல்துறை மேம்பாட்டுக் கருவித்தொகுப்பை அறிமுகப்படுத்துகிறேன்.

திறந்த மூல முகவரி: https://github.com/TEN-framework/ten-framework

TEN Framework இந்த சிக்கலான விஷயங்களை எல்லாம் தொகுத்து உங்களுக்கு வழங்குவது போன்றது. இது உண்மையில் நிகழ்நேர பல மாதிரி உரையாடல் AI-ஐ உருவாக்குவதற்கான ஒரு பிரேம்வொர்க் ஆகும். இதை நீங்கள் AI குரல் உதவியாளரின் உற்பத்தி வரிசையாக கருதலாம். குரல் அங்கீகார தொகுதி, பெரிய மாதிரி தொகுதி, குரல் தொகுப்பு தொகுதி இவை அனைத்தும் உங்களுக்கு தயாராக உள்ளன. உங்கள் தேவைக்கேற்ப அவற்றை ஒன்றிணைக்க வேண்டும். இது புதிதாக ஒரு சக்கரத்தை உருவாக்குவதை விட மிகவும் எளிதானது.

இது என்ன செய்ய முடியும் என்பதைப் பற்றி பேசுகையில், முதலில் நான் பயனுள்ளதாக கருதும் சிலவற்றைத் தேர்ந்தெடுத்துக் கூறுகிறேன். முதலாவது பல்துறை குரல் உதவியாளர், இது RTC மற்றும் WebSocket ஆகிய இரண்டு இணைப்பு முறைகளையும் ஆதரிக்கிறது, தாமதம் மிகக் குறைவு, ஒலி தரமும் நன்றாக உள்ளது. நீங்கள் ஒரு ஸ்மார்ட் வாடிக்கையாளர் சேவையை உருவாக்க விரும்பினாலும் அல்லது தனிப்பட்ட குரல் உதவியாளரை உருவாக்க விரும்பினாலும், இந்த செயல்பாடு அடிப்படையில் தேவைகளை பூர்த்தி செய்ய முடியும். சுவாரஸ்யமாக, இதில் ஒரு கிறுக்கல் ஜெனரேட்டரும் உள்ளது, நீங்கள் என்ன சொன்னாலும் அதை வரைகிறது, கையால் வரையப்பட்ட பாணியிலான கிறுக்கல்களை உருவாக்குகிறது. இந்த செயல்பாடு டெமோ அல்லது பொழுதுபோக்கு காட்சிகளில் மிகவும் பிரபலமாக இருக்கும்.

பலர் உரையாடல் காட்சிகளுக்கும் தீர்வுகள் உள்ளன. இதில் நிகழ்நேர பேச்சாளர் அங்கீகார செயல்பாடு உள்ளது, இது யார் பேசுகிறார்கள் என்பதை தானாகவே வேறுபடுத்தி அறியும், இதனால் மாநாட்டு பதிவுகள் அல்லது நேர்காணல் டிரான்ஸ்கிரிப்ஷன்களில் குழப்பம் பற்றி கவலைப்பட தேவையில்லை. விர்ச்சுவல் அவதார் பகுதியில், AI உதவியாளர் பேசும்போது, கதாபாத்திரத்தின் வாய் அசைவுகள் பேச்சுடன் சரியாக ஒத்திசைக்க முடியும். இது அனிமேஷன் கதாபாத்திரமாக இருந்தாலும் அல்லது யதார்த்தமான 3D விர்ச்சுவல் மனிதனாக இருந்தாலும், வாய் அசைவுகள் சரியாக பொருந்தும். விர்ச்சுவல் ஸ்ட்ரீமர்கள் அல்லது தனிப்பயனாக்கப்பட்ட உதவியாளர்களை உருவாக்கும் டெவலப்பர்களுக்கு இது மிகவும் வசதியானது.

நீங்கள் அதை தொலைபேசி அழைப்புகளை எடுக்க விரும்பினால், அது SIP புரோட்டோகால் ஆதரிக்கிறது, AI உதவியாளர் நேரடியாக தொலைபேசி அழைப்புகளை எடுக்க முடியும். இந்த செயல்பாடு நிறுவன பயனர்களுக்கு மிகவும் பயனுள்ளதாக இருக்கும், ஸ்மார்ட் வாடிக்கையாளர் சேவையை தொலைபேசி அமைப்புடன் இணைப்பதன் மூலம், நிறைய மனித உழைப்பு செலவுகளை சேமிக்க முடியும். நிச்சயமாக, அடிப்படை குரலை உரையாக மாற்றும் செயல்பாடும் இதில் உள்ளது, நிகழ்நேரத்தில் குரலை உரையாக மாற்றுகிறது, மாநாட்டு குறிப்புகள், வசன வரிகள் உருவாக்கம் போன்ற காட்சிகளில் இதைப் பயன்படுத்தலாம்.

தரப்படுத்தப்பட்ட செயல்முறைகளுக்கு கூடுதலாக, இது பல ஆயத்த திட்ட டெம்ப்ளேட்களையும் கொண்டுள்ளது, AI Agent டெம்ப்ளேட்கள், பல்வேறு நீட்டிப்புகள் மற்றும் பயன்பாட்டு டெம்ப்ளேட்கள் என பல உள்ளன. உதாரணமாக, LLM, TTS நீட்டிப்பு டெம்ப்ளேட்கள் மற்றும் பல முக்கிய மொழிகளில் இயல்புநிலை பயன்பாட்டு டெம்ப்ளேட்கள் உள்ளன, அவை அனைத்தையும் நேரடியாகப் பயன்படுத்தலாம். ஒரு புதிய திட்டத்தை உருவாக்குவது முதல் முதல் டெமோவை இயக்குவது வரை, சில நிமிடங்களே ஆகும், இது நேரத்தை மிச்சப்படுத்துகிறது.

நீங்கள் ஒரு அனுபவமிக்க டெவலப்பராக இருந்தால், மேம்பட்ட வழிகளும் உள்ளன, உதாரணமாக, நீங்கள் ஒரு உயர் செயல்திறன் கொண்ட நிகழ்நேர குரல் உதவியாளரை உருவாக்கலாம், C++ ஐப் பயன்படுத்தி நிகழ்நேர ஆடியோ மற்றும் வீடியோ செயலாக்கத்தை செய்யலாம், குறைந்த தாமதத்தை உறுதிப்படுத்தலாம், Python ஐப் பயன்படுத்தி LLM அனுமானத்தை செய்யலாம், உதவியாளர் புரிந்து கொள்ளவும் சிந்திக்கவும் முடியும். Node.js ஐப் பயன்படுத்தி முன்-இடைமுக தொடர்புகளைச் செய்யலாம், பயனர்கள் எளிதாக இயக்க முடியும், ஒட்டுமொத்த மேம்பாட்டு வேகம் பாரம்பரிய ஒற்றை மொழி மேம்பாட்டை விட 3 மடங்கு அதிகமாகும்.

அல்லது TEN-இன் VAD குரல் செயல்பாட்டு கண்டறிதல் நீட்டிப்பு, TTS உரையிலிருந்து பேச்சு நீட்டிப்பு மற்றும் LLM நீட்டிப்பு ஆகியவற்றை இணைப்பதன் மூலம், நீங்கள் ஒரு முழு தானியங்கி ஸ்மார்ட் உரையாடல் ரோபோவை உருவாக்கலாம், நீட்டிப்புகளுக்கு இடையே தடையின்றி இணைக்க முடியும், நீங்கள் சிக்கலான ஒருங்கிணைப்பு குறியீட்டை எழுத வேண்டியதில்லை.

தற்போது, இந்த பிரேம்வொர்க் விரைவில் 10000 நட்சத்திரங்களைத் தொடும், ஆர்வமுள்ளவர்கள் முயற்சி செய்து பார்க்கலாம்.