RAG-এর বিবর্তন: পুনরুদ্ধার বৃদ্ধি থেকে এজেন্ট অনুমান

২০২৬ সালে, RAG (পুনরুদ্ধার বৃদ্ধি জেনারেশন) 'এলএলএম-এর জন্য একটি সার্চ বক্স যোগ করা' থেকে একটি সম্পূর্ণ এজেন্ট সিস্টেমে বিকশিত হয়েছে।

পুনরুদ্ধার থেকে অনুমান

X-এ একজন একটি গুরুত্বপূর্ণ পরিবর্তনের দিকে ইঙ্গিত করেছেন:

'একটি এআই এজেন্ট তৈরি করা যা অনুসন্ধানের উপর ভিত্তি করে অনুমান করতে পারে - শুধুমাত্র পুনরুদ্ধারের চেয়েও বেশি।'

এটি RAG 2.0-এর মূল পার্থক্য। ঐতিহ্যবাহী RAG হল 'পুনরুদ্ধার → জেনারেশন'-এর দুটি ধাপের প্রক্রিয়া। নতুন দৃষ্টান্ত হল 'পুনরুদ্ধার → অনুমান → কর্ম'-এর একটি এজেন্ট লুপ।

এজেন্ট অনুসন্ধানের ফলাফলগুলিকে প্রম্পটে না ঢুকিয়ে, বরং অনুসন্ধানের উদ্দেশ্য বোঝে, তথ্যের গুণমান বিচার করে, এবং আরও পুনরুদ্ধারের প্রয়োজন আছে কিনা তা নির্ধারণ করে। এটি 'সরঞ্জাম ব্যবহারকারী' থেকে 'গবেষক'-এ একটি আপগ্রেড।

ভেক্টর সার্চ ২.০

X-এ একজন সর্বশেষ অগ্রগতি শেয়ার করেছেন:

'নতুন ভেক্টর সার্চ ২.০ এবং ADK ব্যবহার করে কীভাবে প্রায় ১০ মিনিটের মধ্যে একটি মৌলিক এজেন্টিক RAG সিস্টেম তৈরি করা যায় তা দেখানো হয়েছে।'

ভেক্টর সার্চ আর সহজ সাদৃশ্য ম্যাচিং নয়। নতুন সংস্করণ সমর্থন করে:

• মিশ্র পুনরুদ্ধার (ভেক্টর + কীওয়ার্ড)
• মাল্টি-হপ অনুমান (একটি পুনরুদ্ধার অন্যটিকে ট্রিগার করে)
• ডায়নামিক রি-র্যাংকিং (প্রসঙ্গের উপর ভিত্তি করে ফলাফল সামঞ্জস্য করা)

এটি RAG-কে 'প্রাসঙ্গিক নথি খোঁজা' থেকে 'জ্ঞানের পথ তৈরি'-তে বিকশিত করে।

উৎপাদন-প্রস্তুত এলএলএম অ্যাপ্লিকেশন

X-এ একজন একটি তালিকা সংকলন করেছেন:

'২০২৬ সালের সমস্ত উৎপাদন-প্রস্তুত এলএলএম অ্যাপ্লিকেশনের সংগ্রহ। awesome-llm-apps-এ RAG, এজেন্ট, মাল্টিমোডাল অ্যাপ্লিকেশন এবং এআই সাআস (SaaS) পণ্যের সরাসরি অনুলিপি-পেস্ট করার মতো কোড রয়েছে।'

এটি শিল্পের পরিপক্কতা প্রতিফলিত করে: 'পরীক্ষা' থেকে 'টেমপ্লেটাইজেশন'। যখন RAG অ্যাপ্লিকেশন অনুলিপি-পেস্ট করা যায়, তখন পার্থক্য আর প্রযুক্তি নয়, বরং ডেটার গুণমান এবং ব্যবসায়িক বোঝাপড়া।

১০০+ এলএলএম সরঞ্জাম লাইব্রেরি

X-এ একজন সংকলন করেছেন:

'এলএলএম ইঞ্জিনিয়ারিং টুলকিট: প্রশিক্ষণ, সূক্ষ্ম টিউনিং, তৈরি, মূল্যায়ন, স্থাপন, RAG এবং এআই এজেন্টের জন্য ১০০+ এলএলএম লাইব্রেরি এবং ফ্রেমওয়ার্কের একটি নির্বাচিত তালিকা।'

সরঞ্জাম চেইনের খণ্ডন একটি সুযোগ এবং একটি বোঝা উভয়ই। প্রতিটি পর্যায়ে একাধিক পছন্দ রয়েছে:

• ভেক্টর ডেটাবেস: Pinecone, Weaviate, Milvus, pgvector...
• ফ্রেমওয়ার্ক: LangChain, LlamaIndex, Haystack...
• মূল্যায়ন: RAGAS, TruLens, Arize...

যত বেশি পছন্দ, সিদ্ধান্তের খরচ তত বেশি।

RAG এবং সূক্ষ্ম টিউনিং-এর পছন্দ

X-এ একটি প্রকল্প বিশেষভাবে নিবেদিত:

'এলএলএম-এর RAG এবং সূক্ষ্ম টিউনিং প্রকল্প।'

এটি হল সংস্থাগুলির সবচেয়ে সাধারণ বিভ্রান্তি: কখন RAG ব্যবহার করবেন? কখন সূক্ষ্ম টিউনিং করবেন?

সহজ নিয়ম:

• RAG: জ্ঞান ঘন ঘন পরিবর্তিত হয়, উৎসের উদ্ধৃতি প্রয়োজন, খরচ সংবেদনশীল
• সূক্ষ্ম টিউনিং: শৈলী/ফর্ম্যাট নির্দিষ্ট, অনুমানের ধরণ নির্দিষ্ট, বিলম্ব সংবেদনশীল

বেশিরভাগ এন্টারপ্রাইজ অ্যাপ্লিকেশন RAG-এর জন্য বেশি উপযুক্ত, কারণ ব্যবসায়িক জ্ঞানের আপডেটের গতি মডেল প্রশিক্ষণের চক্রের চেয়ে অনেক দ্রুত।

সারসংক্ষেপ

২০২৬ সালে RAG-এর তিনটি মূল পরিবর্তন:

1. পুনরুদ্ধার থেকে অনুমান: এজেন্ট শুধু পুনরুদ্ধার করে না, অনুসন্ধানের প্রক্রিয়া সম্পর্কে অনুমান করে
2. টেমপ্লেট থেকে উৎপাদন: অনুলিপি-পেস্ট কোড উপলব্ধ, ডেটা এবং ব্যবসায়ের মধ্যে পার্থক্য
3. পছন্দ থেকে সিদ্ধান্ত: অনেক সরঞ্জাম, সঠিক সংমিশ্রণ নির্বাচন করার আসল ক্ষমতা

RAG আর 'এলএলএম-এর জন্য একটি বাহ্যিক প্লাগইন' নয়, বরং জ্ঞানের সীমানা সহ একটি বুদ্ধিমান সিস্টেম তৈরি করা। জ্ঞানের সীমানা নির্ধারণ করে যে এজেন্ট কী সমস্যা সমাধান করতে পারে এবং পুনরুদ্ধারের গুণমান উত্তরের নির্ভুলতা নির্ধারণ করে।

RAG ছাড়া এলএলএম হল 'বুদ্ধি আছে কিন্তু জ্ঞান নেই'। RAG সহ এলএলএম হল 'বুদ্ধি আছে এবং জ্ঞানও আছে'। এজেন্টিক RAG সহ এলএলএম হল 'বুদ্ধি আছে, জ্ঞান আছে এবং স্বায়ত্তশাসিতভাবে শিখতে পারে'।

প্রশ্ন হল: আপনার জ্ঞানের সীমানা কোথায়?