PageIndex Derinlemesine Analiz: Vektörsüz Akıl Yürütme Tabanlı RAG, Yapay Zekanın İnsan Uzmanlar Gibi Belge Okumasını Sağlar

PageIndex, Vectify AI ekibi tarafından açık kaynaklı hale getirilen vektörsüz, akıl yürütme tabanlı bir RAG çerçevesidir (GitHub 14.8k+ yıldız). Uzun belgeleri hiyerarşik bir ağaç indeksine dönüştürür, LLM'yi ağaç üzerinde akıl yürütme tabanlı arama için kullanır ve FinanceBench finansal belge soru-cevap kıyaslamasında %98.7 doğruluk oranına ulaşır.

1. Arka Plan: Geleneksel RAG'ın Beş Acı Noktası

RAG, büyük model uygulamaları için fiili bir standart haline geldi. Ana akım çözümler, ön işleme aşamasında belgeleri sabit uzunlukta parçalara (chunk) böler, embedding modeli aracılığıyla vektörlere dönüştürür ve vektör veritabanına kaydeder; sorgulama sırasında kullanıcı sorularına aynı embedding uygulanır ve ardından vektör benzerliği araması yoluyla En İyi-K sonuçları geri çağrılır ve LLM'nin girdi bağlamı olarak birleştirilir.

Bu süreç, kısa metinlerde ve genel senaryolarda etkili olsa da, profesyonel uzun belgeler (finansal raporlar, yasalar ve yönetmelikler, teknik kılavuzlar vb.) senaryolarında beş temel sorun ortaya çıkarır:

1) Benzerlik ≠ Alaka. Vektör araması, "anlamsal olarak en benzer metin bloğu = en alakalı cevap kaynağı" varsayımını yapar, ancak profesyonel belgelerde, çok sayıda paragraf yaklaşık anlamsal benzerliği paylaşır, ancak önemli ayrıntılarda büyük farklılıklar gösterir.

2) Sert parçalama, bağlam bütünlüğünü bozar. Belgeleri 512 veya 1024 token'lık sabit pencerelerle bölmek, cümleleri, paragrafları ve hatta tüm mantıksal bölümleri keser, bu da önemli bağlamın kaybolmasına neden olur.

3) Sorgu niyeti ve bilgi alanı uyumsuzluğu. Kullanıcıların sorguları "içeriği" değil, "niyeti" ifade eder ve sorgu embedding'i ile belge embedding'i farklı anlamsal alanlarda bulunur.

4) Belge içi referansları işleyememe. Profesyonel belgelerde yaygın olarak "ayrıntılar için Ek G'ye bakın", "Tablo 5.3'e bakın" gibi referanslar bulunur. Bu referanslar ile referans verilen içerik arasında anlamsal bir benzerlik yoktur ve vektör araması eşleşemez.

5) Bağımsız sorgular, diyalog geçmişinden yararlanamama. Her arama, sorguyu bağımsız bir istek olarak ele alır ve önceki diyalog bağlamıyla birleştirerek aşamalı arama yapamaz.

2. PageIndex Genel Mimarisi

PageIndex, vektörsüz (Vectorless), akıl yürütme tabanlı (Reasoning-based) bir RAG çerçevesidir. Temel fikri şudur: Modelin vektör uzayında yaklaşık eşleşme yapmasına izin vermek yerine, modelin belgenin yapılandırılmış gösterimi üzerinde akıl yürütmesine izin vermek - sadece "neyin benzer göründüğüne" değil, "nereye bakılacağına" karar vermek.

PageIndex, insan uzmanların uzun belgeleri okuma şeklini simüle eder: önce içindekiler tablosuna göz atın, soruya göre ilgili bölümleri belirleyin ve hedef içeriği bulana kadar katman katman derinleşin. Bu süreç iki adımda gerçekleştirilir:

• Ağaç yapısı indeksi oluşturma: PDF/Markdown belgelerini hiyerarşik bir JSON ağacına dönüştürme, "LLM için optimize edilmiş bir içindekiler tablosuna" benzer
• Akıl yürütme tabanlı ağaç araması: LLM, soruya göre ağaç üzerinde akıl yürüterek gezinir, ilgili düğümleri konumlandırır, içeriği çıkarır ve cevap oluşturur

3. Temel Modüllerin Ayrıştırılması

3.1 PDF İşleme Hattı

PageIndex'in PDF işleme hattı, tree_parser() fonksiyonu tarafından düzenlenir ve temel akış şunları içerir: içindekiler tablosu algılama (üç mod dalı), önsözün tamamlanması, düz listenin hiyerarşik ağaca dönüştürülmesi, büyük düğümlerin özyinelemeli olarak alt bölümlere ayrılması, düğümlerin zenginleştirilmesi, JSON ağaç yapısı çıktısı.

Üç işleme modu:

• process_toc_with_page_numbers (içindekiler tablosu + sayfa numaraları var): LLM'yi kullanarak orijinal içindekiler tablosunu yapılandırılmış JSON'a dönüştürme, mantıksal sayfa numaralarını fiziksel sayfa numaralarına eşleme
• process_no_toc (içindekiler tablosu yok): LLM tarafından doğrudan metin içeriğinden hiyerarşik yapıyı çıkarma
• process_toc_no_page_numbers (içindekiler tablosu var ancak sayfa numaraları yok): yapıyı çıkarma ve ardından fiziksel sayfa numaralarını tamamlamak için akıl yürütme

3.2 Ağaç Yapısı Veri Modeli

Ağaçtaki her düğüm şunları içerir: title, node_id, start_index, end_index, summary, prefix_summary, text, nodes (alt düğüm dizisi) gibi alanlar.

3.3 Akıl Yürütme Tabanlı Arama Mekanizması

Arama aşaması herhangi bir vektör hesaplamasına dayanmaz. LLM, kullanıcı sorusunu ve belge ağacı yapısını alır, düğüm başlıklarına ve özetlerine dayanarak akıl yürütür, "düşünce sürecini" ve ilgili node_id listesini çıktılar. Sistem daha sonra node_id'ye göre node_map'ten karşılık gelen düğümün tam metnini çıkarır, bağlam olarak birleştirir ve LLM'ye nihai cevabı oluşturması için verir.

4. Temel Tasarım Öne Çıkanları

• Vektörsüz mimari: embedding modeli ve vektör veritabanına gerek yok, altyapı maliyetlerini düşürür, dağıtımı basitleştirir
• Belgenin doğal yapısını koruma: içeriği belgenin doğal bölüm/alt bölüm/alt bölüm yapısına göre düzenleme, parçalar arası bağlam kaybını önleme
• Aramanın açıklanabilirliği: her arama, uyumluluk gereksinimleri yüksek olan senaryolarda belirgin avantajlara sahip olan eksiksiz bir akıl yürütme zinciri döndürür

5. Değerlendirme Sonuçları

Mafin 2.5, PageIndex tabanlı bir finansal belge soru-cevap sistemidir. FinanceBench'te (finansal belge QA kıyaslama testi) %98.7 doğruluk oranına ulaşarak Perplexity (%45) ve GPT-4o'yu (%31) geride bırakmıştır.

6. Uygulama Senaryoları

Uygun: Net hiyerarşik yapıya sahip uzun belgeler (mali raporlar, düzenlemeler, ders kitapları, kılavuzlar), onlarca ila yüzlerce sayfa uzunluğunda

Uygun değil: Yapılandırılmamış içeriğe sahip belgeler, OCR'den geçirilmemiş taranmış belgeler, ağırlıklı olarak tablo/grafiklerden oluşan belgeler, milisaniye düzeyinde gerçek zamanlı yanıt gerektiren senaryolar

7. Özet

PageIndex'in temel katkısı, pratik bir vektörsüz RAG paradigması önermesidir: belge doğal yapısıyla bir ağaç indeksi oluşturmak, vektör benzerliği araması yerine LLM akıl yürütmesini kullanmak. Bu çözüm, net hiyerarşik yapıya sahip profesyonel uzun belge senaryolarında mükemmel performans gösterir ve açıklanabilirlik ve denetlenebilirlik açısından da geleneksel çözümlerden önemli ölçüde üstündür.