PageIndex: Análise Detalhada: RAG Sem Vetores Baseado em Inferência, Permitindo que a IA Leia Documentos como um Especialista Humano

PageIndex é uma estrutura RAG sem vetores, baseada em inferência, de código aberto pela equipe Vectify AI (GitHub 14.8k+ stars). Ele converte documentos longos em um índice de árvore hierárquica, usando LLM para pesquisa inferencial na árvore, alcançando uma precisão de 98.7% no benchmark de perguntas e respostas de documentos financeiros FinanceBench.

1. Contexto: Os Cinco Pontos Problemáticos do RAG Tradicional

RAG se tornou o padrão de fato para aplicações de modelos grandes. A solução principal divide documentos em chunks de comprimento fixo na fase de pré-processamento, converte-os em vetores por meio de um modelo de embedding e os armazena em um banco de dados vetorial; ao consultar, faz o mesmo embedding para a pergunta do usuário e, em seguida, recupera os resultados Top-K por meio da pesquisa de similaridade vetorial, concatenando-os como o contexto de entrada do LLM.

Este processo é eficaz em textos curtos e cenários gerais, mas expõe cinco problemas fundamentais em cenários de documentos longos e profissionais (relatórios financeiros, leis e regulamentos, manuais técnicos, etc.):

1) Similaridade ≠ Relevância. A recuperação vetorial assume que "o bloco de texto semanticamente mais similar = a fonte de resposta mais relevante", mas em documentos profissionais, um grande número de parágrafos compartilha semântica aproximada, mas difere em detalhes cruciais.

2) O chunking rígido destrói a integridade do contexto. Dividir documentos em janelas fixas de 512 ou 1024 tokens truncará frases, parágrafos e até mesmo seções lógicas inteiras, levando à perda de contexto crucial.

3) Desalinhamento entre a intenção da consulta e o espaço de conhecimento. A consulta do usuário expressa "intenção" em vez de "conteúdo", e o embedding da query e o embedding do documento estão em diferentes espaços semânticos.

4) Incapacidade de lidar com referências dentro do documento. Documentos profissionais geralmente contêm referências como "ver Apêndice G" ou "consultar Tabela 5.3", e não há similaridade semântica entre essas referências e o conteúdo referenciado, tornando a recuperação vetorial incapaz de corresponder.

5) Consultas independentes, incapazes de utilizar o histórico de conversas. Cada recuperação trata a query como uma solicitação independente, incapaz de combinar o contexto da conversa anterior para fazer uma recuperação incremental.

2. Arquitetura Geral do PageIndex

PageIndex é uma estrutura RAG sem vetores (Vectorless), baseada em inferência (Reasoning-based). Sua ideia central é: em vez de fazer com que o modelo faça correspondência aproximada no espaço vetorial, é melhor fazer com que o modelo raciocine sobre a representação estruturada do documento - decidindo "para onde olhar", em vez de apenas "o que parece semelhante".

PageIndex simula a maneira como especialistas humanos leem documentos longos: primeiro, navegam pelo índice, determinam os capítulos relevantes com base na pergunta e aprofundam-se camada por camada até encontrar o conteúdo de destino. Este processo é alcançado em duas etapas:

• Construir um índice de estrutura de árvore: converter documentos PDF/Markdown em uma árvore JSON hierárquica, semelhante a um "índice otimizado para LLM"
• Pesquisa de árvore inferencial: LLM realiza navegação inferencial na árvore com base na pergunta, localiza nós relevantes, extrai conteúdo e gera respostas

3. Desmembramento dos Módulos Centrais

3.1 Pipeline de Processamento de PDF

O pipeline de processamento de PDF do PageIndex é organizado pela função tree_parser(), e o fluxo central inclui: detecção de índice (três ramificações de modo), suplementação do prefácio, conversão de lista plana em árvore hierárquica, subdivisão recursiva de nós grandes, enriquecimento de nós, saída da estrutura de árvore JSON.

Três modos de processamento:

• process_toc_with_page_numbers (com índice + com números de página): usa LLM para converter o índice original em JSON estruturado, mapeando números de página lógicos para números de página físicos
• process_no_toc (sem índice): LLM infere diretamente a estrutura hierárquica do conteúdo do corpo do texto
• process_toc_no_page_numbers (com índice, mas sem números de página): extrai a estrutura e, em seguida, infere e suplementa os números de página físicos

3.2 Modelo de Dados da Estrutura de Árvore

Cada nó na árvore contém campos como: title, node_id, start_index, end_index, summary, prefix_summary, text, nodes (array de nós filhos), etc.

3.3 Mecanismo de Recuperação Inferencial

A fase de recuperação não depende de nenhum cálculo vetorial. O LLM recebe a pergunta do usuário e a estrutura da árvore de documentos, raciocina com base nos títulos e resumos dos nós e produz seu "processo de pensamento" e uma lista de node_id relacionados. O sistema então extrai o texto completo dos nós correspondentes do node_map com base no node_id, concatena-o como contexto e o entrega ao LLM para gerar a resposta final.

4. Destaques do Design Central

• Arquitetura sem vetores: não requer modelo de embedding e banco de dados vetorial, reduzindo os custos de infraestrutura e simplificando a implantação
• Retém a estrutura natural do documento: organiza o conteúdo por capítulos/seções/subseções inerentes ao documento, evitando a perda de contexto entre chunks
• Explicabilidade da recuperação: cada recuperação retorna uma cadeia de raciocínio completa, o que tem vantagens óbvias em cenários com altos requisitos de conformidade

5. Resultados da Avaliação

Mafin 2.5 é um sistema de perguntas e respostas de documentos financeiros baseado em PageIndex. Seu desempenho no FinanceBench (benchmark de QA de documentos financeiros) atinge uma precisão de 98.7%, superando em muito o Perplexity (45%) e o GPT-4o (31%).

6. Cenários Aplicáveis

Adequado para: documentos longos com uma estrutura hierárquica clara (relatórios financeiros, regulamentos, livros didáticos, manuais), com dezenas a centenas de páginas

Não adequado para: documentos sem conteúdo estruturado, digitalizações não OCRizadas, documentos baseados principalmente em tabelas/gráficos, cenários que exigem resposta em tempo real em milissegundos

7. Resumo

A principal contribuição do PageIndex é propor um paradigma RAG sem vetores prático: construir um índice de árvore com a estrutura natural do documento e usar o raciocínio LLM para substituir a pesquisa de similaridade vetorial. Esta solução tem um excelente desempenho em cenários de documentos longos e profissionais com uma estrutura hierárquica clara, e sua explicabilidade e auditabilidade também são significativamente melhores do que as soluções tradicionais.