Obsidian lançou Defuddle, elevando o Obsidian Web Clipper a um novo patamar

Eu sempre gostei muito da filosofia central do Obsidian: priorização local, tudo é um arquivo, e são arquivos de texto Markdown simples. Nesse modelo, as notas pertencem completamente a nós, podemos combinar livremente vários componentes ou plugins, personalizando operações e fluxos de trabalho de acordo com nossos hábitos. Além disso, a preservação, backup e sincronização das informações estão sob nosso controle.

Eu já apresentei anteriormente o Web Clipper lançado pelo Obsidian, um plugin de navegador para captura de páginas da web, que também adota a filosofia de "centro de arquivos" mencionada acima, transformando o conteúdo da página que estamos visualizando em uma nota Markdown, armazenada no banco de dados do Obsidian, e ainda inclui metadados.

Recentemente, o Obsidian lançou um novo site, Defuddle.md, que é uma ferramenta muito poderosa dentro do ecossistema de arquivos locais do Obsidian. Em termos simples, é a versão web do Obsidian Web Clipper.

Se considerarmos o Obsidian como um sistema operacional para notas locais, já apresentamos o CLI (interface de linha de comando), e o Defuddle se assemelha mais a uma interface URL do Obsidian Web Clipper.

Portanto, antes de detalhar o Defuddle, vamos rapidamente revisar o Web Clipper.

Obsidian Web Clipper: páginas da web se tornam Markdown

Ao falar sobre o Obsidian Web Clipper, pessoalmente, acho que o que mais atrai é que ele já superou as funções tradicionais de salvamento e captura de páginas da web.

Ele não apenas captura a página da web, mas o mais impressionante é que ele suporta templates do Obsidian extremamente flexíveis. O Web Clipper pode extrair vários metadados da página da web (como autor, data de publicação e até elementos de página específicos). O que me surpreendeu ainda mais é que agora ele também suporta operações lógicas como condicionais e loops. Isso significa que, na fase de coleta da página da web, podemos organizar o conteúdo de acordo com nossas próprias regras, transformando-o diretamente em um arquivo Markdown local limpo e estruturado.

Claro, a desvantagem é que, se o usuário não gostar do template de organização padrão, precisará configurá-lo por conta própria, e esse processo pode ter algumas barreiras (na verdade, pode-se usar a IA para ajudar).

Mas, de modo geral, o Obsidian Clipper se encaixa perfeitamente no ecossistema do Obsidian, permitindo que o conteúdo da web se integre de forma muito suave ao nosso repositório pessoal de conhecimento. Para usuários avançados, também oferece espaço para personalização. Não subestime esses usuários avançados; muitos plugins do Obsidian foram criados por eles mesmos.

Defuddle.md: camada de extração focada na limpeza

A chegada do Defuddle me faz sentir que o Obsidian separou a capacidade central de extração de páginas da web do Web Clipper.

Se você é um coletor de informações em um determinado campo, pesquisador, analista de dados... e se você pode fazer algumas personalizações ou usar IA (incluindo o recente sucesso do "peixe de água doce"), então o Defuddle.md é definitivamente uma surpresa!

Dê ao Defuddle um link, e ele pode ajudá-lo a limpar anúncios, áreas de recomendação e outros elementos desordenados da página da web, extraindo o texto principal e metadados estruturados de forma limpa. Ele funciona como um purificador especializado em transformar páginas da web complexas em texto Markdown padrão. Com isso, qualquer pessoa pode criar seu próprio Web Clipper, sem precisar estar vinculado ao Obsidian.

O Defuddle oferece várias maneiras de acesso.

• Usuários comuns, acessando pelo navegador, inserindo o URL da página que deseja converter, visualizando o HTML ou Markdown limpo.
• Agentes de IA ou desenvolvedores, acessando através da interface URL para obter resultados de conversão limpa.
• Usuários do Obsidian, usando diretamente o plugin Web Clipper (que é alimentado pelo Defuddle).

O que eu considero mais valioso é a "interface URL". Imagine que sou um "peixe de água doce", surdo e cego, coletar e acessar páginas da web de acordo com as solicitações dos usuários é muito doloroso, com navegadores sem cabeça e bloqueios; mesmo que consiga acessar a página, há muitos ruídos e impurezas. Agora, tudo fica mais fácil, basta chamar o Defuddle e tudo se resolve.

Além disso, é muito importante que o Defuddle seja de código aberto. Podemos até implantá-lo localmente. Isso é muito Obsidian. Fazendo com que o aplicativo se torne um sistema que o usuário pode controlar, em vez de transformar o usuário em um vassalo do aplicativo.

Por fim

No mercado, existem muitos plugins de captura, muitos dos quais têm como objetivo prender o usuário a um aplicativo específico. O Obsidian Web Clipper é diferente, pois a filosofia do Obsidian é "Arquivo sobre Aplicativo". Agora, com o Defuddle sendo aberto, todos podem usá-lo diretamente, e ainda é de código aberto. Portanto, é um pouco extravagante, o que pode não se adaptar.

Se você estiver interessado nesse tipo de captura de páginas da web (como uma parte importante do PKM), anteriormente a Jina.ai também ofereceu uma API Reader paga (veja a imagem abaixo). A Jina é a escolha de muitos profissionais de IA, e agora parece que tem um concorrente gratuito e de código aberto. Claro, a Jina afirma que é um modelo de IA para limpeza de captura, o que é um pouco diferente.

Para ser honesto, agora estou começando a me preocupar que o Defuddle possa ser mal utilizado (ou bloqueado).