Obsidian lançou Defuddle, elevando o Obsidian Web Clipper a um novo patamar

Eu sempre gostei muito da filosofia central do Obsidian: prioridade local, tudo é um arquivo, e são apenas arquivos de texto Markdown simples. Nesse modelo, as notas pertencem completamente a nós, podemos combinar livremente vários componentes ou plugins, personalizando operações e fluxos de trabalho de acordo com nossos hábitos. Além disso, o armazenamento, backup e sincronização das informações estão sob nosso controle.

Eu já apresentei o Web Clipper do Obsidian, um plugin de navegador para captura de páginas da web, que também adota a filosofia de "centro de arquivos" mencionada acima, transformando o conteúdo da página da web que estamos navegando em uma nota Markdown, armazenando-a no banco de dados do Obsidian, e ainda inclui metadados.

Recentemente, o Obsidian lançou um novo site, Defuddle.md. Defuddle é uma ferramenta muito poderosa no ecossistema de arquivos locais do Obsidian, em termos simples, é a versão web do Obsidian Web Clipper.

Se considerarmos o Obsidian como um sistema operacional para notas locais, já apresentamos o CLI (interface de linha de comando), e o Defuddle se assemelha mais a uma interface URL do Obsidian Web Clipper.

Portanto, antes de detalhar o Defuddle, vamos revisar rapidamente o Web Clipper.

Obsidian Web Clipper: página da web se torna Markdown

Quando se trata do Obsidian Web Clipper, pessoalmente, acho que o que mais o atrai é que ele já ultrapassou a funcionalidade tradicional de salvar e capturar páginas da web.

Ele não apenas captura a página da web, mas o mais impressionante é que ele suporta templates do Obsidian extremamente flexíveis. O Web Clipper pode extrair vários metadados da página da web (como autor, data de publicação, e até elementos específicos da página). O que me surpreendeu ainda mais é que agora ele também suporta operações lógicas como condições e loops. Isso significa que, na fase de coleta da página da web, já podemos organizar o conteúdo de acordo com nossas próprias regras, transformando-o diretamente em um arquivo Markdown local limpo e estruturado.

Claro, a desvantagem é que, se o usuário não gostar do template de organização padrão, precisará configurá-lo por conta própria, e esse processo pode ter algumas barreiras (na verdade, pode-se usar a IA para ajudar com isso).

Mas, de modo geral, o Obsidian Clipper se encaixa perfeitamente no ecossistema do Obsidian, permitindo que o conteúdo da web se integre de forma muito suave ao nosso repositório pessoal de conhecimento. Para os Power Users, também oferece espaço para personalização. Não subestime esses Power Users, muitos plugins do Obsidian foram criados pelos próprios usuários.

Defuddle.md: camada de extração focada na limpeza

A chegada do Defuddle me faz sentir que o Obsidian abriu separadamente a capacidade central de extração de páginas da web por trás do Web Clipper.

Se você é um coletor de informações em algum campo, pesquisador, analista de dados... e se você pode mexer um pouco, ou usar a IA (incluindo o recente sucesso do pequeno lagostim), então o Defuddle.md é definitivamente uma surpresa!

Dê ao Defuddle um link, e ele pode ajudá-lo a limpar anúncios, áreas de recomendação e outros elementos desordenados da página da web, tentando extrair o texto principal limpo e metadados estruturados. Ele funciona como um purificador especializado em transformar páginas da web complexas em texto Markdown padrão. Com isso, qualquer pessoa pode criar seu próprio Web Clipper, sem precisar estar vinculado ao Obsidian.

O Defuddle oferece várias maneiras de acesso.

• Usuários comuns, acessando pelo navegador, inserindo o URL da página da web que precisa ser convertida, visualizando o HTML ou Markdown limpo.
• Agentes de IA ou desenvolvedores, através da interface URL, obtendo resultados de limpeza e conversão.
• Usuários do Obsidian, usando diretamente o plugin Web Clipper (que é alimentado pelo Defuddle).

O que eu considero mais valioso é a "interface URL". Imagine que sou um pequeno lagostim, surdo e cego, coletar e acessar páginas da web de acordo com as solicitações do usuário é muito doloroso, com um navegador sem cabeça e bloqueios; mesmo que consiga acessar a página, há muitas impurezas e ruídos. Agora, tudo bem, basta chamar o Defuddle e tudo é resolvido.

Além disso, é muito importante que o Defuddle seja de código aberto. Podemos até implantá-lo localmente. Isso é muito Obsidian. Fazendo com que o aplicativo se torne um sistema que o usuário pode controlar, em vez de transformar o usuário em um vassalo do aplicativo.

Por fim

No mercado, na verdade, existem muitos plugins de captura, e muitos deles têm como objetivo prender o usuário a um aplicativo específico. Mas o Obsidian Web Clipper é diferente, porque a filosofia do Obsidian é Arquivo sobre Aplicativo. Agora, indo ainda mais longe, o Defuddle foi aberto, e todos podem usá-lo diretamente, e ainda é de código aberto. Portanto, é um pouco extravagante, e acaba não se adequando.

Se você está interessado nesse tipo de captura de páginas da web (como uma parte importante do PKM), anteriormente a Jina.ai também ofereceu uma API Reader paga (imagem abaixo). Jina é a escolha de muitos profissionais de IA, e agora parece que temos um concorrente gratuito e de código aberto. Claro, a Jina afirma que é um modelo de IA para limpeza de captura, e há algumas diferenças.

Para ser sincero, agora estou começando a me preocupar que o Defuddle possa ser mal utilizado (ou bloqueado).