Obsidian heeft Defuddle gelanceerd, waardoor Obsidian Web Clipper naar een nieuw niveau is getild

Ik ben altijd al een grote fan geweest van de kernfilosofie van Obsidian: lokaal eerst, alles is een bestand, en het zijn gewoon eenvoudige Markdown-tekstbestanden. In dit model behoren notities volledig tot onszelf, kunnen we vrij verschillende componenten of plugins combineren en onze werkwijze en workflow aanpassen aan onze eigen gewoonten. Bovendien zijn de opslag, back-up en synchronisatie van informatie allemaal onder onze eigen controle.

Eerder heb ik de door Obsidian zelf gelanceerde Web Clipper geïntroduceerd, een browserplugin voor het opslaan van webpagina's, die ook de bovengenoemde "bestandscentrale"-filosofie volgt, en de inhoud van de webpagina die we bekijken omzet in een Markdown-notitie, opgeslagen in de Obsidian-database, inclusief metadata.

Onlangs heeft Obsidian een nieuwe website gelanceerd, Defuddle.md. Defuddle is een zeer krachtig hulpmiddel in het lokale bestandsecosysteem van Obsidian, eenvoudig gezegd, het is de webversie van Obsidian Web Clipper.

Als we Obsidian beschouwen als een lokaal notitiesysteem, hebben we eerder de CLI (command line interface) besproken; Defuddle lijkt meer op een URL-interface van Obsidian Web Clipper.

Dus voordat we dieper ingaan op Defuddle, laten we snel de Web Clipper herzien.

Obsidian Web Clipper: webpagina's worden Markdown

Als we het hebben over Obsidian Web Clipper, vind ik persoonlijk dat het meest aantrekkelijke aspect is dat het al lang de traditionele functies voor het opslaan en vastleggen van webpagina's is ontgroeid.

Het is niet alleen een kwestie van het vastleggen van webpagina's; nog indrukwekkender is dat het uiterst flexibele Obsidian-sjablonen ondersteunt. Web Clipper kan verschillende metadata uit de webpagina extraheren (zoals auteur, publicatiedatum, en zelfs specifieke pagina-elementen). Wat me nog meer verraste, is dat het nu ook voorwaardelijke logica en lussen ondersteunt. Dit betekent dat we tijdens het verzamelen van webinhoud de inhoud al volgens onze eigen regels kunnen organiseren, waardoor het direct wordt omgezet in schone, gestructureerde lokale Markdown-bestanden.

Natuurlijk is er een nadeel: als gebruikers de standaardorganisatiesjablonen niet leuk vinden, moeten ze zelf configureren, wat enige drempel kan hebben (eigenlijk kan AI hierbij helpen).

Maar over het algemeen past Obsidian Clipper perfect in het ecosysteem van Obsidian, waardoor webinhoud zeer soepel in onze persoonlijke kennisbank kan worden geïntegreerd. Voor Power Users biedt het ook ruimte om zelf aan de slag te gaan. Deze Power Users moeten niet worden onderschat; veel Obsidian-plugins zijn door gebruikers zelf ontwikkeld.

Defuddle.md: een extractielaag gericht op opschonen

De komst van Defuddle laat me denken dat Obsidian de meest essentiële webextractiecapaciteit achter Web Clipper afzonderlijk heeft vrijgegeven.

Als je een verzamelaar van informatie bent in een bepaald domein, een onderzoeker, een data-analist... en je kunt zelf een beetje knutselen, of met behulp van AI (inclusief de recent populaire kleine kreeft) een beetje knutselen, dan is Defuddle.md absoluut een verrassing!

Geef Defuddle een link, en het kan je helpen om advertenties, aanbevelingsgebieden en andere rommel op de webpagina te verwijderen, en zo schoon mogelijke hoofdinhoud en gestructureerde metadata te extraheren. Het is als een zuiveraar die verantwoordelijk is voor het omzetten van complexe webpagina's in standaard Markdown-tekst. Met dit kan iedereen zijn eigen Web Clipper maken, zonder dat het aan Obsidian hoeft te zijn gekoppeld.

Defuddle biedt verschillende toegangsmethoden.

• Gewone gebruikers kunnen via de browser toegang krijgen, de URL van de webpagina invoeren die ze willen converteren, en de opgeschoonde HTML of Markdown bekijken.
• AI-agenten of ontwikkelaars kunnen via de URL-interface de opgeschoonde conversieresultaten verkrijgen.
• Obsidian-gebruikers kunnen eenvoudig de Web Clipper-plugin gebruiken (die achter de schermen Defuddle is).

Het meest waardevolle aspect is, denk ik, de "URL-interface". Stel je voor dat ik een kleine kreeft ben, zowel doof als blind, en het is erg pijnlijk om webpagina's te verzamelen volgens de eisen van de gebruiker, met een headless browser en geblokkeerd; zelfs als ik de webpagina krijg, is er veel rommel en ruis. Nu is het goed, gewoon Defuddle aanroepen en alles is opgelost.

En heel belangrijk is dat Defuddle open source is. We kunnen het zelfs lokaal implementeren. Dit is heel Obsidian. Het maakt de app tot een systeem dat de gebruiker zelf kan beheersen, in plaats van de gebruiker tot een ondergeschikte van de app te maken.

Tot slot

Er zijn veel plugins voor het opslaan van webinhoud op de markt, waarvan er veel zijn ontworpen om gebruikers aan een specifieke app te binden. Obsidian Web Clipper is echter anders, omdat de filosofie van Obsidian is: File Over App. Nu, verdergaand, is Defuddle vrijgegeven, zodat iedereen het direct kan gebruiken, en het is ook open source. Dus het is eigenlijk te genereus, en dat voelt niet meer passend aan.

Als je geïnteresseerd bent in dit soort webextractie (een belangrijk onderdeel van PKM), heeft Jina.ai eerder ook een betaalde Reader API aangeboden (zie afbeelding hieronder). Jina is de favoriete keuze van veel AI-professionals, en nu lijkt het alsof er een gratis open source concurrent is. Natuurlijk beweert Jina dat het AI-modellen gebruikt voor het opschonen van extracties, wat nog steeds iets anders is.

Eerlijk gezegd begin ik me nu zorgen te maken dat Defuddle door mensen misbruikt zal worden (of geblokkeerd zal worden).