Bij Liberogic werken we eraan om onze eigen website leesbaar te maken voor AI-agents en LLM's.
Niet alleen zoekmachines, maar ook LLM's zoals Claude, Gemini en ChatGPT, en AI-agents lezen tegenwoordig websites, ordenen informatie, vergelijken opties en doen onderzoek namens gebruikers. Dat is inmiddels gewoon geworden.
Op de website van Liberogic bereiden we ons voor op AI-lezers, met onder meer robots.txt, sitemap, Link headers, llms.txt en het automatisch genereren van Markdown-bestanden per artikel.
In dit artikel behandelen we "Is Your Site Agent-Ready?", die Cloudflare twee weken geleden heeft gepubliceerd.
Controleren als Content Site
De website van Liberogic is een corporate- en contentsite met bedrijfsinformatie, dienstenoverzichten, nieuws, columns en case studies. Het is geen webshop en ook geen API-applicatie met OAuth-authenticatie.
Daarom kiezen we bij de controle het sitetype "Content Site".
Commerce, API- en Auth/MCP-gerelateerde onderdelen vallen buiten de scope van deze beoordeling. We controleren vooral op de volgende punten.
- Discoverability
- Content Accessibility
- Bot Access Control
Het resultaat is […]… de score is 83 punten, Level 2 "Bot-Aware" 😭
Waarom is het geen 100 punten!!
Meteen testen / controleren
Bij deze controle scoorde Discoverability 100 punten en Bot Access Control eveneens 100 punten.
robots.txt, sitemap, Link headers, AI bot rules en Content Signals zijn correct ingericht, waardoor de basisroutes zijn geregeld waarmee AI-bots de site kunnen vinden en het toegangsbeleid kunnen begrijpen.
Simpel gezegd:
- Zorgen dat de site gevonden wordt
- Duidelijk maken waar de content staat
- Het toegangsbeleid voor bots aangeven
- Signalen voor AI geven
zijn de onderdelen die al zijn afgehandeld.
Aan de andere kant heeft het onderdeel Content Accessibility een score van 0 gekregen (TT)
Als je alleen naar dit onderdeel kijkt, zou je denken: "Wacht, kan de content niet gelezen worden?" In werkelijkheid is het iets anders.
De Markdown-content zelf is al beschikbaar
De website van Liberogic genereert al voor een deel van de artikelen en case studies Markdown-bestanden die AI gemakkelijk kan lezen.
Zowel de artikelen als de case studies hebben correct Markdown-bestanden, in de head van elke pagina staat een link-tag naar de Markdown-versie van de content, en er is een duidelijke route waarmee echte AI-agents de Markdown-bestanden kunnen vinden.
Er is dus geen sprake van een gebrek aan Markdown-ondersteuning. Omdat de inhoud op een manier wordt aangeboden die LLM's goed kunnen lezen, is de site niet "nog niet klaar om door AI gelezen te worden".
Waarom haalt het dan geen 100 punten? 👺
De reden dat het nu geen 100 punten is, is niet dat de site niets heeft gedaan. Het komt door de combinatie van de huidige implementatiestructuur en de manier waarop de controletool de resultaten beoordeelt.
De website van Liberogic is gebouwd met Astro met SSG, en gebruikt SSR op de previewpagina's, dus het is een hybride opzet.
Het is gebruikelijk om Markdown negotiation af te handelen via middleware, maar omdat we een hybride opzet gebruiken, maken we gebruik van de Cloudflare-adapter. De output daarvan, _worker.js, heeft voorrang. Daardoor wordt de middleware niet geladen, waardoor de controletool Markdown negotiation niet herkent.
In werkelijkheid zijn de Markdown-bestanden aanwezig en zijn ze bereikbaar via een link-tag in de head. Toch oordeelde de controletool dat "Markdown negotiation niet kon worden bevestigd".
Verdorie! Wat een halfslachtig stuk werk!
...Die kreet ligt op het puntje van mijn tong, maar we maken dagelijks gebruik van Cloudflare en zijn daar uiteraard erg blij mee.
Bedankt ook voor de goedkeuring van onze partnercertificering.
Maar als iemand die altijd heeft gestreefd naar een score van 100 in Lighthouse, is dit toch wel een teleurstelling.
Een score van 100 is haalbaar! Maar we willen de operationele efficiëntie niet opofferen en geen extra kosten maken alleen voor een score.
Er zijn verschillende manieren om dit aan te pakken.
- Een afzonderlijke Cloudflare Worker opzetten die de Markdown-respons verwerkt
- De previewpagina's omzetten naar CSR en de opzet naar een volledige SSG-configuratie brengen
- Schakel over naar het Business-abonnement van Cloudflare en herschrijf URL's met Transform Rules
zijn de voornaamste opties.
Dat klopt. Door een stap hoger te gaan met het Cloudflare-abonnement is het mogelijk om de score in de controletool dichter bij 100 te brengen.
Maar het is op dit moment een lastige afweging of je daar alleen voor extra kosten wilt maken!
Het doel is niet om de controletool een perfecte score te laten geven, maar om ervoor te zorgen dat AI-agents en LLM's de informatie op de Liberogic-website goed kunnen lezen. Vanuit het oogpunt van hoe een LLM content leest, zijn we van mening dat we de benodigde maatregelen grotendeels al hebben getroffen.
Zorgen dat de content goed wordt gelezen, is belangrijker dan extra kosten maken om een perfecte score te halen.
Zorgen dat het goed beheerd en onderhouden kan worden.
Bij Liberogic vinden we dat evenwicht belangrijk.
Vergeet ook llms.txt niet!
Hoewel dit niet werd meegenomen in de huidige controlepunten, ondersteunt Liberogic wel /llms.txt.
llms.txt is een bestand dat werkt als een inhoudsopgave voor LLM's. Het vertelt hen welke informatie de site bevat en welke pagina's het beste gelezen kunnen worden.
Dit is vergelijkbaar met een sitemap.xml voor zoekmachines, maar het heeft als doel om LLM's beter te helpen, door een overzicht van de site en de belangrijkste content en links te bieden.
Dit staat niet in de controlepunten van de checktool, maar Cloudflare hecht veel waarde aan datakwaliteit, dat wil zeggen hoe schoon de hoofdtekst kan worden opgehaald (of deze in Markdown beschikbaar is). Misschien is het daarom bewust weggelaten.
Is het voldoende om gewoon de HTML te laten lezen?
Wanneer een AI-agent een website moet lezen, kan deze uiteraard ook de HTML rechtstreeks laten analyseren.
Echte webpagina's bevatten echter veel informatie die niet tot de hoofdtekst behoort, zoals navigatie, koptekst, voettekst, decoratieve elementen en JavaScript-besturing. Ook pagina's die er natuurlijk uitzien, bevatten voor LLM's vaak veel ruis.
Als complexe HTML geforceerd naar Markdown wordt omgezet, kunnen de koppenstructuur, lijsten en de bedoelde opmaak verloren gaan, waardoor de data ook voor een LLM moeilijk leesbaar kan worden.
Terwijl we dit zeggen, zal het ook snel verbeteren met de vooruitgang van AI, maar ik vind het belangrijk om nu stap voor stap te doen wat nodig is. Hoe ver is jullie site al met deze ondersteuning?
Hoewel hij directeur is, werkt hij altijd als gesprekspartner van de klant. Hij raakt enthousiast van het begrijpen van nieuwe technologieën en van het moment dat iets handiger wordt, en duikt daar volledig in. Een echte praktijkmens die van de werkvloer houdt. Hij blijft ook op latere leeftijd graag nieuwe ervaringen opdoen en kijkt uit naar toekomstige technologieën.
Tadanori Morimoto
Projectmanager / Director / Opgericht in 2007