Bij Liberogic werken we eraan om onze eigen website zodanig in te richten dat AI-agenten en LLM's deze makkelijk kunnen lezen.
Niet alleen zoekmachines, maar ook LLM's zoals Claude, Gemini en ChatGPT en AI-agenten lezen steeds vaker webpagina's uit, organiseren informatie, vergelijken deze en voeren onderzoeken namens gebruikers uit.
Liberogic bereidt ook zijn website voor op AI-lezen met robots.txt, sitemap, Link headers, llms.txt en het genereren van Markdown-bestanden per artikel.
Dit keer maken we een artikel over "Is Your Site Agent-Ready?" dat Cloudflare twee weken geleden publiceerde.
Controleren als Content Site
De website van Liberogic is een bedrijfssite en contentsite met bedrijfsinformatie, serviceintroducties, nieuws, columns en casestudies. Het is geen e-commerce site en geen API-applicatie met OAuth-authenticatie.
Daarom selecteren we bij controle het sitetype "Content Site".
Commerce, API / Auth / MCP-gerelateerde items worden deze keer niet geëvalueerd en we controleren vooral op de volgende punten.
- Discoverability
- Content Accessibility
- Bot Access Control
Als resultaat……..was de score 83 punten, Level 2 "Bot-Aware" 😭
Waarom niet 100 punten!!
Laten we direct verifiëren / controleren
In deze controle scoorden Discoverability en Bot Access Control beide 100 punten.
Items zoals robots.txt, sitemap, Link headers, AI bot rules en Content Signals zijn geconfigureerd, en de basis navigatie voor AI bots om de site te ontdekken en het toegangsbeleid te begrijpen is ingericht.
Kort gezegd:
- Zorg dat je website wordt gevonden
- Communiceer waar de inhoud zich bevindt
- Presenteer je toegangsbeleid voor bots
- Signalen voor AI uitzenden
en dergelijke onderdelen zijn al afgehandeld.
Aan de andere kant scoorde het onderdeel Content Accessibility 0 punten (TT)
Als je alleen naar dit gedeelte kijkt, lijkt het erop dat "de inhoud kan niet worden gelezen?", maar in werkelijkheid is het iets anders.
De Markdown-inhoud zelf is al voorbereid
Op de website van Liberogic genereren we al voor een bepaald deel Markdown-bestanden die voor AI gemakkelijk leesbaar zijn voor artikelinhoud en casestudies.
Zowel artikelen als casestudies hebben Markdown-bestanden, en in de head van elke pagina hebben we ook linktags ingesteld naar de Markdown-versie van de inhoud, en we hebben ook de link ingericht zodat daadwerkelijke AI-agenten de Markdown-bestanden kunnen bereiken.
Het is niet zo dat Markdown niet wordt ondersteund; omdat we de body-tekst in een vorm beschikbaar stellen die gemakkelijk voor LLM's te lezen is, bevinden we ons niet in een staat van "niet gereed voor AI om te lezen".
Dus waarom wordt het geen 100 punten? 👺
De reden waarom we deze keer geen 100 punten halen, is niet dat de site niets doet, maar dat het te wijten is aan de compatibiliteit tussen de huidige implementatiestructuur en de beoordelingspecificaties van het checktool.
De website van Liberogic is geïmplementeerd met Astro SSG en is hybride met SSR op de preview-pagina's.
Markdown-negotiatie wordt normaliter in middleware verwerkt, maar omdat we een hybride configuratie gebruiken met de Cloudflare-adapter, heeft de gegenereerde _worker.js voorrang. Dit betekent dat de middleware niet wordt geladen, en aan de kant van het checktool wordt Markdown-negotiatie niet gereflecteerd.
In werkelijkheid zijn er Markdown-bestanden aanwezig en zijn deze ook bereikbaar via de linktag in de head, maar het checktool beoordeelt dit als 'Markdown-negotiatie kan niet worden bevestigd!'
Verdraaid! Halfwerk afleveren!
...zo'n sentiment zou je kunnen hebben, maar natuurlijk vertrouwen we dagelijks op Cloudflare.
Dank voor de goedkeuring van onze partneraccreditatie.
Maar omdat ik altijd naar 100 punten op Lighthouse ben gericht, is dit toch jammer.
Het is mogelijk om 100 punten te halen! Maar ik wil de operationele efficiëntie niet alleen voor punten verminderen en geen extra kosten maken.
Er zijn verschillende manieren om dit aan te pakken.
- Een afzonderlijke Cloudflare Workers-instantie opzetten om Markdown-retournering te verwerken.
- De voorbeeldpagina's naar CSR converteren en naar een volledig SSG-ontwerp gaan.
- Pas het serviceplan van Cloudflare aan naar het Business-plan en herschrijf URL's met Transform Rules
Dit is zo'n aanpak.
Inderdaad, als we het Cloudflare-serviceplan een stap verhogen, is het mogelijk om de score in het checktool dicht bij 100 punten te brengen.
Maar op dit moment is het moeilijk om te rechtvaardigen dat je extra kosten betaalt alleen daarvoor!
Het doel is niet om in het checktool volledige punten te behalen, maar om ervoor te zorgen dat AI-agenten en LLM's de informatie op de website van Liberogic correct kunnen lezen. Vanuit het perspectief van hoe LLM's content verwerken, geloven we dat we al behoorlijk ver zijn met de noodzakelijke maatregelen.
Het gaat meer om juist leesbaar te zijn dan om kosten te verhogen alleen voor een perfect scorekaart.
Het gaat erom dat we het goed kunnen beheren en onderhouden.
Bij Liberogic willen we deze balans graag behouden.
Vergeet llms.txt niet!
Dit controlepunt was niet in deze checklist opgenomen, maar Liberogic heeft ondersteuning geïmplementeerd voor /llms.txt.
llms.txt is een soort inhoudsopgave-bestand dat LLM's vertelt welke informatie op de site beschikbaar is en welke pagina's je moet raadplegen.
Het is een concept vergelijkbaar met sitemap.xml voor zoekmachines, maar het dient vooral om de structuur van uw site en de navigatie naar belangrijke content voor LLM's duidelijker in te richten.
Dit item staat niet in de checklist van het kontroleprogramma, maar omdat Cloudflare veel waarde hecht aan datakwaliteit — met name hoe goed de inhoud (broodtekst) zonder ruis kan worden opgehaald (in Markdown-formaat) — hebben zij het mogelijk opzettelijk niet opgenomen.
Kan ik niet gewoon HTML rechtstreeks inlezen?
Wanneer u een AI-agent een website laat lezen, kunt u natuurlijk de HTML direct laten analyseren.
Echter bevat een werkelijke webpagina veel informatie buiten de broodtekst — navigatie, koppelingen, voetteksten, decoratieve elementen, JavaScript-besturing — en hoewel de pagina voor mensen natuurlijk oogt, bevat het voor LLM's vaak veel ruis.
Wanneer u complexe HTML geforceerd naar Markdown converteert, kunnen de koptypen, lijsten en expressie-intenties beschadigd raken, wat resulteert in moeilijker leesbare data voor LLM's.
Deze zaken zullen waarschijnlijk snel verbeteren naarmate AI evolueert, maar wij geloven dat het belangrijk is om nu stap voor stap te handelen. Hoe ver staat uw site al klaar?
CEO en tegelijkertijd altijd medewerker. Iemand die graag nieuwe technologieën begrijpt, zich verheugt in momenten waarop dingen handiger worden, en zich volledig in het praktijkwerk kan verdiepen. Enthousiast over toekomstige technologie en voortdurend op zoek naar nieuwe ervaringen, ongeacht de leeftijd.
Morimoto
Projectmanager / Director / Oprichter in 2007