Bei Liberogic arbeiten wir daran, unsere eigene Website so zu strukturieren, dass sie auch für KI-Agenten und LLMs gut lesbar ist.
Inzwischen ist es selbstverständlich, dass Suchmaschinen, aber auch LLMs und KI-Agenten wie Claude, Gemini oder ChatGPT Websites auslesen, Informationen ordnen und vergleichen oder im Auftrag der Nutzer recherchieren.
Auf der Website von Liberogic bereiten wir uns darauf vor, von KI gelesen zu werden, unter anderem mit robots.txt, sitemap, Link headers, llms.txt und der Generierung einer Markdown-Datei für jeden Artikel.
In diesem Artikel geht es um „Is Your Site Agent-Ready?“, eine Veröffentlichung von Cloudflare von vor zwei Wochen.
Prüfung als Content Site
Die Website von Liberogic ist eine Unternehmenswebsite und Content-Seite mit Firmeninformationen, Leistungsbeschreibungen, Neuigkeiten, Kolumnen und Fallstudien. Sie ist kein Onlineshop und auch keine API-Anwendung mit OAuth-Authentifizierung.
Daher wählen wir bei der Prüfung als Websitetyp „Content Site“ aus.
Commerce-, API- sowie Auth-/MCP-bezogene Punkte sind nicht Teil dieser Bewertung. Geprüft werden hauptsächlich die folgenden Aspekte.
- Discoverability
- Content Accessibility
- Bot Access Control
Das Ergebnis ... Die Bewertung lautet 83 Punkte, Level 2 „Bot-Aware“ 😭
Warum nicht 100 Punkte?!
Jetzt prüfen / bestätigen
Bei dieser Prüfung erreichte Discoverability 100 Punkte, und auch Bot Access Control erzielte 100 Punkte.
Punkte wie robots.txt, sitemap, Link headers, AI bot rules und Content Signals sind umgesetzt. Damit sind die grundlegenden Wege geschaffen, über die KI-Bots die Website finden und deren Zugriffsrichtlinien verstehen können.
Vereinfacht gesagt:
- Die Website bekannt machen
- Mitteilen, wo Inhalte zu finden sind
- Bots klar mitteilen, welche Zugriffsrichtlinien gelten
- Signale für KI-Systeme setzen
sind bereits umgesetzt.
Der Punkt Content Accessibility hingegen wurde mit 0 Punkten bewertet (TT).
Auf den ersten Blick könnte man meinen: „Moment, sind die Inhalte etwa nicht lesbar?“ Tatsächlich verhält es sich jedoch etwas anders.
Die Inhalte in Markdown sind bereits vorhanden.
Auf der Website von Liberogic werden Artikel und Case Studies bereits zu einem großen Teil als Markdown-Dateien bereitgestellt, die für KI-Systeme gut lesbar sind.
Sowohl Artikel als auch Case Studies verfügen über eigene Markdown-Dateien. Im head jeder Seite ist zudem ein Link-Tag zur Markdown-Version des Inhalts hinterlegt, sodass KI-Agenten die Markdown-Dateien tatsächlich finden können.
Markdown wird also nicht schlicht nicht unterstützt. Der Inhalt ist so aufbereitet, dass LLMs den Text in einer gut verarbeitbaren Form abrufen können. Die Seite ist daher keineswegs „nicht bereit für KI“.
Warum es trotzdem nicht zu 100 Punkten reicht 👺
Dass die Bewertung nicht 100 Punkte erreicht, liegt nicht daran, dass auf der Website nichts getan wurde. Ursache ist vielmehr das Zusammenspiel aus der aktuellen Implementierung und den Bewertungskriterien des Prüfwerkzeugs.
Die Website von Liberogic wird mit Astro als SSG umgesetzt, wobei die Vorschauseiten SSR nutzen, sodass sich ein hybrider Ansatz ergibt.
Die Verarbeitung der Markdown-Negotiation erfolgt üblicherweise über Middleware. Da wir für unsere hybride Konfiguration jedoch den Cloudflare-Adapter verwenden, hat dessen Ausgabe, die _worker.js, Vorrang. Dadurch wird die Middleware nicht geladen, und das Prüfwerkzeug zeigt die Markdown-Negotiation nicht an.
Tatsächlich sind die Markdown-Dateien vorhanden und über den link-Tag im head erreichbar. Das Prüfwerkzeug stufte die Seite jedoch so ein, dass "Markdown-Negotiation nicht nachweisbar" sei.
Verdammt! Da hat man halbherzige Arbeit abgeliefert!
Man möchte am liebsten sagen ... aber wir sind Cloudflare natürlich täglich dankbar.
Vielen Dank auch für die Bestätigung unserer Partnerzertifizierung.
Da wir jedoch bisher stets auf 100 Punkte in Lighthouse geachtet haben, ist das hier schon ein wenig ärgerlich.
100 Punkte sind machbar! Wir wollen aber weder die Betriebseffizienz nur für einen Punktewert senken noch zusätzliche Kosten verursachen.
Für die Lösung kommen mehrere Ansätze infrage.
- Separate Cloudflare Workers bereitstellen, die die Markdown-Auslieferung übernehmen
- Vorschauseite auf CSR umstellen und sich einer vollständigen SSG-Konfiguration annähern
- Den Cloudflare-Dienstplan auf Business-Plan umstellen und die URLs mit Transform Rules umschreiben
und Ähnliches.
Richtig, mit einer höheren Cloudflare-Stufe lässt sich das Ergebnis im Prüftool tatsächlich deutlich in Richtung 100 Punkte verschieben.
Ob es sich derzeit lohnt, dafür allein zusätzliche Kosten zu tragen, ist allerdings eine fragwürdige Entscheidung, finden Sie nicht?
Entscheidend ist nicht, im Prüftool die volle Punktzahl zu erreichen, sondern dass KI-Agenten und LLMs die Informationen auf der Liberogic-Website korrekt erfassen können. Aus Sicht der Inhaltsverarbeitung durch LLMs sind die erforderlichen Maßnahmen bei uns nach unserer Einschätzung schon weitgehend umgesetzt.
Dass Inhalte zuverlässig gelesen werden, ist wichtiger, als die Kosten für 100 Punkte zu erhöhen.
Dass sich das Ganze auch dauerhaft betreiben lässt.
Bei Liberogic legen wir Wert auf genau dieses Gleichgewicht.
Vergessen Sie llms.txt nicht!
Obwohl llms.txt nicht Teil der aktuellen Prüfpunkte ist, unterstützt Liberogic /llms.txt.
llms.txt ist eine Art Inhaltsverzeichnis für LLMs, das ihnen mitteilt, welche Informationen auf der Website vorhanden sind und welche Seiten sie lesen sollten.
Ähnlich wie eine sitemap.xml für Suchmaschinen, erfüllt sie hier jedoch eine andere Aufgabe: Sie ordnet die Übersicht einer Website und die wichtigsten Inhalte so, dass sie für LLMs leichter zugänglich sind.
Dieser Punkt ist in den Prüfkriterien des Tools nicht enthalten. Cloudflare legt jedoch großen Wert auf die Datenqualität, also darauf, wie sauber sich der eigentliche Inhalt (Fließtext) extrahieren lässt, etwa in Form von Markdown. Vielleicht wurde er deshalb bewusst ausgelassen.
Reicht es nicht, einfach das HTML zu übergeben?
Wenn ein KI-Agent eine Website auslesen soll, kann er selbstverständlich auch den HTML-Code direkt analysieren.
Echte Webseiten enthalten jedoch viele Informationen, die nicht zum eigentlichen Inhalt gehören, etwa Navigation, Kopf- und Fußbereiche, dekorative Elemente oder JavaScript-Steuerungen. Selbst Seiten, die für Menschen sauber aussehen, erzeugen für LLMs daher oft viel Rauschen.
Wird komplexes HTML zwangsweise in Markdown umgewandelt, können Überschriftenstruktur, Listen und die beabsichtigte Gestaltung verloren gehen. Das Ergebnis kann für LLMs dann schwer lesbare Daten sein.
Während wir darüber sprechen, wird sich dieser Bereich mit der Weiterentwicklung der KI sicher ebenfalls verbessern. Wichtig ist aus unserer Sicht jedoch, jetzt Schritt für Schritt das umzusetzen, was heute nötig ist. Wie weit ist Ihre Website in dieser Hinsicht eigentlich schon?
Als Geschäftsführer immer auf Augenhöhe mit unseren Partnern. Ich verstehe neue Technologien und freue mich, wenn etwas den Alltag einfacher macht. Ich liebe die Arbeit vor Ort und tauche gern tief in Themen ein. Die Zukunftstechnologien begeistern mich, und egal wie alt man wird, möchte ich immer Neues erleben.
Tadanori Morimoto
Projektmanager / Regisseur / Gegründet 2007