Agent Ready : nous avons obtenu 83 points (T_T), mais nous progressons bien pour rendre notre site lisible par l'IA !

Chez Liberogic, nous travaillons à rendre notre site web mieux lisible par les agents IA et les LLM.

Il ne s'agit plus seulement des moteurs de recherche : les LLM comme Claude, Gemini ou ChatGPT, ainsi que les agents IA, lisent désormais les sites web, en organisent le contenu, comparent les informations et effectuent des recherches à la place des utilisateurs, et cela est devenu tout à fait courant.

Sur le site de Liberogic, nous préparons la lecture par les IA à l'aide de robots.txt, d'un sitemap, d'en-têtes Link, d'un fichier llms.txt et de la génération de fichiers Markdown pour chaque article.

Cette fois, nous allons consacrer un article à « Is Your Site Agent-Ready? », publié par Cloudflare la semaine dernière.

Vérifier en tant que site de contenu

Le site de Liberogic est un site institutionnel et de contenu qui présente des informations sur l'entreprise, nos services, des actualités, des chroniques et des études de cas. Ce n'est pas un site e-commerce, ni une application API nécessitant une authentification OAuth.

Lors de la vérification, sélectionnez donc le type de site « Content Site ».

Les éléments liés au commerce, à l'API, à l'authentification (Auth) et à MCP n'entrent pas dans le périmètre de cette évaluation. Nous avons principalement vérifié les points suivants.

Discoverability
Content Accessibility
Bot Access Control

Le résultat est le suivant... Le score atteint 83 points, niveau 2 « Bot-Aware » 😭

Pourquoi pas 100 points ?!

Vérifier tout de suite / Contrôler

Lors de cette vérification, Discoverability a obtenu 100 points et Bot Access Control également 100 points.

Les éléments robots.txt, sitemap, Link headers, AI bot rules et Content Signals sont en place, ce qui permet de mettre en œuvre les bases pour que les bots d'IA découvrent le site et comprennent la politique d'accès.

En résumé,

faire découvrir l'existence du site
indiquer où se trouve le contenu
définir la politique d'accès des bots
Émettre des signaux destinés à l'IA

Ces points sont donc considérés comme pris en charge.

En revanche, le critère Content Accessibility a obtenu 0 point (TT).

À première vue, on pourrait se dire : « Quoi, le contenu n'est pas lisible ? » En réalité, la situation est un peu différente.

Les contenus Markdown sont déjà disponibles

Le site de Liberogic génère déjà, pour une partie de ses contenus, des fichiers Markdown faciles à lire pour les IA, qu'il s'agisse d'articles ou d'études de cas.
Les articles comme les études de cas disposent bien de fichiers Markdown, une balise link vers la version Markdown est définie dans le head de chaque page, et un chemin permet aux agents IA d'accéder directement à ces fichiers.

Le site ne fait pas l'impasse sur Markdown : le texte est fourni sous une forme que les LLM peuvent facilement exploiter. Il n'est donc pas vrai que « le site n'est pas prêt à être lu par une IA ».

Alors, pourquoi n'obtient-on pas 100 points ? 👺

Si le score n'atteint pas 100, ce n'est pas parce que le site n'a rien fait, mais à cause de l'écart entre l'architecture actuelle de l'implémentation et les règles d'évaluation de l'outil de vérification.

Le site de Liberogic est implémenté avec la génération statique (SSG) d'Astro, avec une prévisualisation en SSR, ce qui en fait une architecture hybride.

Le traitement de la négociation Markdown se fait généralement au niveau du middleware. Cependant, comme nous utilisons l'adaptateur Cloudflare pour une configuration hybride, c'est le fichier _worker.js généré par celui-ci qui est prioritaire. Par conséquent, le middleware n'est pas chargé, et l'outil de vérification ne détecte pas la négociation Markdown.

En réalité, les fichiers Markdown existent et sont accessibles via une balise link dans le head. Pourtant, l'outil de vérification a conclu que « la négociation Markdown n'a pas pu être confirmée ! », ce qui était la situation.

Zut ! Quel travail bâclé !

... On a bien envie de dire cela, mais bien sûr, nous sommes reconnaissants envers Cloudflare au quotidien.

Nous vous remercions également pour l'approbation de notre certification partenaire.

Cependant, en tant que personne ayant toujours visé le score de 100 sur Lighthouse, c'est un peu frustrant.

Atteindre 100 est possible ! Mais nous ne voulons pas sacrifier l'efficacité opérationnelle juste pour un score, ni engager des coûts supplémentaires.

Plusieurs approches peuvent être envisagées.

Déployer séparément des Cloudflare Workers pour gérer la réponse Markdown
Passer les pages de prévisualisation en CSR pour se rapprocher d'une configuration SSG complète
Passer au forfait Business de Cloudflare et réécrire les URL avec Transform Rules

sont des méthodes possibles.

C'est exact : en passant à un niveau supérieur du forfait Cloudflare, il est effectivement possible de rapprocher le score de l'outil de vérification de 100.
Cela dit, investir des frais supplémentaires uniquement pour cela est un choix assez délicat à l'heure actuelle !

L'objectif n'est pas d'obtenir un score parfait à l'outil de vérification, mais de permettre aux agents IA et aux LLM de bien lire les informations présentes sur le site de Liberogic. Du point de vue de la lecture du contenu par les LLM, nous estimons que les mesures nécessaires sont déjà largement en place.

Plutôt que d'augmenter les coûts uniquement pour obtenir 100, il est essentiel que le contenu soit correctement lisible.

Et qu'il puisse être exploité efficacement au quotidien.

Chez Liberogic, c'est précisément cet équilibre que nous souhaitons préserver.

N'oubliez pas llms.txt !

Bien que non inclus dans les éléments vérifiés ici, Liberogic prend également en charge /llms.txt.

llms.txt est un fichier de type table des matières qui indique aux LLM quelles informations le site contient et quelles pages consulter en priorité.

Ce concept s'apparente au sitemap.xml destiné aux moteurs de recherche, mais il a pour rôle de structurer, à l'intention des LLM, une présentation générale du site ainsi que les liens vers ses contenus importants.

Cet élément ne figure pas parmi les critères de vérification de l'outil de contrôle, mais il se peut que Cloudflare l'ait volontairement exclu, car l'entreprise accorde une grande importance à la qualité des données, c'est-à-dire à la capacité à extraire le contenu principal avec un minimum de bruit (autrement dit, à sa conversion en Markdown).

Il suffit donc de laisser les agents lire le HTML tel quel ?

Lorsqu'un agent IA doit lire un site web, il est bien sûr possible de lui faire analyser directement le HTML.

Cependant, les pages web réelles contiennent beaucoup d'informations étrangères au contenu principal, comme la navigation, l'en-tête, le pied de page, les éléments décoratifs ou encore les contrôles pilotés par JavaScript. Même une page qui paraît propre à l'œil comporte donc souvent beaucoup de bruit pour un LLM.
Convertir de force un HTML complexe en Markdown peut toutefois altérer la structure des titres, les listes et l'intention de mise en forme, ce qui peut aboutir à des données difficiles à exploiter, y compris pour un LLM.

Pendant que nous en parlons, ces points seront sans doute rapidement améliorés avec les progrès de l'IA, mais nous pensons qu'il est essentiel de traiter les besoins actuels un par un. Où en est la prise en compte de ces enjeux sur vos sites ??