Agent Ready obtient 83 points(T_T) mais nous progressons correctement dans la préparation pour être lisibles par l'IA !

Chez Liberogic, nous progressons dans l'adaptation de notre site pour que les agents IA et les LLM le lisent plus facilement.

Outre les moteurs de recherche, il est devenu courant que les LLM et les agents IA comme Claude, Gemini et ChatGPT lisent les sites Web, organisent les informations, les comparent, et mènent des recherches au nom des utilisateurs.

Le site de Liberogic se prépare également à être lu par l'IA grâce à robots.txt, sitemap, Link headers, llms.txt, et la génération de fichiers Markdown pour chaque article.

Cette fois, nous écrivons un article sur « Is Your Site Agent-Ready? » publié par Cloudflare la semaine dernière.

Vérification en tant que Content Site

Le site de Liberogic est un site corporate et site de contenu qui présente les informations d'entreprise, les descriptions de services, les actualités, les articles et les études de cas. Ce n'est pas un site e-commerce ni une application API avec authentification OAuth.

Par conséquent, lors de la vérification, nous avons sélectionné « Content Site » comme type de site.

Les éléments liés à Commerce, API, Auth et MCP sont exclus de cette évaluation. Nous avons principalement vérifié les points de vue suivants.

Discoverability
Content Accessibility
Bot Access Control

En résultat……..le score est 83 points, Level 2 « Bot-Aware » 😭

Pourquoi pas 100 points !!

Vérification / contrôle immédiat

Dans cette vérification, Discoverability a obtenu 100 points, et Bot Access Control aussi 100 points.

Nous avons pu mettre en œuvre des éléments tels que robots.txt, sitemap, Link headers, AI bot rules et Content Signals. Les parcours fondamentaux permettant aux bots IA de découvrir le site et de comprendre la politique d'accès sont bien en place.

En résumé,

Faire découvrir l'existence du site
Indiquer où se trouvent les contenus
Afficher la politique d'accès aux bots
Émettre des signaux destinés à l'IA

et d'autres aspects sont désormais conformes.

En revanche, la catégorie Content Accessibility a obtenu un score de 0 (TT)

En regardant uniquement cela, on pourrait penser « attendez, le contenu n'est pas lisible ? », mais la réalité est légèrement différente.

Le contenu Markdown est déjà préparé

Sur le site de Liberogic, nous générons déjà une certaine proportion de fichiers au format Markdown, faciles à lire pour l'IA, pour les contenus d'articles et les études de cas.
Les articles et les études de cas disposent tous de fichiers Markdown appropriés, et des balises de lien vers les versions Markdown du contenu sont configurées dans le head de chaque page, créant ainsi un parcours permettant aux véritables agents IA de trouver les fichiers Markdown.

Ce n'est pas une absence de support Markdown ; nous structurons le contenu pour que les LLM puissent le lire facilement, nous ne sommes donc pas dans un état de « préparation insuffisante pour l'IA ».

Alors pourquoi ne pas obtenir 100 points ? 👺

Si nous n'avons pas obtenu 100 points, ce n'est pas parce que le site n'a rien fait, mais à cause d'une inadéquation entre notre implémentation actuelle et les spécifications de jugement de l'outil de vérification.

Le site de Liberogic est implémenté avec la génération statique Astro (SSG), et utilise une approche hybride avec SSR pour les pages d'aperçu.

En général, la négociation Markdown est traitée au niveau du middleware, mais nous utilisons l'adaptateur Cloudflare pour une configuration hybride, et le fichier _worker.js qui en résulte prend la priorité. Cela signifie que le middleware n'est pas chargé et que la négociation Markdown n'est pas reflétée côté outil de vérification.

En réalité, il y a effectivement des fichiers Markdown et ils sont accessibles via la balise link dans le head, mais du point de vue de l'outil de vérification, la situation était que « la négociation Markdown n'est pas confirmée ! ».

Zut ! Une créations bâclée !

...voilà ce qu'on aimerait dire, mais bien sûr nous sommes reconnaissants à Cloudflare tous les jours.

Merci également pour l'approbation de l'accréditation de partenaire.

Mais après avoir maintenu un score de 100 dans Lighthouse, c'est un peu frustrant de rester à 99.

Il est possible d'atteindre 100 ! Mais nous ne voulons pas réduire l'efficacité opérationnelle juste pour les points, et nous ne voulons pas engager de frais.

Plusieurs approches sont possibles pour y remédier.

Mettre en place Cloudflare Workers séparément pour traiter la restitution Markdown
Convertir la page d'aperçu en CSR et se rapprocher d'une configuration SSG complète
Passer le plan de service Cloudflare à Business et réécrire les URL avec Transform Rules

C'est cette approche.

C'est exact. En passant à un niveau supérieur de service Cloudflare, il est effectivement possible de se rapprocher de 100 points selon l'outil de vérification.
Cependant, au stade actuel, il est un peu discutable de payer des frais supplémentaires uniquement pour cela !

L'objectif n'est jamais d'obtenir une note parfaite à l'outil de vérification, mais de permettre aux agents IA et aux LLM de lire correctement les informations présentes sur le site de Liberogic. Sous l'angle de la lecture de contenu par les LLM, nous estimons que nous avons déjà mis en place les mesures nécessaires de manière assez avancée.

Être correctement lisible plutôt que d'augmenter les coûts juste pour obtenir 100 points.

Pouvoir l'exploiter correctement.

Liberogic souhaite maintenir cet équilibre.

N'oubliez pas llms.txt !

Bien que cela ne figure pas dans les éléments à vérifier cette fois-ci, Liberogic prend en charge /llms.txt.

llms.txt est un fichier de type table des matières qui communique aux LLM « quelles informations se trouvent sur ce site et quelles pages lire ».

C'est un concept similaire au sitemap.xml pour les moteurs de recherche, mais il joue un rôle de structuration de l'aperçu du site et des chemins vers le contenu important, spécifiquement pour les LLM.

Bien que cela ne soit pas inclus dans les éléments d'inspection de l'outil de vérification, Cloudflare semble mettre l'accent sur la qualité des données — en particulier sur la capacité à récupérer le contenu avec un faible bruit (converti en Markdown) — et a peut-être volontairement omis cet élément.

Suffit-il de faire lire directement le HTML ?

Bien sûr, lorsqu'on fait lire un site Web à un agent IA, on peut analyser directement le HTML tel quel.

Cependant, une vraie page Web contient beaucoup d'informations autres que le contenu principal : navigation, en-tête, pied de page, éléments de décoration, contrôles JavaScript, etc. Même si la page semble naturelle à l'œil humain, elle génère souvent beaucoup de bruit pour un LLM.
Convertir de force un HTML complexe en Markdown peut détériorer la structure des titres, des listes et des intentions d'expression, ce qui peut finalement rendre les données difficiles à lire pour un LLM.

Bien sûr, ces aspects s'amélioreront rapidement avec l'évolution de l'IA, mais je pense qu'il est important de progresser étape par étape sur ce qui est nécessaire maintenant. Jusqu'où la mise en conformité a-t-elle progressé sur vos sites ?