En Liberogic estamos trabajando para que nuestro sitio web sea fácil de leer tanto para agentes de IA como para LLM, mediante una estructura adecuada.
Ya no basta con los motores de búsqueda: los LLM y los agentes de IA, como Claude, Gemini y ChatGPT, leen los sitios web, organizan la información, la comparan e incluso realizan investigaciones en nombre de los usuarios, algo cada vez más habitual.
En el sitio de Liberogic también estamos preparando contenidos para que la IA pueda leerlos, con elementos como robots.txt, sitemap, Link headers, llms.txt y la generación de un archivo Markdown para cada artículo.
En este artículo nos centramos en «Is Your Site Agent-Ready?», publicado por Cloudflare la semana antepasada.
Revisar como Content Site
El sitio de Liberogic es un sitio corporativo y de contenidos que incluye información de la empresa, presentación de servicios, noticias, columnas y casos de estudio. No es una tienda online ni una aplicación de API que requiera autenticación OAuth.
Por lo tanto, al realizar la revisión, seleccionamos «Content Site» como tipo de sitio.
Los elementos relacionados con Commerce, API, Auth y MCP quedan fuera de la evaluación de este caso y se revisan principalmente desde las siguientes perspectivas.
- Discoverability
- Content Accessibility
- Bot Access Control
El resultado fue… 83 puntos, Nivel 2 «Bot-Aware» 😭
¿Por qué no obtuvo 100 puntos?!
Verificar / confirmar enseguida
En esta revisión, Discoverability obtuvo 100 puntos y Bot Access Control también obtuvo 100 puntos.
Los elementos robots.txt, sitemap, Link headers, reglas para bots de IA y Content Signals están implementados, por lo que se han establecido los fundamentos para que los bots de IA descubran el sitio y comprendan su política de acceso.
En resumen,
- que encuentren el sitio
- informar dónde está el contenido
- indicar a los bots su política de acceso
- Envía señales para la IA
Esos aspectos ya están cubiertos.
Por otro lado, el apartado de Content Accessibility obtuvo 0 puntos (TT)
Si solo miramos esto, puede parecer que "¿el contenido no se puede leer?", pero en realidad la situación es un poco diferente.
El contenido en Markdown ya está preparado.
En el sitio de Liberogic, ya generamos en un porcentaje determinado archivos en formato Markdown, que los modelos de IA pueden leer fácilmente, para los artículos y los casos de estudio.
Tanto los artículos como los casos de estudio tienen su archivo Markdown, en el head de cada página hemos configurado una etiqueta link hacia la versión Markdown del contenido, y también contamos con una ruta de navegación que permite a los agentes de IA llegar realmente a los archivos Markdown.
No es que no seamos compatibles con Markdown; al permitir obtener el texto principal en un formato que los LLM pueden leer fácilmente, no nos encontramos en un estado de "no estar preparados para que la IA lo lea".
Entonces, ¿por qué no obtenemos 100 puntos? 👺
El motivo por el que no llegamos a 100 puntos no es que el sitio no haga nada, sino la compatibilidad entre la configuración actual de implementación y las especificaciones de evaluación de la herramienta de comprobación.
El sitio de Liberogic está implementado con SSG de Astro y utiliza SSR en la página de vista previa, por lo que tiene una arquitectura híbrida.
Normalmente, la negociación de Markdown se gestiona con middleware, pero como utilizamos el adaptador de Cloudflare para una configuración híbrida, el archivo _worker.js generado por este tiene prioridad. Por eso el middleware no llega a cargarse, y la herramienta de verificación no reconoce la negociación de Markdown.
En realidad, los archivos Markdown existen y se puede acceder a ellos desde una etiqueta link en el head, pero la herramienta de verificación interpretó la situación como "¡No se puede confirmar la negociación de Markdown!".
¡Maldita sea! ¡Qué chapuza de implementación!
Sí, hay ganas de decir... pero, por supuesto, nos apoyamos en Cloudflare a diario.
También agradecemos la aprobación de nuestra certificación como socio.
Pero, como alguien que ha perseguido los 100 puntos en Lighthouse, aquí confieso que es un poco frustrante.
¡Alcanzar los 100 puntos es posible! Pero no queremos sacrificar la eficiencia operativa solo por la puntuación, ni queremos asumir costes adicionales.
Hay varias formas de abordarlo.
- Desplegar un Cloudflare Worker por separado para gestionar la devolución de Markdown
- Convertir la página de vista previa a CSR para acercarla a una configuración SSG completa
- Subir el plan de servicio de Cloudflare a Business y reescribir las URL con Transform Rules
son algunos de los métodos.
Así es. Mejorando un nivel el servicio de Cloudflare, es posible acercar la puntuación de la herramienta de comprobación a 100.
Sin embargo, en este momento, decidir pagar un coste adicional solo para eso resulta un poco dudoso.!
El objetivo no es obtener la máxima puntuación en la herramienta de comprobación, sino lograr que los agentes de IA y los LLM puedan leer adecuadamente la información del sitio de Liberogic. Por ello, consideramos que, desde el punto de vista de la lectura de contenido por parte de los LLM, nuestra empresa ya ha avanzado bastante en las medidas necesarias.
Que se lea correctamente, en lugar de aumentar costes solo para obtener 100 puntos.
Que se pueda operar correctamente.
En Liberogic, queremos priorizar ese equilibrio.
¡No olvides llms.txt!
Aunque no está incluido en los elementos de esta comprobación, en Liberogic también somos compatibles con /llms.txt.
llms.txt es un archivo similar a un índice que indica a los LLM qué información contiene el sitio y qué páginas conviene leer.
Es un concepto similar al de sitemap.xml para motores de búsqueda, pero está orientado a LLM y cumple la función de organizar un resumen del sitio y los accesos a los contenidos importantes.
Este punto no está incluido en los criterios de verificación de la herramienta, pero es posible que Cloudflare lo haya dejado fuera deliberadamente, ya que prioriza la calidad de los datos: qué tan eficazmente se puede obtener el contenido principal con poco ruido (es decir, si está convertido a Markdown).
¿Basta con que los agentes lean el HTML directamente?
Cuando un agente de IA lee un sitio web, por supuesto puede analizar el HTML tal cual.
Sin embargo, las páginas web reales contienen mucha información que no forma parte del contenido principal, como la navegación, el encabezado, el pie de página, los elementos decorativos y los controles con JavaScript. Incluso las páginas que parecen limpias suelen generar mucho ruido para los LLM.
Si se fuerza la conversión de HTML complejo a Markdown, la estructura de los encabezados, las listas y la intención de la presentación pueden romperse, lo que puede dar como resultado datos difíciles de interpretar también para los LLM.
Mientras tanto, es probable que estos aspectos también mejoren pronto con la evolución de la IA, pero creemos que lo importante es ir abordando, uno por uno, lo que hace falta hoy. ¿Hasta qué punto han avanzado ustedes con sus sitios?
Aunque soy el director general, siempre trabajo como contraparte. Disfruto entender nuevas tecnologías y sentir alegría cuando algo se vuelve más práctico, y me sumerjo en el trabajo de campo con total entusiasmo. Me emociona el futuro de la tecnología y disfruto vivir nuevas experiencias sin importar la edad.
Tadanori Morimoto
Gerente de proyectos / Director creativo / Fundada en 2007