Topics

Implementierung eines Website-Chatbots mit Cloudflare AI Search

  • column

Im letzten Beitrag ging es um die Implementierung der Website-Suche mit Cloudflare AI Search, und dieser Beitrag knüpft direkt daran an.
Mit derselben AI Search haben wir einen Chatbot namens „AIコンシェルジュ リベロ爺“ umgesetzt, der auf Basis der Inhalte der Website Antworten gibt.
Vorab das Fazit: Wenn die Suche bereits eingeführt ist, fallen nur noch sehr geringe zusätzliche Kosten an.
Der Crawl- und Indexierungsprozess lässt sich unverändert übernehmen, und zusätzliche Datenvorbereitung ist nicht nötig.
Der Schwerpunkt der Arbeit lag weniger im Code als im Feintuning der Prompts.

Verwendet wird chat/completions

Wie im letzten Beitrag beschrieben, bietet die AI Search API zwei Varianten.
Die eine, search, liefert eine Liste der Suchergebnisse zurück, die andere, chat/completions, generiert per RAG eine Antwort.
Für die Website-Suche hatten wir nur die erste genutzt, diesmal kommt die zweite zum Einsatz.

chat/completions übernimmt in einer einzigen Anfrage alle Schritte: Erstellung der Query-Embeddings, Suche nach passenden Chunks im Index und Generierung der Antwort durch das LLM auf Grundlage dieser Chunks.
Da Suche und Chat denselben Index nutzen, werden Aktualisierungen einer Seite automatisch in beiden Funktionen wirksam.

Aufbau: ein API-Route plus eine Chat-UI

Auch hier folgen wir dem gleichen Ansatz wie zuvor: Da API-Tokens nicht im Browser offengelegt werden dürfen, wird die Anfrage über eine API-Route in Astro (Pages Functions) weitergeleitet.

const res = await fetch(
  `https://api.cloudflare.com/client/v4/accounts/${id}/ai-search/instances/${name}/chat/completions`,
  {
    method: 'POST',
    headers: { Authorization: `Bearer ${token}` },
    body: JSON.stringify({
      messages: [{ role: 'system', content: SYSTEM_PROMPT }, ...history],
      stream: false,
      ai_search_options: {
        retrieval: {
          retrieval_type: 'hybrid',
          max_num_results: 8, // 根拠として渡すチャンク数。増やすほど入力トークン=費用が増える
          filters: { locale: 'ja_JP' }, // チャットは日本語限定
        },
      },
    }),
  }
);

Das Frontend besteht aus einer einzigen schwebenden Chat-UI-Komponente unten rechts. Der Gesprächsverlauf wird getrennt vom angezeigten DOM als Array gespeichert, und an die API gehen nur die letzten 10 Nachrichten mit maximal 200 Zeichen pro Nachricht.
Der Verlauf fließt bei jeder Anfrage vollständig als Eingabe-Tokens ein, daher ist seine Begrenzung der wichtigste Hebel für die Kostenkontrolle.

Bildschirm des KI-Chatbots „Liberozee“ mit Cloudflare AI Search. Eine Chat-Oberfläche, in der die KI auf Nutzerfragen antwortet und die referenzierten Seiten anzeigt.

Systemprompt wird im Code verwaltet

Die Antwortrichtlinien lassen sich auch über das Dashboard im „Systemprompt“ festlegen, wir haben uns jedoch dafür entschieden, sie im Code zu übergeben. So bleiben Reviews und Änderungsverlauf in Git nachvollziehbar.

Das Vorgehen sieht etwa so aus.

  • Antworten ausschließlich auf Grundlage der bereitgestellten Referenzinformationen
  • Wenn keine Grundlage für eine Antwort vorhanden ist (z. B. Preisdetails, Liefertermine), wird ohne Vermutung auf das Kontaktformular verwiesen.
  • Kurz und prägnant in 3 bis 4 Sätzen. Wenn eine Antwort möglich ist, keine Hinweise wie „Diese Information steht nicht auf der Website“ hinzufügen.

Gegen Halluzinationen hilft die ständige Angabe der Quellen.

Die Antwort enthält neben der Antwort auch die Textabschnitte, die als Grundlage dienten. Diese werden nach URL zusammengefasst und unterhalb der Antwort stets als „Referenzierte Seiten“ angezeigt. So können Nutzende direkt auf die Primärinformationen zugreifen, und KI-Antworten werden nicht ungeprüft übernommen.

Auf mehrsprachigen Websites ist der Chat auf Japanisch beschränkt.

Zuvor habe ich beschrieben, wie die Suche mithilfe des Filters filters auf den Metadaten locale die Anzeigesprache eingrenzt. Der Chat nutzt denselben Filter und stützt sich nur auf japanischsprachige Seiten.

Zusätzlich habe ich die Benutzeroberfläche selbst auf japanischsprachige Seiten beschränkt. Das Angebot wird nur in Sprachen bereitgestellt, in denen die Antwortqualität sichergestellt werden kann.

Barrierefreiheit

Da die Chat-Oberfläche dynamisch wächst, wenn neue Nachrichten hinzukommen, wurde die Unterstützung assistiver Technologien von Anfang an eingebaut.

  • Der Protokollbereich verwendet role="log" und aria-live="polite", sodass nur neue Nachrichten vorgelesen werden.
  • Die Unterscheidung der Sprechenden erfolgt nicht nur visuell (Farbe und Position der Sprechblasen), sondern zusätzlich über reine Vorlese-Kennzeichnungen „Sie:“ und „KI:“.
  • Mit Esc wird das Fenster geschlossen und der Fokus zurück auf den Umschalt-Button gesetzt; beim Öffnen wird das Eingabefeld fokussiert.

Die Kosten sind pro Frage über AI Gateway einsehbar.

Die Aufrufe im Hintergrund von AI Search sind im AI-Gateway-Protokoll nachvollziehbar. Eine Frage ergibt zwei Einträge: das Erstellen der Abfrage-Einbettung (bge-m3, im Bereich von $0,0000001) und die Antwortgenerierung (Generierungsmodell). Da die Anzahl der Einträge des Generierungsmodells der Anzahl der Fragen entspricht, lässt sich die Nutzung ohne Weiteres überblicken.

Im Protokoll erscheinen zudem viele weitere bge-m3-Einträge. Das sind Indexaktualisierungen beim Crawlen. Da deren Kosten um eine Größenordnung höher liegen, lassen sie sich schnell unterscheiden.

Keine übertriebenen Erwartungen: Das Wissen stammt nur aus den Inhalten der Website, die Intelligenz hängt vom Modell ab

Derzeit liest die Suche nur die auf der Website veröffentlichten Inhalte, weshalb der Antwortbereich begrenzt ist. AI Search kann zusätzlich R2-Buckets als Datenquelle nutzen. So lässt sich beispielsweise das Wissen aus früheren Angeboten als Dokumente einbinden und erweitern.

Außerdem bedeutet „nur Inhalte der Website“ nicht „keine Falschaussagen“. Durch Fehllesungen einzelner Fragmente oder Vermischung mehrerer Seiten kann das System plausibel klingende Aussagen treffen, die so nicht auf der Website stehen. Deshalb werden die Quellen dauerhaft angezeigt.

Ein weiterer Punkt: Eingesetzt wird außerdem ein günstiges Open-Weight-Modell von Meta (Llama-Familie), das auf Workers AI läuft. Seine Leistungsfähigkeit liegt deutlich unter aktuellen kommerziellen Modellen. Wer mehr Genauigkeit benötigt, muss in der Praxis gegen höhere Kosten das Modell austauschen.

Fazit

Wenn AI Search für die Suche auf der Website bereits eingerichtet ist, lässt sich ein Chatbot mit einem API-Route, einer UI-Komponente und einem Prompt ergänzen. Der größte Vorteil: Es gibt keine doppelte Datenpflege. Wird die Seite aktualisiert, werden Suche und Chat gleichermaßen besser.

Andererseits hängt die Qualität der Antworten vom Generierungsmodell und vom Prompt ab. Die Persona und die Antwortrichtlinien müssen anhand echter Gesprächsprotokolle schrittweise verfeinert werden. Ein Chatbot funktioniert also nicht nach dem Motto „einbauen und fertig“. Trotzdem ist dies für einen RAG-Chat im Umfang einer Unternehmenswebsite meiner Meinung nach eine sehr pragmatische Option.

Über den Autor

Vom DTP in die Webwelt: Heute beherrscht er Markup, Frontend, Projektleitung und Barrierefreiheit gleichermaßen – ein wahrer "Techniker-Guru". Seit den Anfängen von Liberogic vielseitig im Einsatz und heute eine lebende Enzyklopädie im Team. Derzeit tüftelt er mit großer Begeisterung an effizienteren Abläufen durch gezielte Prompts – etwa mit der Frage: "Können wir bei der Barrierefreiheit nicht mehr auf KI setzen?" Technik und Denkweise entwickeln sich weiter.

Ayumu Futamata

IAAP-zertifizierter Web Accessibility Specialist (WAS) / Markup-Entwickler / Frontend-Entwickler / Webdirektor

Artikel dieses Teammitglieds ansehen

Lassen Sie sich zum headless CMS beraten

"Ich möchte die WordPress-Wartungsbelastung reduzieren"
"Ich möchte die Betriebs- und Serverkosten überprüfen"
"Ich möchte mehrere Websites zentral verwalten"
"Ich möchte von meinem bestehenden CMS zu einem Headless CMS migrieren"
"Ich weiß nicht, ob microCMS oder Kuroco besser passt"
"Ich möchte CMS, Frontend und Cloudflare zusammen beraten"
Wir unterstützen Sie gerne in all diesen Phasen.

Verlieren Sie Zeit und Geld durch überdimensionierte Infrastruktur und aufwendige Sicherheitsmaßnahmen?Bereitet Ihnen WordPress Sorgen?

Fallstudien