Topics

使用 Cloudflare AI Search 實作網站內聊天機器人

  • column

上一篇我們介紹了如何用 Cloudflare AI Search 實作網站內搜尋,這次是它的續篇。
我們使用同一個 AI Search,依據網站內容實作了聊天機器人「AI 接待員 Liberozee」。
結論先說,如果已經導入搜尋功能,追加成本會相當低。
爬取與建立索引的機制可以直接沿用,資料的額外準備工作則為零。
工作重心其實不在程式碼,而是提示詞(prompt)的調校。

使用的是 chat/completions

如同上一篇所述,AI Search 的 API 有兩種類型。
一種是回傳搜尋結果清單的 search,另一種是透過 RAG 產生回答的 chat/completions。
網站內搜尋時我們只用了前者,這次使用的是後者。

chat/completions 能在一次請求中完成以下流程:「查詢向量化 → 從索引中檢索相關片段 → 以片段為依據由 LLM 產生回答」。
搜尋與聊天可以共用同一個索引,因此只要更新頁面,兩者都會同步反映。

架構:API 路由 1 支 + 聊天 UI 1 個

架構也延續上一篇的思路。由於無法將 API 權杖暴露在瀏覽器中,因此透過 Astro 的 API 路由(Pages Functions)進行代理。

const res = await fetch(
  `https://api.cloudflare.com/client/v4/accounts/${id}/ai-search/instances/${name}/chat/completions`,
  {
    method: 'POST',
    headers: { Authorization: `Bearer ${token}` },
    body: JSON.stringify({
      messages: [{ role: 'system', content: SYSTEM_PROMPT }, ...history],
      stream: false,
      ai_search_options: {
        retrieval: {
          retrieval_type: 'hybrid',
          max_num_results: 8, // 根拠として渡すチャンク数。増やすほど入力トークン=費用が増える
          filters: { locale: 'ja_JP' }, // チャットは日本語限定
        },
      },
    }),
  }
);

前端是一個位於右下角的浮動聊天 UI 元件。對話紀錄與畫面顯示用的 DOM 分開,以陣列保存;傳送至 API 的內容則限制為最近 10 則發言,且每則不超過 200 字。
對話紀錄每次都會整體計入輸入 token,因此限縮這部分是控制成本的關鍵。

使用 Cloudflare AI Search 的 AI 聊天機器人「Liberozee」畫面。這是一個聊天介面,AI 會針對使用者的提問作答,並顯示其參考的頁面。

系統提示詞以程式碼管理

回答方針雖然也能在儀表板的「系統提示詞」中設定,但我們選擇在程式碼端傳入。原因是審查紀錄與變更歷史都會保留在 Git 中。

方針大致如下。

  • 僅根據所提供的參考資訊作答
  • 若缺乏依據而無法回答(例如價格細節、交付期限等),不做推測,改為引導至聯絡表單
  • 以3至4句簡潔回答。能夠回答時,不額外加上「網站上未記載」之類的免責聲明

防止幻覺的對策是「持續顯示出處」

回應中會隨答案一併回傳作為依據的片段(chunk)。我們將這些片段依 URL 彙整,並務必在回答下方以「參考頁面」的形式顯示。使用者可以立即查閱第一手資訊,因此這是一種不讓使用者全盤接受 AI 回答的設計。

多語言網站中,聊天功能僅限日文

前次在搜尋中,我們曾介紹如何透過 locale 中繼資料的 filters 篩選顯示語言。聊天功能也使用相同的篩選條件,僅以日文頁面作為依據。

此外,我們也將 UI 本身限定為日文頁面。這是一項判斷:僅向能夠確保回答品質的語言提供服務。

無障礙(Accessibility)

聊天 UI 會動態新增訊息,因此從一開始就納入了輔助技術的支援。

  • 記錄區域使用 role="log" 搭配 aria-live="polite",確保只有新的訊息會被朗讀
  • 發言者的區分不只依靠視覺呈現(氣泡的顏色與位置),還並列了僅供朗讀的「你:」「AI:」標籤
  • 按下 Esc 可關閉並將焦點返回切換按鈕,開啟時焦點則移至輸入欄位

成本可透過 AI Gateway 依每次提問查看

AI Search 背後的呼叫可以在 AI Gateway 的記錄中查看。每次提問會產生兩筆記錄:「查詢的嵌入向量(bge-m3,約 $0.0000001)」與「回答的生成(生成模型)」。生成模型的記錄筆數即為提問數,因此也能輕鬆掌握使用狀況。

順帶一提,記錄中還會出現大量 bge-m3 的其他行,那是爬取時的索引更新。由於這類批次作業的費用高出一個數量級,很容易就能分辨出來。

請勿抱持過高期待:知識只來自網站內容,聰明程度取決於模型

目前它只會閱讀網站上公開的內容,因此能回答的範圍有限。AI Search 也可以將 R2 儲存桶作為資料來源,例如將過去的提案書等文件建檔後作為知識庫,因此擴充是可行的。

另外,「只談網站內容=不會說謊」並不成立。因為可能誤讀片段或混淆多個頁面,進而言之鑿鑿地講出原文沒寫的內容。始終顯示出處,正是為了防範這一點。

另外,我們使用的是 Workers AI 上運行的 Meta 低成本開源模型(Llama 系列),其智能程度明顯遜於最新的商用模型。若需要更高的精準度,較實際的做法是接受成本增加,並更換模型。

總結

若網站內搜尋已導入 AI Search,新增聊天機器人只需「1 條 API 路由 + 1 個 UI + 提示詞」即可完成。最大的優點在於不需要重複管理資料,只要更新頁面,搜尋和聊天的表現都會同步提升。

另一方面,回答品質取決於生成模型與提示詞。角色設定與回答方針需要參考實際對話紀錄,持續細心調整,因此並非「導入就結束」。就網站規模的 RAG 聊天機器人而言,這仍是相當輕鬆上手的選項。

關於撰寫本文的人

從 DTP 踏入網頁世界,不知不覺間,標記、前端、專案指導與無障礙,樣樣精通的「技藝仙人」。自 Liberogic 創業初期就跨領域活躍,如今是公司內部的活字典般的存在。最近沉迷於運用提示詞提升效率的探索,想著「無障礙相關的工作,能不能更依賴 AI 呢?」技術與思考,仍在持續進化中

二俣 步

IAAP認證網頁無障礙專員(WAS) / 標記工程師 / 前端工程師 / 網站總監

查看此員工的文章

諮詢 headless CMS 相關事項

「想降低 WordPress 的維護負擔」
「想檢視 CMS 或伺服器的營運成本」
「想集中管理多個網站」
「想從現有 CMS 遷移到 headless CMS」
「不確定 microCMS 和 Kuroco 哪個更適合」
「想同時諮詢 CMS、前端和 Cloudflare」
等階段都歡迎與我們聯繫。

您是否擔心過度複雜的基礎架構與安全防護會造成負擔?使用 WordPress 是否讓您感到不安?

案例分析