Cloudflare 9 月 15 日調整 AI 機器人預設策略：依意圖稽核代理自動化
Cloudflare 表示，自 2026 年 9 月 15 日起，新加入的網域將取得依 AI 流量行為區分的預設設定：Search 預設允許；在顯示廣告的頁面上，Agent 與 Training 預設封鎖。對同時承擔多種用途的爬蟲，最嚴格的適用策略可能生效。
對獲准執行網頁蒐集、市場研究、廣告驗證或瀏覽器自動化的團隊而言，正確做法不是尋找繞過方式，而是停止把所有自動請求視為同一種工作負載。代理只改變出口路徑，不會改變請求目的、創造存取許可，也不會覆蓋網站政策。
先釐清公告邊界
新預設值針對生效日起新加入 Cloudflare 的網域，並不代表所有既有網站都會同時封鎖所有自動化。網站擁有者仍能選擇設定，實際結果取決於區域設定、頁面類型與流量分類。
- Search：為內容探索與搜尋導流建立索引。
- Agent：代表使用者即時執行活動。
- Training：為模型訓練或微調蒐集內容。
同一個爬蟲可能具備多種用途。Cloudflare 說明，多用途爬蟲可能由最嚴格的適用設定決定結果。因此，一次擷取成功不代表長期許可；主機名稱、頁面、工作階段、時間與網站設定都可能改變結果。
為每項工作建立意圖登記表
不要只寫「資料蒐集」。至少記錄：
工作別名
業務目的
聲明的行為類別
資料擁有者
授權依據
目標範圍
允許市場
請求方法
身分或使用者代理
代理路線類型
保留期限
停止條件價格監測、搜尋索引、廣告呈現檢查與使用者發起的瀏覽器助理，其授權、證據需求與失敗後果並不相同。若工作混合 Search 與 Training，或混合即時操作與被動量測，應盡量拆分，分別套用速率、保留與核准策略。
建立直連與代理配對基準
只測試自有或明確獲准的目標。政策允許時，先執行小規模直連對照，再在不改變瀏覽器版本、請求標頭與測試資料的情況下改用目標代理路線。
每次記錄：
- 最終狀態與重新導向鏈；
- 回應本文摘要值與業務完成標記；
- 挑戰頁、攔截頁或同意門檻；
- 申請市場與觀測市場；
- 瀏覽器及自動化版本；
- 路線類型與去識別工作階段別名；
- 首位元組與有效結果耗時；
- 首次嘗試及有界重試結果；
- 獲准保存時的畫面或網路軌跡。
直連成功而代理失敗，只能證明路線相關差異，不能直接證明刻意封鎖。兩者在同一步驟失敗，應先檢查頁面政策、應用程式狀態或共用客戶端設定。
分開測試頁面類別
由於新預設策略區分顯示廣告的頁面，不能只測首頁。建立一個小型授權矩陣：
- 無廣告的資訊頁；
- 有廣告的內容頁；
- 不需登入的公開測試頁；
- 經授權的登入後測試頁；
- 依賴瀏覽器執行後載入內容的頁面；
- 僅用於網路對照的確定性端點。
把頁面類別列為證據欄位。除非必要且已核准，不保存廣告識別碼、Cookie 或個人資料。目標方提供 API、Feed 或專用測試環境時，應優先採用。
驗證四個層次，不只看 HTTP 200
1. 網路路徑
確認 DNS 模式、代理驗證、TLS 驗證、位址族與目的地可達性。SOCKS5 本機解析與遠端解析必須分開測試，不得關閉憑證驗證來把傳輸失敗改成「通過」。
2. 策略結果
區分允許、明確拒絕、速率限制、挑戰、同意門檻與未知中介頁。能以去識別指紋證明時，不必保存完整頁面。
3. 業務完成
驗證工作真正需要的元素、結構化數值、呈現狀態或流程完成標記。狀態為 200 的挑戰頁不是有效成功。
4. 資料完整性
驗證結構、語言、幣別、新鮮度、分頁與本文摘要值。區域代理造成的在地化差異應成為明確斷言，而不是無法解釋的偏差。
把區域代理當作觀測對照
Global、North America、Europe 與 APAC 僅選擇業務與授權確有需要的市場，維持低併發與一致測試順序。比較結果分布，而不是尋找某個「能通過」的出口：
- 聲明意圖及頁面類別對應的策略結果；
- 各市場、各路線的有效結果率；
- 挑戰率與限速率；
- 在地化正確率；
- 每個有效結果的重試次數；
- p50 與 p95 完成時間；
- 非預期出口輪替；
- 每筆有效紀錄耗用的請求與位元組。
某個市場失敗時，應暫停該路線並調查。持續輪替住宅 IP 直到成功，可能構成規避，也會破壞診斷證據。
遭遇策略拒絕時的安全流程
- 停止受影響工作或頁面類別；
- 保存最小化、去識別的結果與設定清單；
- 複核聲明目的、授權及網站條款；
- 尋找官方 API、Feed 或擁有者提供的存取方式；
- 必要時透過核准管道聯絡資料擁有者；
- 取得政策與技術負責人同意後才恢復。
不得隱藏自動化身分、重播挑戰、修改指紋或輪替住宅出口強制存取。代理服務是基礎設施，不是同意書。
9 月 15 日前檢查清單
- [ ] 每項自動化都有一個主要聲明目的。
- [ ] 混合 Search、Agent、Training 的工作已拆分或審查。
- [ ] 授權、負責人、市場範圍與保留期已記錄。
- [ ] 直連與代理對照使用相同客戶端設定。
- [ ] 廣告頁與非廣告頁分開測試。
- [ ] HTTP 狀態、策略結果、業務完成及完整性分欄記錄。
- [ ] 瀏覽器、代理、DNS 與位址族版本可追溯。
- [ ] 區域測試使用獲准市場及有界併發。
- [ ] 挑戰或拒絕會停止工作，不會觸發路線輪替。
- [ ] 證據不含密鑰、Cookie 與非必要個人資料。
- [ ] 已準備 API 或擁有者核准的替代路徑。
- [ ] 警示使用有效結果，不使用原始請求成功率。
常見問題
9 月 15 日後所有 Cloudflare 網站都會封鎖代理嗎？
不會。公告針對新加入網域的 AI 流量預設策略，個別區域設定、頁面條件與網站擁有者選擇仍會影響結果。
更換代理地區能把 Training 變成 Search 嗎？
不能。用途取決於自動化做什麼及資料如何使用，網路位置不會改變意圖或授權。
HTTP 403 能直接證明命中哪一條策略嗎？
不能。它是拒絕訊號，但無法單獨辨識規則來源。應使用擁有者提供的資訊與獲准觀測方式，不得為繞過控制而逆向規則。
遇到挑戰頁可以換住宅 IP 重試嗎？
不應這樣做。先停止、分類並複核許可與核准的存取方法。位址輪替可能違反策略，也會讓事件證據失真。
合規與安全運作
僅使用獲准的目標、身分、資料與市場。遵守 robots 指令、存取控制、隱私義務、智慧財產權、平台條款及速率限制。依要求揭露自動化，最小化保留證據，絕不能把代理當成隱藏違規行為的工具。
繼續閱讀代理回應完整性測試、代理閒置逾時與長連線測試及 Node.js 代理客戶端金絲雀方案。
來源說明：Cloudflare《Your site, your rules: new AI traffic options for all customers》，2026 年 7 月 1 日；Cloudflare 產品更新日誌，複核於 2026 年 9 月 13 日。
