Cloudflare 推出 BotBase for Operators：機器人提交可追蹤、可編輯、可驗證
Cloudflare 於 2026 年 8 月 28 日推出 BotBase for Operators，讓機器人與智慧代理營運方可以在控制台中提交、追蹤並更新身分紀錄。對於執行已授權網頁蒐集、搜尋索引、監測服務或使用者導向代理的團隊，這項變化代表機器人登錄不再是一次性表單，而是需要持續維護的營運資產。
新流程不等於取得全網抓取許可。網站所有者仍然決定是否允許自動流量。但它提高了合規營運的標準：流量應可被辨識，行為與內容用途應如實描述，驗證證據也必須持續有效。
本次更新的三項核心變化
提交歷史與清楚狀態
營運方可看到提交正在等待審核、已接受或遭拒絕。遭拒絕時會顯示原因與可採取的修正步驟；已接受紀錄若在審核時調整分類，也能看到變更結果。
狀態歷史可作為發佈審查與事件調查的證據，協助團隊回答身分何時提交、採用哪種驗證方式，以及哪次基礎設施變更使資料失效。
可編輯既有紀錄，也能取消待審提交
當 User-Agent、公開 IP 範圍、反向 DNS 名稱或驗證方式改變時，營運方可以更新原紀錄。仍在等待審核的提交也能取消。
編輯動作應納入變更管理：連結觸發變更的發佈版本，上線前複核，流量切換後重新驗證，並保留回復方案。
分別聲明行為、內容用途與營運角色
新版表單要求分別說明：
- 機器人做什麼：例如搜尋索引、代表使用者執行操作、資料蒐集、訓練或 SEO 支援；
- 如何使用讀取的內容：例如搜尋、參考或模型訓練；
- 由誰驅動請求：營運方直接發起，或由中介平台承載其他產品的請求。
這比籠統的「爬蟲」標籤更準確。替使用者即時取得頁面，與長期保存大量語料用於訓練，在權限、資料最小化與網站價值交換上並非同一件事。
身分驗證已成為工程依賴
Cloudflare 表示，重建後的審核流程可自動檢查重複紀錄、User-Agent 模式是否足夠明確，以及聲稱的驗證方式是否成立。依方法不同，系統可能擷取公開 IP 清單、確認反向 DNS，或驗證 Web Bot Auth 簽章。
因此，爬蟲身分也需要負責人、測試與監控。建議建立身分清單，包含：
- 穩定的機器人名稱與負責營運方；
- 範圍明確的 User-Agent 模式；
- 已聲明的行為與內容用途；
- 直接營運或中介平台角色；
- 驗證方式及其公開證據；
- 生產出口範圍或簽章金鑰參照；
- 最近驗證日期與下次檢查日期；
- 變更負責人、回復方案與事件聯絡人。
清單不可保存代理密碼、私鑰、Cookie 或權杖，只保存受保護機密的參照。
爬蟲使用代理時的身分邊界
代理可為合法蒐集提供區域路由、容量隔離與工作階段控制，但不能讓聲明的身分失真。
若驗證依賴公開 IP 範圍，應比對聲明範圍與每條生產出口實際使用的地址。高度動態的住宅代理池通常不適合承諾小型靜態允許清單。若使用反向 DNS，應監控正向與反向解析一致性；若使用簽章請求，則須保護金鑰，並確認每條代理路徑都保留必要標頭。
將身分與傳輸拆成不同控制面：
| 控制面 | 必須回答的問題 |
|---|---|
| 身分 | 誰營運、做什麼、如何使用內容、如何驗證？ |
| 傳輸 | 哪個閘道、區域、位址族、工作階段模式與出口承載請求？ |
| 授權 | 網站與政策是否允許此用途、路徑與蒐集時段？ |
| 結果 | 請求被接受、限速、挑戰或拒絕，結果是否可用？ |
策略拒絕後更換出口無法修復身分或授權問題，反而可能讓可診斷的不一致看起來像規避行為。
可識別爬蟲的發佈檢查流程
1. 固定目前聲明
記錄 User-Agent、行為、內容用途、營運角色與驗證方式。稽核匯出只保留非敏感設定。
2. 盤點所有生產出口
涵蓋直連、資料中心代理、住宅代理、IPv4/IPv6、區域閘道與故障切換路徑，並標示哪些路徑符合選定驗證方式。
3. 獨立測試驗證證據
確認公開 IP 文件可存取、反向 DNS 正確，或簽章可通過驗證。這項測試應在抓取第三方網站之前完成。
4. 重新核對網站權限
檢查目標網站條款、robots 指令、內容用途訊號與速率限制。身分已驗證只代表知道呼叫者是誰，不代表所有用途都已獲准。
5. 執行有邊界的金絲雀流量
使用低併發、少量已核准 URL 與明確停止條件，記錄時間、路由、身分版本、政策結果與應用結果。
6. 監控身分漂移
生產環境若出現未聲明 User-Agent、未驗證出口、簽章標頭遺失，或內容用途未經核准改變，應立即告警。
7. 持續維護目錄紀錄
驗證證據或行為聲明變更時更新提交，並保存原因、審查人與關聯發佈版本。
不要只看通過率
建議依區域與路由追蹤：
- 使用核准身分版本的請求比例；
- 走目前可驗證路徑的請求比例；
- 聲明用途與實際用途不一致次數；
- 依網站與原因分類的策略拒絕；
- 限速事件與重試預算耗盡；
- 身分變更到目錄更新的時間；
- 有效結果率與每個有效結果成本；
- 過期 IP、DNS 或簽章證據引起的事件。
全球成功率可能掩蓋某個超出身分邊界的代理閘道，因此必須分區域、分出口分析。
五個常見誤解
目錄接受不等於全球放行。 每個網站仍保有自動存取控制權。
身分可驗證不等於資料來源合規。 用途、同意、最小化、保存期限與下游使用仍需治理。
IP 允許清單不是永久身分。 出口供應會改變，共用位址也會產生歧義。
代理請求遭拒不一定是 IP 品質問題。 應分別檢查身分、授權、速率與應用政策。
修改 User-Agent 或出口以擊敗網站決策不是修復。 應更新聲明、取得許可或停止蒐集。
FAQ
每個內部爬蟲都要提交 BotBase 嗎？
不需要。僅在自有系統內運作的爬蟲，暴露範圍不同。是否提交應依公開存取範圍、網站政策與驗證架構判斷。
一定要使用 Web Bot Auth 嗎？
Cloudflare 提到多種驗證方式，包括公開 IP 清單、反向 DNS 與 Web Bot Auth。應選擇符合架構、且能涵蓋全部生產路徑的方式。
輪換住宅代理能以靜態 IP 範圍驗證嗎？
只有營運方能如實公開並持續維護相關出口證據時才適用。高度動態的第三方供應通常不符合靜態 IP 身分模型。不要公開無法控制的網段，也不要聲稱無法證明的獨占性。
身分驗證能取代 robots.txt 或內容用途訊號嗎？
不能。身分回答「誰在呼叫」，網站指令與合約條款回答「允許做什麼」，兩者都必須滿足。
可搭配 98IP 的代理池 ASN 與網段集中度稽核、住宅代理工作階段黏著度測試與代理試行統計設計建立完整流程。
合規說明
僅對有權存取的系統與內容執行爬蟲。遵守網站條款、robots 指令、內容用途訊號、速率限制、隱私義務與適用法律。身分聲明必須真實，蒐集資料應最小化；網站拒絕相關用途時應停止。代理是傳輸工具，不是隱藏責任或覆蓋發布者決策的方法。
來源說明：Cloudflare，《BotBase for Operators: A clearer path to joining Cloudflare's directory of bots and agents》，發布於 2026 年 8 月 28 日。依 98IP 網站零外鏈規則，來源 URL 僅保存在內部營運紀錄。
