Cloudflare 向營運方開放 BotBase：資料蒐集團隊現在應記錄什麼

Cloudflare 於 2026 年 8 月 28 日發佈 BotBase for Operators。機器人營運方現在可在專門入口提交機器人、查看等待、接受或拒絕狀態、讀取拒絕原因，並在身分資料變化時更新既有提交。

Cloudflare 也表示，新表單會從三個維度描述機器人：執行什麼行為、如何使用讀取的內容，以及誰實際營運流量。驗證可能檢查 IP 清單、反向 DNS 或 Web Bot Auth 簽章。這項更新不會賦予任何網站的蒐集權限，目錄收錄也不能取代站點所有者的政策；它清楚指出一個營運原則：爬蟲身分必須具體、持續更新且可稽核。

為什麼代理支援的資料蒐集需要關注

軟體名稱只是爬蟲身分的一層。目標站實際看到的還包括出口 IP、網路所有者、反向 DNS、User-Agent 模式、驗證方式、聲明用途、請求節奏與負責營運方。

代理輪換會讓這些資訊漂移。新供應商、位址池、地區或工作階段策略可能引入尚未審核的網段；過寬的 User-Agent 會與其他營運方重疊；舊反向 DNS 可能仍指向已退役設施；原本用於搜尋索引的專案也可能新增模型訓練或代理操作，卻沒有更新內容用途聲明。

正確做法不是隱藏變化，而是像管理憑證和正式發佈一樣管理爬蟲身分。

依爬蟲用途建立獨立身分記錄

不要只維護一份「我們的機器人」文件。用途或營運邊界實質不同的工作負載應分別記錄：

• 穩定名稱與足夠精確的 User-Agent 模式；
• 法律或組織營運主體及有人值守的聯絡方式；
• 直接營運方或中介服務方；
• 搜尋索引、使用者觸發擷取、監控、研究或資料蒐集等行為；
• 內容是否被索引、摘要、保留、引用或用於訓練；
• 代理供應商與產品、地區、IPv4/IPv6、輪換或黏性工作階段；
• 已核准出口網段或發佈它們的受控端點；
• 反向 DNS 規則或密碼學驗證方式；
• 所有者、覆核人、上次驗證時間及下次覆核日期；
• 目標站授權、速率上限、保留期限及緊急停用控制。

若兩個工作負載無法誠實共用這些值，就不應共用同一身分記錄。

讓代理出口證據可重現

「使用住宅代理」不是驗證證據。稽核應能針對明確樣本與時間窗重現觀察結果。

1. 匯出任務實際使用的位址池、產品、地區、協定、位址族及工作階段設定。
2. 依受控間隔抽樣出口，不得透過強制輪換繞過目標站控制。
3. 記錄 IP、網段、ASN、網路標籤、反向 DNS、地區結果及時間戳記。
4. 將樣本與營運方公布或登記的身分驗證方式比對。
5. 區分預期位址變化與未經核准的網路變化。
6. 新網段完成所有權與用途覆核前應保持隔離。

不要在公開資料中暴露代理憑證、工作階段權杖、客戶識別碼或內部完整清單，只公開驗證方法真正需要的證據。

將 User-Agent 精確度變成測試項目

Cloudflare 表示，自動審核會檢查 User-Agent 模式是否足夠精確，以及是否與已收錄機器人重疊。團隊可在提交前自行測試。

為每個支援的用戶端版本建立正例，並以常見瀏覽器、通用程式庫及其他內部爬蟲建立反例。模式應識別目標爬蟲，同時不涵蓋無關流量。

接著將聲明模式與正式環境請求日誌比對。若備援用戶端送出通用程式庫標識，或瀏覽器流程替換標頭，表單再準確也沒有意義。應針對未聲明變體告警，而不是靜默接納。

分開管理「行為」和「內容用途」

行為回答爬蟲做什麼，內容用途回答取回內容後發生什麼，兩者可以獨立變化。

價格監控可能只保留少量公開欄位；搜尋爬蟲可能建立索引並保留引用；使用者觸發的代理可能按需擷取單頁。即使共用代理閘道，也不應互相繼承聲明。

當產品改變蒐集目的、儲存期限、下游接收方、模型用途或營運角色時，應觸發發佈門檻：先更新身分記錄與目標站權限覆核，再允許新行為進入正式環境。

每次代理變更都執行四道身分門檻

1. 網路門檻：抽樣網段、ASN、反向 DNS 與位址族符合已審核證據。
2. 協定門檻：User-Agent 與驗證簽章能穿過實際 HTTP、SOCKS5、瀏覽器及重試鏈路。
3. 政策門檻：用途、內容使用、目標站、速率、保留及隱私處理仍獲核准。
4. 營運門檻：聯絡方式、責任人、變更歷史、監控與緊急停止均為最新。

身分依據消失時應關閉流量，不得為了繞過拒絕或限速而切換其他位址。

不要把目錄接受狀態當成蒐集授權

新的提交歷史會顯示等待、接受或拒絕，並在需要修改時提供原因。內部應同時保存狀態時間戳記及當時提交的證據版本。

「接受」表示目錄已分類並追蹤該爬蟲，不代表每個網站必須放行。站點條款、robots 指令、內容訊號、驗證要求、合約限制、速率、隱私義務與適用法律仍然決定任務能否執行。

上線檢查清單

• [ ] 每個爬蟲用途都有責任人與有效聯絡方式。
• [ ] User-Agent 模式通過正例與反例測試。
• [ ] 位址池、地區、位址族、協定及工作階段模式已記錄。
• [ ] IP 清單、反向 DNS 或簽章證據仍有效。
• [ ] 行為與內容用途符合正式流程。
• [ ] 直接營運方或中介方角色明確。
• [ ] 新網段在上線前完成覆核。
• [ ] 目標站權限與限速獨立執行。
• [ ] 拒絕原因及分類變化進入變更日誌。
• [ ] 緊急開關無需發佈新版本即可停用爬蟲。

常見問題

目錄接受是否等於允許蒐集？

不是。它是身分與分類依據，不是目標站授權。

輪換住宅代理池能否驗證？

可以記錄，但證據必須符合所選驗證方式，並隨位址池變化保持更新。網路分類抽樣無法單獨證明授權、用途或身分。

是否應公開每一個出口 IP？

不一定。應遵循驗證方法並保護敏感資料。依平台與營運模式，受控網段清單、反向 DNS 或簽章身分可能更適合。

哪些變化需要更新提交？

User-Agent、驗證端點、網段、反向 DNS、營運角色、行為、內容用途或負責組織發生變化時都應覆核。

合規說明

僅對已獲授權的系統與資料使用代理及自動化蒐集。遵守目標站條款、robots 指令、內容偏好、速率限制、隱私要求、安全控制、合約及適用法律。身分聲明不得用來暗示尚未獲得的權限。

相關 98IP 內容：住宅代理來源稽核、代理試用驗收測試及代理並行爬坡測試。