Cloudflare 於 2026 年 7 月 1 日發布的產業報告顯示，自動化網路流量的組成正在明顯改變：截至 2026 年 6 月，AI 訓練占已識別爬蟲請求的 52%，而 2025 年春季為 22%；同時，兼用於搜尋、智慧代理與訓練的混合型爬蟲占比超過 36%。
對執行合規網路資料收集的團隊而言，重點不只是「機器人流量增加」，而是流量目的、身分識別、速率控制，以及對內容方的實際價值正變得更加重要。
報告測量了什麼
Cloudflare 分析其網路觀察到的流量，並依用途分類爬蟲。報告標題為《內容獨立日一年後：建立智慧代理網際網路的商業模式》，發布日期是 2026 年 7 月 1 日。報告也指出，目前網際網路流量中非人類流量已超過一半，爬蟲用途正快速轉向 AI 訓練。
這些數據來自 Cloudflare 所觀察的網路，不代表所有網站、產業與地區都具有完全相同的比例。它比較適合作為明確趨勢訊號，而不是每個站點都適用的統一數值。
為什麼爬蟲用途重要
兩筆自動請求在網路層可能很相似，但對內容發布者造成的結果完全不同：
- 搜尋爬蟲可能建立索引並帶來後續訪客；
- 智慧助理可能為使用者觸發的特定任務讀取內容；
- 訓練爬蟲可能收集資料，卻不產生即時引薦流量；
- 監控機器人可能只檢查可用性；
- 未獲授權的收集可能只增加成本，沒有同意或價值。
因此，誠實識別非常重要。在合適情境中，營運者應使用正確的使用者代理標識、提供穩定聯絡管道、遵守 robots 指示，並避免透過偽裝流量繞過網站偏好。
對代理資料收集的影響
代理可為合法研究改善地理覆蓋、可靠性與路由管理，但不應用來隱藏未授權爬蟲的身分或目的。負責任的代理流程應保留目標站理解和管理流量所需的控制訊號。
團隊應檢查四個營運面向。
1. 權限與範圍
記錄收集為何獲得授權、允許哪些網域與路徑，以及可以保留哪些資料。內容公開可見不代表自動取得無限制收集權。
2. 身分識別
在使用情境允許時，傳送穩定且真實的使用者代理標識。不要為了逃避偵測而輪換身分字串，並保留網站營運者可以回報問題的聯絡方式。
3. 請求壓力
依網域設定並行和速率限制，使用有限佇列、退避與重試額度。大型代理集區不應成為超過目標站可接受請求速率的工具。
4. 資料最小化
只收集既定目的所需欄位。從記錄中移除憑證、權杖與不必要的個人資料，並定義保存期限和刪除程序。
衡量價值，而非請求量
自動化流量增長後，原始請求數愈來愈難反映營運成效。可持續的專案應監控：
- 每千次請求產生的有效結果；
- 首次成功率與重試率；
- p95 延遲與佇列等待時間；
- 每筆可用資料的頻寬；
- 目標站錯誤與明確拒絕訊號；
- 每筆驗證結果成本；
- 正確研究覆蓋等下游業務價值。
這些指標可以抑制產生大量請求、卻只有少量有用輸出的激進行為。
建立爬蟲治理記錄
每個自動化流程都應維護一份簡潔記錄：
- 業務負責人與技術負責人；
- 文件化目的與合規依據；
- 已核准目標與禁止路徑；
- 使用者代理標識與聯絡資訊；
- 地區路由與代理策略；
- 並行、速率、逾時與重試上限；
- 資料欄位、保存期限與刪除規則；
- 事件升級與緊急停止程序。
當目標站改變規則，或收集工作產生非預期流量時，這份記錄能加快稽核與處理。
正確回應封鎖訊號
403、429、CAPTCHA 或挑戰頁突然增加時，應降低速度或暫停，而不是提高輪換後維持原速。需要檢查目標站是否修改存取規則、是否需要驗證，以及流程是否仍在授權範圍內。
robots 指示與網站營運者的明確要求都應成為政策輸入。如果業務目標必須繞過規則才能完成，適當做法是重新設計或停止流程。
內容發布者可能採取的下一步
Cloudflare 報告顯示，發布者正在尋求更清楚的機器人用途、抓取與引薦比例、內容使用情況。這可能帶來更細緻的控制、差異化存取政策，以及對爬蟲透明度的更高期待。
資料團隊應提前區分搜尋、使用者觸發、訓練、監控與研究流量，而不是把所有工作都隱藏在同一個匿名身分之後。
營運檢查清單
- 收集前確認授權與目標規則。
- 在適用時使用誠實、穩定的身分。
- 設定依網域區分的並行與速率上限。
- 尊重明確拒絕，並在壓力訊號出現時退避。
- 衡量有效價值，而不是原始請求量。
- 只在明確期限內保存必要資料。
- 保留可立即停止工作的事件管道。
- 目標或收集目的改變時重新審查政策。
常見問題
使用代理就能讓資料收集合規嗎？
不能。代理只是網路基礎設施。是否合規取決於授權、目的、目標規則、請求行為與資料處理。
是否應停止所有自動收集？
不需要。監控、研究、索引、廣告驗證與市場分析都可能是合法用途。報告進一步說明，營運必須透明、適度且可衡量。
每一筆自動請求都是 AI 爬蟲嗎？
不是。自動流量包括搜尋、監控、助理、訓練、安全與許多其他類別，準確分類非常重要。
建立已授權地區資料流程的團隊，可以評估 98IP 住宅代理路由，同時執行嚴格的目標級速率限制與透明治理。
來源說明：Cloudflare，《內容獨立日一年後：建立智慧代理網際網路的商業模式》，發布於 2026 年 7 月 1 日。本站公開文章依規則不提供外部研究連結。
