三批分頁紀錄通過檢查點進入已驗收資料集,一筆重複紀錄被分離以供檢視。

分頁請求取得HTTP 200,代表收到回應,並不代表每筆資料恰好出現一次。授權的地區目錄研究或自有列表API測試中,代理路徑改變、來源清單更新及游標儲存次序錯誤,都可能造成相似症狀。應先找出第一筆異常之前變動的邊界,再判斷是否與IP有關。

先定義資料驗收方式

採用來源文件定義的穩定識別碼,例如項目ID,並一併保存市場與地區等觀察情境。同一商品在不同市場的結果,可能是不同的有效觀察,不應跨市場直接去重。列出必要欄位,說明任務需要固定快照還是即時清單的盡力觀察。若來源未提供快照、穩定排序或可信總筆數,就應標記完整性尚未確認。

假設三頁ID依序為A–D、D–G及I–L。十二列總數會掩蓋D出現兩次的情況;只有授權參考資料證實H應存在於此次結果,才能判定H遺漏。去除重複並不能證明沒有漏資料。

用固定測試資料隔離變因

  • 在自有或獲准測試的端點建立十二筆已知ID,每頁四筆。整次讀取固定帳號權限、篩選、語言、排序與頁大小。
  • 透過獲准的基準路徑及住宅代理路徑讀取相同樣本。保存請求時間、狀態、情境、回傳ID與下一頁標記;不要記錄密碼或完整存取權杖。
  • 先使用一致的地區及工作階段設定完成遍歷;若目標允許,再單獨測試於頁面邊界更換路徑。每輪只調整一項因素,同時改地區和篩選條件會讓結果無法歸因。
  • 比對ID順序、重複筆數、必要欄位及終止行為。兩種路徑皆失敗時,先檢查應用程式分頁。只有情境改變後失敗時,檢查來源是否將游標或結果綁定至該情境,不能直接判定代理服務有缺陷。

遵循來源的分頁契約

偏移量分頁會受前面新增或刪除的資料影響,後續頁面可能因此位移。文件允許的不可變排序鍵搭配唯一識別碼有助於避免排序歧義,但快照語義仍須由來源明確定義。游標應完整原樣保存,不要自行拆解或用最後一筆資料時間重建,除非API文件明確要求。

繼續使用游標時,篩選與排序須保持一致。游標到期或遭拒應視為可追查的失敗,不可默默從第一頁重讀再接到舊資料。重複的下一頁游標、空頁仍宣告有後續資料,或無法結束的鏈條,都應停止調查。依文件判斷結束,並設定有限的頁數與請求預算。

同步提交批次與檢查點

每批合格資料記錄執行ID、情境指紋、頁序號、穩定紀錄鍵、續頁值與驗收結果。支援交易時,批次與檢查點應在同一交易提交;以檔案儲存時,先確實寫入完整批次,再標記檢查點已提交,恢復流程須能冪等重播此批資料。

儲存完成才推進檢查點。資料已寫入但游標尚未寫入,續跑可能重讀,應以包含本次執行與觀察情境的唯一鍵防止重複入庫。游標先推進、資料卻未儲存,則可能直接漏讀;去重無法修補這類遺漏。續跑前確認情境相符與游標有效,否則另建執行紀錄,不要混合不同快照。

把98IP設定對應到實際任務

需要住宅網路的地區觀察時,可評估98IP動態住宅代理。執行多頁任務前,在帳戶選擇地區與提取模式,並依操作指南確認可用工作階段設定。固定時效選項不能直接等同於出口IP永遠不變,也不保證來源接受既有游標,應先測試完整遍歷。

同一地區資料集宜保持一致觀察情境;比較不同國家時,分成獨立執行,避免每頁切換市場。較長時間需要固定路徑的工作可評估靜態方案,但它仍無法凍結來源清單、修正分頁邏輯或解除存取限制。產品條件以帳戶實際內容為準,本文不承諾特定時長或處理速度。

驗收清單與異常處理

  • 固定樣本ID完全符合,沒有預期之外的重複或遺漏,必要欄位皆合格。
  • 各頁情境一致,游標鏈依文件正常結束,未超出請求預算。
  • 中斷續跑測試沒有丟失已提交批次,也沒有重複儲存同一邏輯紀錄。
  • 明列即時資料的限制,隔離異常批次,追蹤唯一紀錄數、重複數、游標拒絕數及流量使用。

遇到驗證、權限或頻率限制錯誤時暫停,遵守來源規則,不以輪換IP規避限制。固定樣本通過但即時清單異常,先檢查更新時間和排序變動。失敗批次應與合格輸出分開,避免外觀完整的報表遮蔽資料缺口。

常見問題

固定代理工作階段能保證資料完整嗎?不能。穩定路徑只控制一個因素,來源更新、排序、游標有效性與儲存流程仍要分別驗收。

依ID去重就可以交付嗎?不可以。去重能處理重複,但沒有可靠參考或快照契約,仍無法證明未遺漏資料。

更換IP後能續用舊游標嗎?只有來源文件與授權測試支持時才可。若無法確認,保留檢查點並結束原執行,再建立新的觀察,不宣稱兩段結果連續完整。

授權與證據範圍

僅對自有端點或明確授權的來源使用此流程,遵守服務條款、請求限制與資料保護規定,減少保留個人資料。範例是測試設計,並非98IP效能實測;代理提供網路路徑,不代表取得擷取許可。