代理回應一直成功,解析或結果庫卻追不上,未確認輸出增加、記憶體上升,重啟後又抓同頁。准入須看下游容量及請求並行。本文為授權採集與網站檢查的有界流程,不宣稱實測吞吐改善、費用減少或98IP內建緩衝功能。

1. 先定位慢階段
先畫出實際處理流程:請求准入、讀回應、解析、驗證、待寫、持久寫入、確認。各階段使用相同的時間窗口記錄處理速率。HTTP成功非可用紀錄已到目標庫的證據。
測待寫筆數、指定口徑位元組、最久等待、在途及確認輸出速率。解析物件記憶體、序列化大小、供應商流量不同。小JSON不代表原回應與瀏覽器只用同樣記憶體。
請求快於提交時,加代理並行可能只擴積壓。先查解析、驗證、庫延遲、下游節流或重複失敗,不要一律判定為代理不可用。
2. 預算含在途承諾
核准高水位與較低恢復水位,高時停新抓取,低於恢復且下游健康才開,減少來回震盪。需真負載證據,不抄通用筆數。
已准入未進待寫者亦預留。同口徑隊列Q、在途還可增R,新准入前比Q+R與預算,對應作業結算或安全計入才釋放。
合成例預算100、待寫70、在途25,新需求10使總數105,不可准入,即使可見佇列未滿。只是虛構內部單位,非98IP實測容量、流量或記憶體。
回應無界,估計不能保證硬記憶體上限。採適當回應解析限制、有界批次或核准持久暫存,含開銷與失敗。流高水位屬協調訊號,不代表全應用嚴格上限。
3. 背壓須回到網路准入
- 調度前查輸出預算、下游健康、範圍和原業務效期,共用緩衝者協調。
- 高水位或下游壞就停新抓,保留已接收紀錄,依核准流程排空,不丟資料求看板正常。
- 尊重流或寫入器支援的背壓,不能對方要求等,應用仍向無限陣列追加。
- 執行中請求列入預留,停調度不等於取消或剩餘零流量,必要才依支援政策取消。
- 按輸出端持久性契約確認後,才移除待寫並推進可恢復檢查點。
- 低於恢復水位且健康後漸進開放,重查原期限和身分,不突發補跑過期觀察。
流函式庫不會自動管理所有獨立作業佇列和瀏覽器。必須驗訊號到真正啟動網路的元件,否則只是搬積壓。
4. 用合成慢輸出驗收
自有合成來源與測試庫,紀錄有穩定邏輯ID及已知內容,獨立列請求、待寫和確認數。下列是提議案例,非已跑基準。
- 正常小案例對請求、驗證紀錄及確認寫入。
- 來源不動只慢測試庫,驗高水位停新准入、輸出仍排空。
- 查停後在途完成已預留,不宣稱瞬間停流量。
- 測庫不可用,原因可見、待寫有界,不無限重試來源與寫入。
- 庫復原排到低水位後漸進開,查期限及無漏重的邏輯紀錄。
- 丟寫確認或重啟,按庫支援的身分讀回先核對,再重寫或重抓。
只在核准測試環境注入故障,不填滿正式磁碟、不拖慢共享資料庫、不斷客戶流量。演練及恢復都要小而有界。
5. 恢復不能虛構恰好一次
明確失敗與未知結果分開。確認遺失可能已提交,依支援去重或邏輯ID讀回再重放,說清庫保證。本機重試不會帶來普遍恰好一次投遞。
來源已驗且安全保留,優先恢復待寫,不因庫慢就再抓。紀錄不全、過期或重啟後不在,須分類按政策處理,晚重抓不算早先觀察。
持久暫存要有容量、權限、保存和清理,不可無限長或留多餘客戶資料。滿或不安全就停新准入,保留恢復狀態,不默丟、不轉未核准庫。
留作業紀錄ID、計量基礎、水位版本、占用、在途、停復時間、下游錯誤與確認結果,排除憑據、權杖、Cookie及敏感本文。公平性另見共享代理佇列隔離指南,此議題與下游容量不同,應分開判斷。
6. 對照98IP真實用量
授權研究、廣告驗證、網站測試可查98IP動態住宅IP產品頁及API設定文件。用支援方法及合適會話政策,比較實際流量與已驗證可用的輸出。
代理路徑不會讓解析器或資料庫變快,也不負責確認資料是否持久寫入或執行應用程式的輸出預算。加請求量前驗下游承受力。背壓維持受控流水線,效能或成本改善仍須按帳戶負載測。
- 請求完成與持久可用輸出分計。
- 待寫位元組、筆數、等待及在途可見。
- 高低水位有明確口徑。
- 暫停達網路准入。
- 慢、壞、未知保留有界恢復。
- 復原查身分效期,不盲重抓重寫。
低HTTP並行就有界? 不保證。下游處理緩慢時,已完成的結果仍可能持續累積,而且每筆紀錄的大小不同。
慢就丟佇列? 不可隱形修,依核准保存恢復政策並明報損失。
單一高水位解全服務? 不會,仍須檢查所有佇列、在途工作、解析限制與實際派發流程。