目前，談到大數據就會提到網路爬蟲，談到網路爬蟲，也就一定會提到IP代理。因此，許多人潛意識裡就會產生一種想法，是不是離開了代理IP，爬蟲就會像沒有腳的殘疾，爬不動了。這會是真的嗎？

工作嗎？

爬蟲為什麼需要代理IP？

通常，為了確保自己網站的正常運行，網站管理員會設定各種策略，如在IP上一天24小時只能訪問幾次，訪問次數不得超過多少，訪問行為不得反人類等。而爬蟲工程師為了獲得自己需要的龐大資訊量，必然會觸發這些策略，然後IP會受到限制，這就是爬蟲需要代理IP的原因。

只爬一點點需要代理IP嗎？

那麼，是否所有的爬蟲都需要代理IP呢？倒也並非如此，只要不觸發目標網站的反爬策略，就不需要代理IP。有的小爬蟲任務量很小，和正常人類訪問差不多，自然不會被限制IP。有人會說，沒有這樣的爬蟲，這樣的爬蟲有什麼意義？ ！當然有，小爬蟲的意義是自動獲取訊息，從而節省人力和時間。

不追求速度需要代理IP嗎？

有些爬蟲任務任務量稍大，但如果不追求速度，可以分化，丟在伺服器裡，每天爬一點；或者丟在很多伺服器裡同時工作，一個月後完成工作。這不會觸發目標網站的反爬策略，也就不需要代理IP了。

總之，並非所有的爬蟲都不能離開代理IP工作，有些小爬蟲不需要代理IP，有些不求速度的爬蟲也不需要代理IP，但是如果爬蟲工作任務量較大，又需要按時完成，就必須找代理IP幫忙，不同任務量的爬蟲，所需的代理IP量也不一樣了。