在實際的完整爬蟲工作中，通常有幾類爬蟲的組合體構成的。爬蟲依照實現的技術和結構可分為通用網路爬蟲、聚焦網路爬蟲、增量式網路爬蟲、深層網路爬蟲等類型。

通用網路爬蟲：可以叫作全網爬蟲，這類爬蟲爬取的目標資源在全互聯網。他們並且爬行的範圍目標數據是巨大的，正是由於其爬取的數據是海量數據，故而對於這類爬蟲來說，其爬取的性能要求是非常高的，這種網絡爬蟲主要應用於大型搜尋引擎中，有非常高的應用程式價值。

通用網路爬蟲在爬行的時候，必須要採取一定的爬行策略，除了控制頻率，爬蟲ip代理的合理運用也尤為重要，畢竟這樣的頻繁操作下會對網站造成壓力，換ip能夠隱藏訪問網站時的身份，大大減少帳號被封的風險。

聚焦網路爬蟲：也叫主題網路爬蟲，聚焦網路爬蟲是依照預先定義好的主題有選擇地進行網頁爬取的一種爬蟲，聚焦網路爬蟲不像通用網路爬蟲一樣將目標資源定位在全網路中，而是將爬取的目標網頁定位在與主題相關的頁面中，此時，可以大幅節省爬蟲爬取時所需的頻寬資源和伺服器資源。聚焦網路爬蟲主要應用在特定資訊的爬取中，主要為某一類特定的人群提供服務。

增量式網路爬蟲：指在更新的時候只更新改變的地方，而未改變的地方則不更新，所以增量式網路爬蟲，在爬取網頁的時候，只爬取內容發生變化的網頁或新產生的網頁，對於未發生內容變化的網頁，則不會爬取。增量式網路爬蟲在某種程度上能夠保證所爬取的頁面，盡可能是新頁面。

深層網路爬蟲：網路中網頁依存在方式分類，可分為表層頁面及深層頁面。所謂的表層頁面，指的是不需要提交表單，使用靜態的連結就能夠到達的靜態頁面；而深層頁面則隱藏在表單後面，不能透過靜態連結直接獲取，是需要提交一定的關鍵字之後才能夠取得得到的頁面。

在網路中，深層頁面的數量往往比表層頁面的數量多很多，故而，我們需要想辦法爬取深層頁面，爬取深層頁面，需要想辦法自動填寫好對應表單，所以，深層網絡爬蟲最重要的部分即為表單填寫部分。

98IP 代理是各類爬蟲需要換ip的最佳得力助手，高匿且延遲低，幫助用戶快速順利地完成爬蟲任務