使用爬蟲採集資料時,有時為了隱藏真實IP位址或規避某些網站的限制,我們需要使用代理IP。同時,透過HTML和CSS選擇器,我們可以定位並提取頁面中的特定資料。以下是一個基本的步驟說明,以Python的requests和BeautifulSoup函式庫為例:


步驟一:安裝必要的函式庫

首先,你需要安裝requests和BeautifulSoup函式庫。你可以使用pip進行安裝:


bash


pip install requests beautifulsoup4



步驟二:設定代理IP

在發送HTTP請求時,你可以透過proxies參數設定代理IP。以下是一個範例:


Python直譯


import requests

proxies = {

'http': 'http://your_proxy_ip:port',

'https': 'https://your_proxy_ip:port',

}


response = requests.get('http://example.com', proxies=proxies)


在上面的程式碼中,你需要將'your_proxy_ip:port'替換為你的代理IP和連接埠。


步驟三:解析HTML並擷取數據

你可以使用BeautifulSoup函式庫來解析HTML並擷取資料。以下是一個範例:


Python直譯


from bs4 import BeautifulSoup


soup = BeautifulSoup(response.text,'html.parser')


#使用CSS選擇器提取數據

data = soup.select('css_selector')


for item in data:

print(item.text)


在上面的程式碼中,你需要將'css_selector'替換為實際的CSS選擇器。 CSS選擇器用於定位HTML頁面中的元素。例如,如果你想提取所有的段落文本,你可以使用'p'作為CSS選擇器。


注意:在使用爬蟲時,請確保遵守網站的robots.txt檔案和相關法律法規,不要對網站造成過多的壓力或進行惡意爬取。同時,有些代理IP可能並不穩定或需要付費,你需要依照自己的需求選擇合適的代理IP服務。