網路爬蟲最終要的資源就是IP地址，尤其是在各大網站紛紛把自家資料當初看家寶貝的“大資料時代”。即使IP地址多了，爬蟲改成分散式，管理那麼多伺服器上的爬蟲也是夠頭疼的。一種方法就是配置代理伺服器，爬蟲只在幾臺機器是跑就可以啦。

配置多IP地址

Linux（以Ubuntu為例）配置單機多IP地址還是很簡單的，編輯/etc/netword/interfaces檔案即可：

auto eno1:90iface eno1:0 inet static
        address 192.168.8.90
        netmask 255.255.255.0
        gateway 192.168.8
 
.1auto eno1:91iface eno1:91 inet static
        address 192.168.8.91
        netmask 192.168.8.255
        gateway 192.168.8.1

以上配置中，eno1是網絡卡的名字，eno1:90是配置在該網絡卡的一個虛擬網絡卡的名字，並給該虛擬網絡卡配置了IP：192.168.8.90。按照這個規則，可以給eno1這個網絡卡繫結很多IP，如果這些IP都是公網IP，就可以把它當配置成爬蟲的多代理服務。

配置squid3多IP出口

機器有了多IP，如果不對squid做相應的配置，出口IP還只能是一個，其他IP都不能用得上。
編輯/etc/squid/squid.conf配置檔案，做相應配置

acl ip_90 myip 192.168.8.90tcp_outgoing_address 192.168.8.90 ip_90

acl ip_91 myip 192.168.8.91tcp_outgoing_address 192.168.8.91 ip_91

以上配置就是對每個進來的IP的請求設定出口IP，從而達到一機多IP代理的實現。