在爬取國外被[]牆網站資料時,就必須使用命令列代理了,要不然就得在國外買一臺伺服器跑了。。
1、首先你需要有一把梯子,梯子教程不講,[滑稽]

pip insatll shadowsocks

2、然後配置shadowsocks(一個json格式檔案):

{
    "server":"伺服器地址",
    "server_port":port,
    "local_address":"127.0.0.1",
    "local_port":1080,
    "password":"password",
    "method":"aes-256-cfb",
}

3、然後就是連線伺服器,監聽埠1080, 關閉 的話可以直接 kill pid

sudo sslocal -c shawsockets.conf -d start

4、安裝polipo
Polipo 是一個小而快速的快取 web 代理程式(web 快取, HTTP 代理, 代理伺服器)。

sudo apt-get install polipo

5、配置polipo
在家目錄中建立 .polipo 檔案

socksParentProxy = "localhost:1080"
socksProxyType = socks5

6、啟動&停止polipo

sudo service polipo start
sudo service polipo stop

7、使用

http_proxy=127.0.0.1:8123 curl ip.gs
Current IP / 當前 IP: 172.93.38.1xx
...
...
  /\_/\
=( °w° )=
  )   (  //
 (__ __)//

8、 設定環境變數 然後省去每次使用代理時輸入http_proxy
把下面兩條命令放在.bashrc 檔案裡 如果使用的時zsh 就放在.zshrc裡

export http_proxy = "127.0.0.1:8123"
export https_proxy = "127.0.0.1:8123"