1. 程式人生 > >Windows上利用Python自動切換代理IP的終極方案!

Windows上利用Python自動切換代理IP的終極方案!

宣告下:不同於網路上千百篇方法,下文是經過各種嚴格測試都通過的,同時也是一個實驗的過程,排除了各種不靠譜的方法。有需要的可以評論來討論,想要原始碼和相關參考文獻或筆記的,也可以找我。

思路及啟發

先說一下我這一路實驗的思路吧,這個至關重要。
之前一直在用Python做爬蟲抓取資料,發現本機IP的問題不解決,爬蟲相當於白費了。然後各種百度,不管是用urllib2還是requests的代理設定,都不管用。然後又各種搜尋Python更改windows代理的設定,還需要接觸windos底層API,有複雜又不好實現。於是爬蟲的學習就放棄了好長一段時間。
最近因為一直在用AutoHotkey大大加快電腦操作效率,各種快捷鍵和代替手動操作一些常規系統設定。突發奇想,想讓它自動開啟IE的Internet設定,然後自動點選“區域網設定”,在自動在代理框裡輸入IP地址,按回車完成設定。這真是個好主意~
不過失敗了。。。因為AHK在IE設定彈出的框框中選擇某一個輸入框,很麻煩,我也沒法實現。所以就在想另一個辦法,因為AHK操作Windows的cmd命令很方便,所以在想能不能用它開啟cmd然後用命令設定IE呢?
然後又各種百度。發現這是可以通過reg add

登錄檔設定來實現的!於是,就開啟了reg命令的百度之旅。
按照網上各種方法,都指向了登錄檔的這個地方:
HKEY_CURRENT_USER\Software\Microsoft\Windows\CurrentVersion\Internet Settings
大家都說在這個路徑下,有這麼3個項非常重要:

  • ProxyEnable - 使用代理
  • ProxyServer - 代理IP的地址及埠號
  • AutoConfigURL - 自動配置指令碼(PAC)的地址
    於是試著用reg add命令操作:
    reg add "HKCU\Software\Microsoft\Windows\CurrentVersion\Internet
    Settings" /v ProxyEnable /tREG_DWORD /d 1 /f reg add "HKCU\Software\Microsoft\Windows\CurrentVersion\Internet Settings" /v ProxyServer /d"192.168.1.1:8080" /f
    這兩句第一個是開啟“代理”,第二個是設定代理的IP地址。
    先在命令列裡敲了下命令,然後開啟regedit登錄檔,重新整理下看,還真改了!
    然後手動開啟IE設定,發現裡面的內容也確實改變了。然後再開啟瀏覽器,開啟IP查詢的網址,自己的IP真的變了!
    至此以為大功告成了。結果再用時,發現大錯特錯——
    再次用命令列改我指定的IP地址後,網頁打不開了。。。
    來回反覆除錯查錯之後,我發現一個“大祕密”:如果不手動開啟IE設定裡的區域網設定視窗的話,所有代理設定是不生效的。這是為什麼呢?
    百度裡搜尋不到。
    於是我就用英文到Stackoverflow去搜,結果發現實際影響本機代理的登錄檔專案並不是之前的那幾個!(真懷疑網上那些人說自己用這個項達到定時設定代理的人是不是玩真的。。。)
    而是這個位置的項:
    HKCU\Software\Microsoft\Windows\CurrentVersion\Internet Settings\Connections

    其中的DefaultConnectionSettings才是真正需要改的東西。開啟以後各種亂碼,原來是二進位制值。
    不過用編輯器看二進位制值,確實發現代理IP地址和自動配置指令碼的地址都在裡面。
    那怎麼辦呢?AHK可不會操作二進位制,也沒什麼方法能用reg add命令列直接把二進位制值注入。
    然後又進入無盡的百度模式。

    登錄檔的二進位制項修改方式的突發奇想

    忘了什麼啟發的我吧,好像是自己無聊到在登錄檔上亂點,發現我刻意匯出登錄檔。
    然後匯出了下試試,發現是個.reg檔案。然後無聊雙擊一下,發現可以把這個檔案匯入到登錄檔!
    於是靈光一閃,趕緊用文字編輯器開啟這個.reg檔案,發現裡面是文字畫的十六進位制碼,類似這樣的:
    Windows Registry Editor Version 5.00
    [HKEY_CURRENT_USER\Software\Microsoft\Windows\CurrentVersion\Internet Settings\Connections]
    "DefaultConnectionSettings"=hex:46,00,00,00,03,00,00,00,07,00,00,00,0e,00,00,\
    00,31,39,32,2e,31,36,38,2e,31,2e,31,3a,38,30,00,00,00,00,21,00,00,00,68,74,\
    74,70,3a,2f,2f,78,64,75,6f,74,61,69,2e,63,6f,6d,2f,70,52,73,4f,33,4e,47,52,\
    33,2d,2e,70,61,63,00,00,00,00,00,00,00,00,00,00,00,00,00,00,00,00,00,00,00,\
    00,00,00,00,00,00,00,00,00,00,00,00,00
    "SavedLegacySettings"=hex:46,00,00,00,c1,0c,00,00,07,00,00,00,0e,00,00,00,31,\
    39,32,2e,31,36,38,2e,31,2e,31,3a,38,30,00,00,00,00,21,00,00,00,68,74,74,70,\
    3a,2f,2f,78,64,75,6f,74,61,69,2e,63,6f,6d,2f,70,52,73,4f,33,4e,47,52,33,2d,\
    2e,70,61,63,00,00,00,00,00,00,00,00,00,00,00,00,00,00,00,00,00,00,00,00,00,\
    00,00,00,00,00,00,00,00,00,00,00

    於是最終答案就出來了(這裡開始有Python介入)

    這個時候我還不知道這是正確答案,只是想試一試:
    用Python組成一段有效的二進位制碼(其實是十六進位制) -> 把登錄檔值封裝為reg檔案 -> 通過命令列的reg import命令匯入reg檔案 -> 成功!
    然後問題就在於怎麼安裝正確的格式組成

DefaultConnectionSettings十六進位制值的分析


How to set 'automatic configuration script' for a dial-up connection programmatically?


接著開始嘗試對照著那段二進位制值看一看。於是我把這段十六進位制碼做成PDF,方便做筆記,大概是這樣的:


_Windows代理設定登錄檔值的十六進位制分析DefaultConnectionSettings


實際的十六進位制值果然和網上的不同。經過實驗,後面一大段畫刪除線的,都是沒用的,刪除也沒關係。實際上,它只有在你手動開啟IE設定面板時,才自動加上的。不管它,實際上有用的十六進位制並不長。總結下也就這麼幾位:
46 00 00 00 00 00 00 00 開關 00 00 00 IP長度 00 00 00 IP地址 00 00 00 是否跳過本地代理 21 00 00 00 PAC地址
其中,通過規律發現每個資訊的分隔符是三個00,即00 00 00。上面有7個00的,因為沒什麼用我就不講了(其實第四個代表自增數,直接為00就好了)
當然,其中漢字的部分是十六進位制格式的。
這幾個漢字,是其中最重要的資訊,具體如下:

  • 開關(switcher): 主要代表IE設定中複選框的選中情況,你可以開啟IE設定看看。以下是所有可用的值(括號中是我用的別名):
    0F全部開啟(ALL);01全部禁用(Off)
    03使用代理伺服器(ProxyOnly);05使用自動指令碼(PacOnly);
    07使用指令碼和代理(ProxyAndPac);09開啟自動檢測設定(D);
    0B開啟自動檢測並使用代理(DIP);0D開啟自動檢測並使用指令碼(DS);
  • IP長度:必須是十六進位制的,0就是00,7就是07,10就是0a,11是0b。在Python中,格式是0xa,所以需要把格式統一為登錄檔的標準。
  • IP地址:直接把IP安裝每個字元轉十六進位制就好了。如果IP為空的話,就直接為00。這時會看到switcher後面跟了11個00。。。
  • 是否跳過本地代理:這段有點複雜,實際上我們幾乎不用。如果不用的話直接為00就好了。但是用的話,就必須寫為:附加資訊長度00 00 00 附加資訊這樣的。
    • 附加資訊:只能是這句話:<local>
    • 附加資訊長度:因為附加資訊是固定的,所以共7位,寫為07就好了。
  • PAC地址:這個簡單,直接把PAC地址翻譯為十六進位制就好了。如果沒有則什麼都不寫。

至此這段十六進位制值就全部解析完畢了。
剩下的就是把你需要的代理IP地址和PAC地址作為引數傳進去就好了。然後把這段值封裝到reg檔案中的對應位置就完全ok了~這步太簡單,就不用多說了。

增加更方便的功能

各種測試成功後,非常高興。但是還有點餘味不足,就想著多新增點方便的功能。
這個Python檔案的最後成品可以做到這些事:

  • 直接通過命令列傳引數達到各種設定代理的效果。這個很自豪~第一次用系統引數功能,哈哈哈!
  • 在資料夾中直接雙擊達到效果
  • 在別的Python檔案中(如爬蟲)作為模組被使用
  • 被AHK呼叫

在Autohotkey中呼叫——極其方便極其傻瓜式操作!

不忘初心嘛~
python處理一切完成後,又回到了AHK中。
這一步可能也就寫了幾分鐘,讓AHK直接帶引數開啟python指令碼就做到了。比如設定一個代理IP地址:

path = "D:\setRegProxy.py" ;這裡是python指令碼的地址,隨便放哪都行。
key   = "0.0.0.0:80"  ;這裡根據需要設定為代理地址
Run % path " -o ProxyOnly " key

這樣就齊活了~
當然,我的AHK指令碼實現的功能比這個還要爽快——彈出一個小輸入框,直接貼上一個ip地址,按回車就能實現代理設定。

Python指令碼的原始碼(setProxy.py)

只要機器上安裝了Python 2.x版本就行,不需要依賴安裝和設定其他任何東西。

# coding:utf-8
'''
  # Title   : setRegProxy
  # Author  : Solomon Xie
  # Utility : Via Registry key of windows, change proxy settings of IE on Windows.
  # Require : Python 2.x, Windows 7
  # Reg Path: HKUC\Software\Microsoft\Windows\CurrentVersion\Internet Settings\Connections
  # Anlysis : 登錄檔的二進位制值(及關鍵資訊)如下:"46 00 00 00 00 00 00 00 開關 00 00 00 IP長度 00 00 00 IP地址 00 00 00 是否跳過本地代理 21 00 00 00 PAC地址"
  # Method  : 通過在cmd中匯入reg檔案的方式執行並立即生效。
  # Notes   : - 二進位制值的設定選項在程式碼中已經體現了。本程式碼可以根據需要自動設定代理。
  # switcher: 開關:0F全部開啟(ALL);01全部禁用(Off)
              03使用代理伺服器(ProxyOnly);05使用自動指令碼(PacOnly);
              07使用指令碼和代理(ProxyAndPac);09自動檢測設定(D);
              0B自動檢測並使用代理(DIP);0D自動檢測並使用指令碼(DS);
'''
import os, sys, re, getopt

def regIESettings(op, noLocal=False, ip='', pac=''):
  '''
    # 根據需求生成Windows代理設定登錄檔的.reg檔案內容
    # DefaultConnectionSettings項是二進位制項
    # 而具體這個二進位制檔案怎麼解析,在收藏的PDF中有詳細解釋。
  '''
  if not op : return
  # 如果是設定IP代理的模式 則檢查IP地址的有效性(允許為空,但不允許格式錯誤)
  if 'Proxy' in op and not ip == '': 
    # if len(extractIp(ip))==0
    if 1 > len(re.findall('([0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3})\s*:{0,1}\s*([0-9]{1,5}){0,1}',ip)) :
      print '---Unexpected IP Address:%s---'%ip
      return
  options = {'On':'0F','Off':'01','ProxyOnly':'03','PacOnly':'05','ProxyAndPac':'07','D':'09','DIP':'0B','DS':'0D'}
  if op == 'Off':
    reg_value = '46,00,00,00,00,00,00,00,01'
  else:
    switcher = options.get(op)
    if not switcher:
      print '\n---Unexpected Option. Please check the value after [-o]---\n'
      return
    skipLocal = '07,00,00,00,%s'%__toHex('<local>') if noLocal else '00'
    reg_value = '46,00,00,00,00,00,00,00,%(switcher)s,00,00,00,%(ipLen)s,00,00,00,%(ip)s00,00,00,%(skipLocal)s,21,00,00,00%(pac)s' % ({ 'switcher':switcher,'ipLen':__toHex(len(ip)),'ip':__toHex(ip)+',' if ip else '','infoLen':__toHex(len('<local>')),'skipLocal':skipLocal,'pac':','+__toHex(pac) if pac else '' })
  settings = 'Windows Registry Editor Version 5.00\n[HKEY_CURRENT_USER\Software\Microsoft\Windows\CurrentVersion\Internet Settings\Connections]\n"DefaultConnectionSettings"=hex:%s' % reg_value
  # print 'Using proxy address: %s' % ip
  print op, ip, pac
  print options[op] +'\n'+ __toHex(ip) +'\n'+ __toHex(pac)
  print settings
  # === 生成reg檔案並匯入到登錄檔中 ===
  filePath = '%s\DefaultConnectionSettings.reg'%os.getcwd() 
  with open(filePath, 'w') as f:
    f.write( settings )
  cmd = 'reg import "%s"' %filePath
  result  = os.popen(cmd)
  if len(result.readlines()) < 2 :
    print '---Successfully import proxy into Registry on this machine.---'
  return 

def __toHex(obj):
  if   obj == '': return ''
  elif obj == 0 or obj == '0' or obj == '00': return '00'
  if isinstance(obj, str):
    rehex = [str(hex(ord(s))).replace('0x','') for s in obj]
    return ','.join(rehex)
  elif isinstance(obj, int):
    num = str(hex(obj)).replace('0x', '')
    return num if len(num)>1 else '0'+num # 如果是一位數則自動補上0,7為07,e為0e

if __name__ == '__main__':
  # 獲取檔案外部引數
  # 用法:在命令列中輸入setRegProxy.py -o "ProxyOnly" -l --proxy"0.0.0.0:80" -l
  opts, args = getopt.getopt(sys.argv[1:], 'o:p:a:l',['option=','proxy=','pac=','local'])
  print opts, args #除錯用
  if len(opts) > 0:
    op, ip, pac = '', '', ''
    noLocal = False
    for o,a in opts:
      if   o == '-o' or o == '--option':  op = a
      elif o == '-p' or o == '--proxy' :  ip = a
      elif o == '-a' or o == '--pac'   : pac = a
      elif o == '-l' or o == '--local' : noLocal = False
    pac = 'http://xduotai.com/pRsO3NGR3-.pac' if not pac else pac
    if op == 'ProxyOff':
      regIESettings(op='Off', ip=ip, pac=pac, noLocal=noLocal)
      regIESettings(op='PacOnly', ip=ip, pac=pac, noLocal=noLocal)
    elif op == 'PacOff':
      regIESettings(op='Off', ip=ip, pac=pac, noLocal=noLocal)
      regIESettings(op='ProxyOnly', ip=ip, pac=pac, noLocal=noLocal)
    else:
      regIESettings(op=op, ip=ip, pac=pac, noLocal=noLocal)

Autohotkey原始碼

Autohotkey怎麼用呢?太簡單了,傻到爆!
直接官網下載安裝一個Autohotkey軟體,也就幾M。然後呢,新建一個文字檔案,把下面內容貼上進去。把檔名字尾改為.ahk,然後雙擊就啟動了指令碼哈哈!
這時你試著按一下鍵盤上的ScrollLock鍵,就會彈出來一個對話方塊。效果是這樣的:


按下ScrollLock鍵後彈出的框框

你可以在這裡輸入改代理的命令~ 我設計的命令都非常簡單,如下:

  • 輸入proxy,就會開啟IE設定的視窗
  • 輸入proxy 192.168.1.1:8080 ,就會把代理設定為這個IP
  • 輸入proxy on,就會開啟代理(但是IP為空)
  • 輸入proxy off,就會關閉代理
  • 輸入pac http://abc.com/123.pac,就開啟某自動代理設定指令碼
  • 輸入pac off,就會關閉自動指令碼

輸入指令的樣子

注意:

  1. 我這裡註冊的鍵是鍵盤上的ScrollLock按鈕,按一下就有了。也可以自己設定一個。
  2. 下面的程式碼是處理過的,實際上這個按鍵遠比它要方便的多:它是我的快速操作殺手鐗,一條命令實現巨多功能。如有感興趣的可以聯絡我討論,或者看我的下一篇專門針對AHK的文章(如果我不犯懶寫了的話)。
  3. 我設定的指令是proxy ??這樣的,如果嫌長或者不方便,可以改為別的自己用著舒服的。甚至不用彈出框,直接按一下F1之類的就完成設定都可以。不過這就需要稍微瞭解下AHK語法啦~(也不難)
ScrollLock:: 
{
    ; --- 獲取指令及關鍵詞 ---
    InputBox, fullCommand, (Command Line Interface), Please give me a command:, , 600, 130 ;獲取命令
    if (fullcommand = "")
        Return
    ; -- 解析命令 ---
    split  := " " 
    StringGetPos , posi, fullCommand, %split%
    if (posi > 0) {
        StringMid, eng, fullCommand, 0 , posi ;
        StringMid, key, fullCommand, posi+2 , StrLen(fullCommand)
    }
    else {
        eng := fullCommand
        key := ""
    }
        ; === 開啟IE設定視窗的命令 ===
        ieSettings := "rundll32.exe shell32.dll, Control_RunDLL inetcpl.cpl, ,4L"
        ; === python指令碼的地址 ===
    path  := "D:\Solomon Xie\Workspace\setRegProxy.py" ;Python設定代理指令碼,可接收命令列引數
    ; ---開始執行操作---
    if      (eng = "" and fullcommand != "")
        Run % ieSettings
    else if (eng = "Proxy"){
        if (key = "")
            Return
        else if (key = "Off")
            Run % path " -o Off "
        else{
            if (key = "On")
                key := "" ;“獲取”歷史IP值太麻煩 先為空吧
            else
                key = "--proxy " %key%
            Run % path  " -o ProxyOnly " key
        }
    }
    else if (eng = "Pac" and key != "") {
        if (key = "" or key = "On")
            key = "http://xduotai.com/pRsO3NGR3-.pac"
        if (key = "Off")
            Run % path  " -o Off "
        else {
            key = "%key%"
            Run % path " -o PacOnly --pac " key
        }
    }
    Return
}