•  

• 
  __author__ = 'MrChen'
   
  import urllib.request
  import time
  import os
   
  #使用build_opener()是為了讓python程式模仿瀏覽器進行訪問
  opener = urllib.request.build_opener()
  opener.addheaders = [('User-agent', 'Mozilla/5.0')]
   
  #專刷某個頁面
  print('爬蟲2：')
  print('開始登入以下網站：')
  print ("Start : %s" % time.ctime())
  tempUrl  = 'https://blog.csdn.net/qq_36958104/article/details/81478364'
  tempUrl1 = 'https://blog.csdn.net/qq_36958104/article/details/81298356'
  tempUrl2 = 'https://blog.csdn.net/qq_36958104/article/details/81336086'
  tempUrl3 = 'https://blog.csdn.net/qq_36958104/article/details/81477140'
  tempUrl4 = 'https://blog.csdn.net/qq_36958104/article/details/81478815'
  tempUrl5 = 'https://blog.csdn.net/qq_36958104/article/details/81478551'
  tempUrl6 = 'https://blog.csdn.net/qq_36958104/article/details/81477538'
  tempUrl7 = 'https://blog.csdn.net/qq_36958104/article/details/81298631'
  tempUrl8 = 'https://blog.csdn.net/qq_36958104/article/details/81298325'
  tempUrl9 = 'https://blog.csdn.net/qq_36958104/article/details/81298300'
  tempUrl10 = 'https://blog.csdn.net/qq_36958104/article/details/81298262'
  tempUrl11 = 'https://blog.csdn.net/qq_36958104/article/details/81207606'
  tempUrl12 = 'https://blog.csdn.net/qq_36958104/article/details/81153108'
  tempUrl13 = 'https://blog.csdn.net/qq_36958104/article/details/81484623'

  for j in range(20000):
      try :
          opener.open(tempUrl)
          opener.open(tempUrl1)
          opener.open(tempUrl2)
          opener.open(tempUrl3)
          opener.open(tempUrl4)
          opener.open(tempUrl5)
          opener.open(tempUrl6)
          opener.open(tempUrl7)
          opener.open(tempUrl8)
          opener.open(tempUrl9)        
          opener.open(tempUrl10)
          opener.open(tempUrl11)
          opener.open(tempUrl12)
          opener.open(tempUrl13)
          print('%d %s' % (j , tempUrl))
          print('%d %s' % (j , tempUrl1))
          print('%d %s' % (j , tempUrl2))
          print('%d %s' % (j , tempUrl3))
          print('%d %s' % (j , tempUrl4))
          print('%d %s' % (j , tempUrl5))
          print('%d %s' % (j , tempUrl6))
          print('%d %s' % (j , tempUrl7))
          print('%d %s' % (j , tempUrl8))
          print('%d %s' % (j , tempUrl9))
          print('%d %s' % (j , tempUrl10))
          print('%d %s' % (j , tempUrl11))
          print('%d %s' % (j , tempUrl12))
          print('%d %s' % (j , tempUrl13))
          time.sleep(30)
          print ("Start : %s" % time.ctime())
          
      except urllib.error.HTTPError:
         print('urllib.error.HTTPError')
         print ("HTTPError錯誤時間 : %s" % time.ctime())
         time.sleep(60)
         os.system("python pachongcsdn2.py")# 執行命令 重新開啟一個視窗

  
  # 發生異常之後延時重新開始執行下面的語句       
      except urllib.error.URLError:
          print('urllib.error.URLError')
          print ("URLError錯誤時間 : %s" % time.ctime())
          time.sleep(60)
   

•  
•  
•  
•  
•  
•  
•  
• os.sep：取代作業系統特定的路徑分隔符
• os.name：指示你正在使用的工作平臺比如對於Windows中，它是 'NT'，而對於的Linux / Unix使用者，它是 'POSIX'。
• os.getcwd：得到當前工作目錄，即當前的Python指令碼工作的目錄路徑。
• os.getenv()和os.putenv：分別用來讀取和設定環境變數
• os.listdir()：返回指定目錄下的所有檔案和目錄名
• os.remove(file)：刪除一個檔案
• os.stat（file）：獲得檔案屬性
• os.chmod(file)：修改檔案許可權和時間戳
• os.mkdir(name):建立目錄
• os.rmdir(name)：刪除目錄
• os.removedirs（r“c：\python”）：刪除多個目錄
• os.system()：執行外殼命令
• os.exit()：終止當前程序
• os.linesep：給出當前平臺的行終止符例如時，Windows使用 '\ r \ n'，Linux的使用 '\ n' 而Mac的使用 '\ r'
• os.path.split()：返回一個路徑的目錄名和檔名
• os.path.isfile()狀語從句：os.path.isdir()分別檢驗給出的路徑的英文一個目錄還是檔案
• os.path.existe()：檢驗給出的路徑是否真的存在
• os.listdir(dirname)：列出目錄名稱下的目錄和檔案
• os.getcwd()：獲得當前工作目錄
• os.curdir：返回當前目錄（ ''）
• os.chdir(dirname)：改變工作目錄到目錄名
• os.path.isdir(name)：判斷名字是不是目錄，不是目錄就返回假
• os.path.isfile(name)：判斷名字這個檔案是否存在，不存在返回假
• os.path.exists(name)：判斷是否存在檔案或目錄名
• os.path.getsize(name)：或得檔案大小，如果名稱是目錄返回0L
• os.path.abspath(name)：獲得絕對路徑
• os.path.isabs()：判斷是否為絕對路徑
• os.path.normpath(path)：規範路徑字串形式
• os.path.split(name)：分割檔名與目錄（事實上，如果你完全使用目錄，它也會將最後一個目錄作為檔名而分離，同時它不會判斷檔案或目錄是否存在）
• os.path.splitext()：分離檔名和副檔名
• os.path.join(path,name)：連線目錄與檔名或目錄
• os.path.basename(path)：返回檔名
• os.path.dirname(path)：返回檔案路徑

檔案操作

os.mknod("text.txt")：建立空檔案
fp = open("text.txt",w)：直接開啟一個檔案，如果檔案不存在就建立檔案

關於open的模式

w寫方式
a追加模式開啟（從EOF開始，必要時建立新檔案）
r +以讀寫模式開啟
w +以讀寫模式開啟
a +以讀寫模式開啟
rb以二進位制讀模式開啟
wb以二進位制寫模式開啟（參見w）
ab以二進位制追加模式開啟（參見a）
rb +以二進位制讀寫模式開啟（參見r +）
wb +以二進位制讀寫模式開啟（參見w +）
ab +以二進位制讀寫模式開啟（參見a +）

關於檔案的函式

fp.read([size])                    

尺寸為讀取的長度，以位元組為單位

fp.readline([size])                

讀一行，如果定義了大小，有可能返回的只是一行的一部分

fp.readlines([size])               

把檔案每一行作為一個列表的一個成員，並返回這個列表。其實它的內部是通過迴圈呼叫的ReadLine（）來實現的。如果提供大小引數，尺寸是表示讀取內容的總長，也就是說可能只讀到檔案的一部分。

fp.write(str)                      

把STR寫到檔案中，寫（）並不會在STR後加上一個換行符

fp.writelines(seq)                  

把SEQ的內容全部寫到檔案中（多行一次性寫入）。這個函式也只是忠實地寫入，不會在每行後面加上任何東西。

fp.close()                        

關閉檔案.python會在一個檔案不用後自動關閉檔案，不過這一功能沒有保證，最好還是養成自己關閉的習慣。如果一個檔案在關閉後還對其進行操作會產生ValueError

fp.flush()                                      

把緩衝區的內容寫入硬碟

fp.fileno()                                      

返回一個長整型的”檔案標籤“

fp.isatty()                                      

檔案是否是一個終端裝置檔案（UNIX系統中的）

fp.tell()                                         

返回檔案操作標記的當前位置，以檔案的開頭為原點

fp.next()                                       

返回下一行，並將檔案操作標記位移到下一行。把一個檔案用於for ... in file這樣的語句時，就是呼叫next（）函式來實現遍歷的。

fp.seek(offset[,whence])              

將檔案打操作標記移到偏移的位置。這個偏移一般是相對於檔案的開頭來計算的，一般為正數。但如果提供了何處引數就不一定了，從那裡可以為0表示從頭開始計算，1表示以當前位置為原點計算0.2表示以檔案末尾為原點進行計算。需要注意，如果檔案以一個或一個+的模式開啟，每次進行寫操作時，檔案操作標記會自動返回到檔案末尾。

fp.truncate([size])                       

把檔案裁成規定的大小，預設的是裁到當前檔案操作標記的位置。如果尺寸比檔案的大小還要大，依據系統的不同可能是不改變檔案，也可能是用0把檔案補到相應的大小，也可能是以一些隨機的內容加上去。

目錄操作

os.mkdir("file")                   

建立目錄

複製檔案：

shutil.copyfile("oldfile","newfile")       

的oldfile和newfile中都只能是檔案

shutil.copy("oldfile","newfile")            

的oldfile只能是資料夾，newfile中可以是檔案，也可以是目標目錄

shutil.copytree("olddir","newdir")        

複製資料夾.olddir和NEWDIR都只能是目錄，且NEWDIR必須不存在

os.rename("oldname","newname")       

重新命名檔案（目錄）。檔案或目錄都是使用這條命令

shutil.move("oldpos","newpos")   

移動檔案（目錄）

os.rmdir("dir")

只能刪除空目錄

shutil.rmtree("dir")    

空目錄，有內容的目錄都可以刪

os.chdir("path")   

轉換目錄，換路徑

程式碼演示

1. #!/usr/bin/env python

2.  

3. import os

4.  

5. print os.getcwd() #獲取當前路徑

6.  

7. print os.listdir('/mnt') #列出/mnt下面的所有目錄和檔案

8.  

9. print os.mkdir('lala') #建立目錄lala和haha

10. print os.mkdir('haha')

11.  

12. print os.rmdir('haha') #刪除haha

13.  

14. print os.rename('example.txt','back.txt') #修改檔名

執行：

1. [email protected]:/mnt/python# python os.py

2. /mnt/python

3. ['proc', 'perl_bash', 'docker', 'warn', 'blog', 'python', 'hostname', 'test', 'tags', 'perl_DB', 'shell', 'perl_test', '.vimrc~', 'club.yml', 'test.c', '.vimrc']

4. None

5. None

6. None

7. None

8. [email protected]:/mnt/python# ls

9.