1. 程式人生 > >python第一個爬蟲腳本

python第一個爬蟲腳本

python -c get makedirs www 腳本 data close htm

import urllib.request
import re
import os

url = "http://www.budejie.com/" # 爬的地址

def get_page(url):
page = urllib.request.urlopen(url).read() # 獲取到該地址的所有內容
# page=page.decode(‘gbk‘) #轉碼
page = page.decode(‘utf8‘)
return page
#print(page)
def get_content(html):
zz = r‘<div class="j-r-list-c">.+?</div>.+?</div>‘
rge = re.findall(zz,html,re.S)
# reg = re.compile(r‘<div class="j-r-list-c">.+?</div>.+?</div>‘)
# return re.findall(reg,html)
return "".join(rge)

# print(get_page(url))
# print (get_content(get_page(url)))

zz = r‘data-original="(.+?)" title=".+?" alt="(.+?)"/>‘
html = re.findall(zz,get_content(get_page(url)))
print(html)


def mkdir(path):
folder = os.path.exists(path)

if not folder: # 判斷是否存在文件夾如果不存在則創建為文件夾
os.makedirs(path) # makedirs 創建文件時如果路徑不存在會創建這個路徑
print("創建新文件夾")

print("創建成功")
else:
print("該文件夾已經存在")

img_path = ‘D:/photo/‘
mkdir(img_path)

img_path = "D:/photo/"
mkdir(img_path)
i = 0

for line in html:
line = html[i]
# 判斷是否是gif圖片
# if str(line[0]).endswith(".gif"):
p1 = line[0]
p2 = line[1]
print(p2 + " " + p1)
url = p1
# 下載gif圖片放到D:/photo/文件夾裏面
web = urllib.request.urlopen(url)
data = web.read()
f = open(img_path + p2 + ".gif", "wb")
f.write(data)
f.close()
i = i + 1

python第一個爬蟲腳本