使用的是Python3+reqeusts
原始碼如下
更新於2017年9月16日

#encoding:gbk
import requests
import re
import time


def get_pages(url):#拼湊每一頁的url
    pages = []
    for i in range(1,5,1):#爬取第1到50頁的帖子
        new_url=url+'-'+str(i)
        pages.append(new_url)
    return pages

def get_links(url): #得到每一頁url下面每個帖子的url
 

    print("pageUrl\t"+url)
    user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
    headers = { 'User-Agent' : user_agent }
    mtext = requests.get(url,headers = headers)
    mtext.encoding='utf-8'
    basic_url = 'https://bbs.hupu.com'
    #print("html\t"+mtext.text)
    pattern = '<a  href="(/\d+.html)'
 
#帖子在html原始碼的正則表示式
    tie_items = re.findall(pattern,mtext.text,re.S)
    print("tie_items"+str(tie_items))
    link_tie = []
    for item in tie_items:
        link_tie.append(basic_url+item)
    return link_tie

def get_img(url,tie_id):#帖子url和帖子的id,以便回溯
    file_path = 'E:/bxj1' #圖片存放路徑
    user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
 

    headers = { 'User-Agent' : user_agent }
    mtext = requests.get(url,headers = headers)
    mtext.encoding='utf-8'
    pattern = 'https://i10.hoopchina.com.cn/.+?jpeg'#帖子html原始碼中圖片的正則
    items = re.findall(pattern,mtext.text,re.S)
    n = 1
    for link in items:
        filename = file_path+"/"+tie_id+"-"+str(n)+".jpg"
        mimg = requests.get(link, stream=True)
        n=n+1
        open(filename, 'wb').write(mimg.content)
        print(filename,'is download')



bxj = 'https://bbs.hupu.com/selfie'
alllinks = [] #具體每個帖子的url
page_list = get_pages(bxj) #每一頁的url
#將所有頁面中的所有帖子連結新增到alllinks列表中
for page in page_list:
    link_ties = get_links(page)
    for link_tie in link_ties:
        alllinks.append(link_tie)


print("alllinks"+str(alllinks))
#訪問每一個帖子
for img_link in alllinks:
    id= list(img_link.split('/')[-1].split('.'[-1]))[0] #每個帖子的ID
    get_img(img_link,id) #download 圖片
    time.sleep(2)

控制檯列印如下

C:\Users\Administrator\AppData\Local\Programs\Python\Python35\python.exe D:/py_project/bxj.py
page_list ['https://bbs.hupu.com/selfie-1', 'https://bbs.hupu.com/selfie-2', 'https://bbs.hupu.com/selfie-3', 'https://bbs.hupu.com/selfie-4', 'https://bbs.hupu.com/selfie-5', 'https://bbs.hupu.com/selfie-6', 'https://bbs.hupu.com/selfie-7', 'https://bbs.hupu.com/selfie-8', 'https://bbs.hupu.com/selfie-9', 'https://bbs.hupu.com/selfie-10', 'https://bbs.hupu.com/selfie-11', 'https://bbs.hupu.com/selfie-12', 'https://bbs.hupu.com/selfie-13', 'https://bbs.hupu.com/selfie-14', 'https://bbs.hupu.com/selfie-15', 'https://bbs.hupu.com/selfie-16', 'https://bbs.hupu.com/selfie-17', 'https://bbs.hupu.com/selfie-18', 'https://bbs.hupu.com/selfie-19', 'https://bbs.hupu.com/selfie-20', 'https://bbs.hupu.com/selfie-21', 'https://bbs.hupu.com/selfie-22', 'https://bbs.hupu.com/selfie-23', 'https://bbs.hupu.com/selfie-24', 'https://bbs.hupu.com/selfie-25', 'https://bbs.hupu.com/selfie-26', 'https://bbs.hupu.com/selfie-27', 'https://bbs.hupu.com/selfie-28', 'https://bbs.hupu.com/selfie-29', 'https://bbs.hupu.com/selfie-30', 'https://bbs.hupu.com/selfie-31', 'https://bbs.hupu.com/selfie-32', 'https://bbs.hupu.com/selfie-33', 'https://bbs.hupu.com/selfie-34', 'https://bbs.hupu.com/selfie-35', 'https://bbs.hupu.com/selfie-36', 'https://bbs.hupu.com/selfie-37', 'https://bbs.hupu.com/selfie-38', 'https://bbs.hupu.com/selfie-39', 'https://bbs.hupu.com/selfie-40', 'https://bbs.hupu.com/selfie-41', 'https://bbs.hupu.com/selfie-42', 'https://bbs.hupu.com/selfie-43', 'https://bbs.hupu.com/selfie-44', 'https://bbs.hupu.com/selfie-45', 'https://bbs.hupu.com/selfie-46', 'https://bbs.hupu.com/selfie-47', 'https://bbs.hupu.com/selfie-48', 'https://bbs.hupu.com/selfie-49']
tie_items ['/14954995.html', '/20041029.html', '/20040708.html', '/20040548.html', '/20041549.html', '/20041614.html', '/20039151.html', '/20040984.html', '/20038352.html', '/20013344.html', '/20036573.html', '/20040754.html', '/19890076.html', '/19895152.html', '/20034056.html', '/19990039.html', '/20039679.html', '/20028276.html', '/20032332.html', '/20019927.html', '/20037582.html', '/20038324.html', '/20038982.html', '/20039949.html', '/20035537.html', '/19661088.html', '/20036540.html', '/20040250.html', '/19939316.html', '/20030362.html', '/20039819.html', '/20037245.html', '/20005113.html', '/19680445.html', '/19989175.html', '/20037972.html', '/20036510.html', '/20037832.html', '/20038652.html', '/20038500.html', '/19983549.html', '/19591641.html', '/20040509.html', '/19989165.html', '/20039320.html', '/19994787.html', '/20024524.html', '/20036204.html', '/20040774.html', '/20040196.html', '/19780400.html']
tie_items ['/20039478.html', '/20021185.html', '/20031214.html', '/20030476.html', '/19934730.html', '/20038386.html', '/20032500.html', '/20034757.html', '/20013709.html', '/20038654.html', '/20021044.html', '/20038876.html', '/20027685.html', '/20007956.html', '/20037668.html', '/19988261.html', '/20026195.html', '/19877898.html', '/20040299.html', '/19887587.html', '/20038474.html', '/20037996.html', '/20037314.html', '/20037285.html', '/19986729.html', '/20018093.html', '/19775823.html', '/20039161.html', '/20035851.html', '/20037691.html', '/20033756.html', '/20037113.html', '/20036186.html', '/20032295.html', '/20020954.html', '/20036905.html', '/20037747.html', '/20032639.html', '/20039079.html', '/20037255.html', '/19991391.html', '/20035635.html', '/20033386.html', '/20028516.html', '/20032022.html', '/20031486.html', '/19894097.html', '/20023121.html', '/20032656.html']
tie_items ['/20037248.html', '/20036547.html', '/20037709.html', '/20029517.html', '/19912404.html', '/20034363.html', '/20033257.html', '/20003561.html', '/20021352.html', '/20018753.html', '/19952882.html', '/20025761.html', '/20022075.html', '/20014741.html', '/20030473.html', '/20024464.html', '/20035903.html', '/20019598.html', '/20035949.html', '/20016980.html', '/20033240.html', '/20032903.html', '/20034394.html', '/20026223.html', '/20033465.html', '/20026491.html', '/20024456.html', '/20024780.html', '/20030126.html', '/20031776.html', '/19984788.html', '/20031373.html', '/20022349.html', '/20035153.html', '/20012615.html', '/20032445.html', '/20035245.html', '/20027519.html', '/20030875.html', '/20010224.html', '/20000420.html', '/20024751.html', '/19897907.html', '/20008848.html', '/20025787.html', '/20015131.html', '/19987418.html', '/20032214.html', '/20020226.html']
tie_items ['/20019306.html', '/19794657.html', '/20017983.html', '/20033759.html', '/20029002.html', '/20016788.html', '/20029594.html', '/20032875.html', '/20015485.html', '/20028330.html', '/20032513.html', '/20027060.html', '/20030070.html', '/20019676.html', '/20014723.html', '/20019117.html', '/20010068.html', '/20017120.html', '/20027222.html', '/20013117.html', '/20027070.html', '/20010552.html', '/20008103.html', '/20026039.html', '/20028406.html', '/20023584.html', '/20031056.html', '/20027338.html', '/20029565.html', '/20026380.html', '/20026435.html', '/20007415.html', '/20024140.html', '/20030676.html', '/20024108.html', '/20025124.html', '/19929863.html', '/20029659.html', '/20009688.html', '/20025284.html', '/20028703.html', '/20010925.html', '/20012181.html', '/20019083.html', '/20018264.html', '/20028757.html', '/20029590.html', '/20018127.html', '/18796306.html']
tie_items ['/20013221.html', '/20026440.html', '/20028244.html', '/20021708.html', '/20011593.html', '/19892473.html', '/19639146.html', '/19983383.html', '/20028615.html', '/20006829.html', '/20000164.html', '/20020642.html', '/20002972.html', '/19855236.html', '/20028234.html', '/20028292.html', '/20023320.html', '/20018336.html', '/20007585.html', '/20020595.html', '/19914046.html', '/19996720.html', '/20021937.html', '/20023159.html', '/19985722.html', '/19970030.html', '/20011163.html', '/20006570.html', '/20021198.html', '/20006730.html', '/20018567.html', '/20025354.html', '/20019899.html', '/20022878.html', '/19745940.html', '/20021606.html', '/20020500.html', '/20019109.html', '/19823360.html', '/20021959.html', '/19823966.html', '/19955689.html', '/19987194.html', '/20016748.html', '/20022225.html', '/19972385.html', '/20021579.html', '/20018142.html', '/19987960.html']
tie_items ['/20018710.html', '/20013650.html', '/20017913.html', '/20020838.html', '/20022940.html', '/20015195.html', '/20020686.html', '/20019889.html', '/20021428.html', '/20002371.html', '/20000828.html', '/19880307.html', '/20015372.html', '/20017612.html', '/20020628.html', '/20016948.html', '/20015074.html', '/20010306.html', '/20017131.html', '/20010559.html', '/20002170.html', '/20015404.html', '/20010713.html', '/20020530.html', '/20009959.html', '/20017975.html', '/20016775.html', '/20011400.html', '/20014740.html', '/20019882.html', '/20017430.html', '/19980998.html', '/20017803.html', '/19819136.html', '/19946593.html', '/20004571.html', '/19965972.html', '/19870259.html', '/20016027.html', '/20011153.html', '/20015785.html', '/19998627.html', '/20017282.html', '/20019528.html', '/20011427.html', '/20014198.html', '/20002370.html', '/20014525.html', '/20009340.html']
tie_items ['/19995050.html', '/20001033.html', '/19981903.html', '/19996251.html', '/19986495.html', '/20006241.html', '/19988726.html', '/20004640.html', '/20016953.html', '/20017064.html', '/19991449.html', '/19933376.html', '/19970577.html', '/20009424.html', '/20006799.html', '/20008942.html', '/19897049.html', '/20009583.html', '/19935201.html', '/19979742.html', '/20008525.html', '/19982718.html', '/20002812.html', '/20007605.html', '/19440328.html', '/19979687.html', '/19994730.html', '/20009119.html', '/20001185.html', '/20003970.html', '/20005009.html', '/19687716.html', '/20003412.html', '/20004418.html', '/19988333.html', '/20002417.html', '/20004646.html', '/19977471.html', '/19994171.html', '/20004367.html', '/20010422.html', '/20004995.html', '/20011966.html', '/20007947.html', '/20005448.html', '/19989846.html', '/20007579.html', '/20005234.html', '/20008077.html']
tie_items ['/19973656.html', '/15494409.html', '/20012594.html', '/19984413.html', '/20007441.html', '/20006820.html', '/20010999.html', '/20011611.html', '/19996331.html', '/20010719.html', '/20011655.html', '/20006865.html', '/20005495.html', '/20007296.html', '/20005398.html', '/19691574.html', '/19755441.html', '/20007376.html', '/19970333.html', '/20010469.html', '/19969166.html', '/19980947.html', '/20002146.html', '/19896113.html', '/20004578.html', '/20002415.html', '/20007445.html', '/19983113.html', '/20005185.html', '/20000964.html', '/20004666.html', '/20000439.html', '/20005447.html', '/20004117.html', '/19997640.html', '/19995463.html', '/19815623.html', '/19249566.html', '/19984861.html', '/20001760.html', '/19995330.html', '/20004249.html', '/20004289.html', '/19987075.html', '/20006715.html', '/20001580.html', '/19998934.html', '/20005021.html']
tie_items ['/19983066.html', '/19990648.html', '/19987888.html', '/20001128.html', '/20005420.html', '/20003626.html', '/19993504.html', '/20004874.html', '/20000069.html', '/20004253.html', '/19995712.html', '/20000356.html', '/20004931.html', '/19992067.html', '/19985280.html', '/19994663.html', '/20002991.html', '/20003358.html', '/20004327.html', '/19991763.html', '/19988361.html', '/19878955.html', '/19985946.html', '/19981462.html', '/19991034.html', '/19999882.html', '/19971217.html', '/19995504.html', '/19996935.html', '/20004656.html', '/19947691.html', '/19992949.html', '/19996478.html', '/20002378.html', '/19989935.html', '/19994425.html', '/19991735.html', '/20001783.html', '/19995486.html', '/20001986.html', '/20001443.html', '/19988022.html', '/19995118.html', '/19984147.html', '/20000870.html', '/19962931.html', '/20001834.html', '/19992511.html', '/19972861.html']
tie_items ['/19993678.html', '/19928036.html', '/19956432.html', '/19966175.html', '/19975168.html', '/19997871.html', '/18344339.html', '/19930773.html', '/19996438.html', '/19965160.html', '/19999635.html', '/19990734.html', '/19994416.html', '/19998316.html', '/19372885.html', '/19995289.html', '/19997159.html', '/19997516.html', '/19752914.html', '/19990496.html', '/19980916.html', '/19993162.html', '/20000538.html', '/20000235.html', '/19995570.html', '/19997563.html', '/19903347.html', '/19989350.html', '/19987741.html', '/19991631.html', '/19998699.html', '/19992688.html', '/19975374.html', '/19993898.html', '/19996918.html', '/19994060.html', '/19996832.html', '/19973634.html', '/19973521.html', '/19989187.html', '/19987486.html', '/19988774.html', '/19997853.html', '/19991831.html', '/19992492.html', '/19984886.html', '/19989630.html', '/19975967.html', '/19991843.html']
tie_items ['/19979470.html', '/19996949.html', '/19981565.html', '/19956153.html', '/19981258.html', '/19975674.html', '/19969648.html', '/19983569.html', '/19990273.html', '/19995310.html', '/19936780.html', '/19608000.html', '/19972911.html', '/19994847.html', '/19992293.html', '/19980786.html', '/19979006.html', '/19989026.html', '/19987101.html', '/19990692.html', '/19987600.html', '/19991706.html', '/19988735.html', '/19985945.html', '/19957585.html', '/19955168.html', '/19989303.html', '/19982740.html', '/19989167.html', '/19991750.html', '/19991901.html', '/19988845.html', '/19971340.html', '/19989270.html', '/19985537.html', '/19991929.html', '/19988702.html', '/19703419.html', '/19986077.html', '/19991130.html', '/19978744.html', '/19979029.html', '/19987156.html', '/19988969.html', '/19989980.html', '/19984178.html', '/19982738.html', '/19986677.html', '/19981035.html', '/19989489.html']
tie_items ['/19928722.html', '/19987345.html', '/19986464.html', '/19988071.html', '/19875340.html', '/19976057.html', '/19984517.html', '/19988631.html', '/19981422.html', '/19971570.html', '/19989300.html', '/19983561.html', '/19987661.html', '/19971245.html', '/19985368.html', '/19988252.html', '/19982190.html', '/19980968.html', '/19988657.html', '/19983649.html', '/19985000.html', '/19985833.html', '/19985926.html', '/19973920.html', '/19967962.html', '/19980876.html', '/19977102.html', '/19976631.html', '/19987331.html', '/19983204.html', '/19981179.html', '/19971563.html', '/19986204.html', '/19965874.html', '/19984523.html', '/19956070.html', '/19981644.html', '/19984752.html', '/19956608.html', '/19982834.html', '/19984180.html', '/19971536.html', '/19982117.html', '/19982906.html', '/19981679.html', '/19984263.html', '/19955436.html', '/19973702.html']
tie_items ['/19980397.html', '/19955681.html', '/19977365.html', '/19963641.html', '/19977495.html', '/19866958.html', '/19982835.html', '/19951145.html', '/19959413.html', '/19984134.html', '/15265835.html', '/19758103.html', '/19983929.html', '/19973366.html', '/19975228.html', '/19975944.html', '/19979735.html', '/19974506.html', '/19983101.html', '/19981546.html', '/19971476.html', '/19978526.html', '/19902367.html', '/19943626.html', '/19954401.html', '/19953591.html', '/19983774.html', '/19981744.html', '/19981279.html', '/19982407.html', '/19924519.html', '/19977859.html', '/19947784.html', '/19982333.html', '/19978452.html', '/19974941.html', '/19977129.html', '/19965644.html', '/19981559.html', '/19981531.html', '/19979136.html', '/19976594.html', '/19981522.html', '/19980934.html', '/19963319.html', '/19971358.html', '/19981105.html', '/19885106.html', '/19978746.html']
tie_items ['/19972980.html', '/19876170.html', '/19981378.html', '/19977880.html', '/19948166.html', '/19972280.html', '/19864235.html', '/19980510.html', '/19927309.html', '/19979927.html', '/19935819.html', '/19958468.html', '/19971653.html', '/19979315.html', '/19955987.html', '/19946099.html', '/19977573.html', '/19979145.html', '/19978514.html', '/19965622.html', '/19978121.html', '/19945443.html', '/19967914.html', '/19955742.html', '/19964933.html', '/19977479.html', '/19902277.html', '/19977080.html', '/19964918.html', '/19789933.html', '/19561056.html', '/19967952.html', '/19976398.html', '/19963447.html', '/19961795.html', '/19968454.html', '/19974378.html', '/19977400.html', '/19929417.html', '/19974060.html', '/19949111.html', '/19959841.html', '/19976958.html', '/19968278.html', '/19877879.html', '/19785785.html', '/19946300.html', '/19968198.html', '/19976060.html']
tie_items ['/19973338.html', '/19961566.html', '/19975859.html', '/19974237.html', '/19937445.html', '/19954389.html', '/19964894.html', '/19974215.html', '/19967735.html', '/19964045.html', '/19965798.html', '/19973361.html', '/19970554.html', '/19965891.html', '/19969795.html', '/19962432.html', '/19960183.html', '/19965945.html', '/19972129.html', '/19971393.html', '/19960125.html', '/19972714.html', '/19938234.html', '/19952979.html', '/19973374.html', '/19941982.html', '/19967912.html', '/19956428.html', '/19971787.html', '/19966861.html', '/19971059.html', '/19949137.html', '/19971883.html', '/19971092.html', '/19964908.html', '/19971308.html', '/19947636.html', '/19803767.html', '/19946046.html', '/19954593.html', '/19967741.html', '/19931704.html', '/19914345.html', '/19955414.html', '/19955801.html', '/19969434.html', '/19954590.html']
tie_items ['/19947307.html', '/19914701.html', '/19968890.html', '/19963925.html', '/19966025.html', '/19949446.html', '/19963745.html', '/19964469.html', '/19965938.html', '/19947281.html', '/19875421.html', '/19967411.html', '/19964635.html', '/19965685.html', '/19955882.html', '/19957993.html', '/19962521.html', '/19960486.html', '/19968796.html', '/19950645.html', '/19962304.html', '/19938804.html', '/19959552.html', '/19965834.html', '/19964615.html', '/19947138.html', '/19960080.html', '/19860821.html', '/19956891.html', '/19959243.html', '/19956824.html', '/19965080.html', '/19942010.html', '/19961682.html', '/19953434.html', '/19935304.html', '/19952403.html', '/19960244.html', '/19965753.html', '/19963253.html', '/19937180.html', '/19956105.html', '/19956275.html', '/19948200.html', '/19942430.html', '/19957771.html', '/19964295.html', '/19944529.html', '/19950150.html', '/19944082.html']
tie_items ['/19962109.html', '/19944027.html', '/19897860.html', '/19962947.html', '/19962283.html', '/19960795.html', '/19930059.html', '/19962366.html', '/19959842.html', '/19957434.html', '/19937905.html', '/19942815.html', '/19956640.html', '/19931663.html', '/19959751.html', '/19900400.html', '/19956459.html', '/19956765.html', '/19959388.html', '/19953662.html', '/19956369.html', '/19956342.html', '/19960903.html', '/19817469.html', '/19952079.html', '/19954663.html', '/19905016.html', '/19775015.html', '/19924918.html', '/19903652.html', '/19960061.html', '/19943952.html', '/19938220.html', '/19950418.html', '/19958890.html', '/19932036.html', '/19946097.html', '/19923182.html', '/19911196.html', '/19904285.html', '/19944017.html', '/19896777.html', '/19924504.html', '/19901121.html', '/19940370.html', '/19935598.html', '/19924173.html', '/19934052.html', '/19948492.html', '/19949261.html']
tie_items ['/19930411.html', '/19944694.html', '/19935321.html', '/19941667.html', '/19956156.html', '/19911480.html', '/19953171.html', '/19855740.html', '/19938418.html', '/19947602.html', '/19810533.html', '/19942507.html', '/19933935.html', '/19944646.html', '/19872262.html', '/19294012.html', '/19955797.html', '/19922707.html', '/19944462.html', '/19947460.html', '/19955528.html', '/19955565.html', '/19955475.html', '/19939717.html', '/19951418.html', '/19946681.html', '/19935728.html', '/19930517.html', '/19942522.html', '/19935200.html', '/19811360.html', '/19799760.html', '/19951997.html', '/19955247.html', '/19948705.html', '/19943740.html', '/19946261.html', '/19780095.html', '/19942014.html', '/19952194.html', '/19945862.html', '/19952072.html', '/19932592.html', '/19942738.html', '/19939792.html', '/19941482.html', '/19930355.html', '/19928710.html', '/19947788.html']
tie_items ['/19943297.html', '/19936401.html', '/19943084.html', '/19952707.html', '/19925290.html', '/19951963.html', '/19938437.html', '/19923679.html', '/19947754.html', '/19924703.html', '/19917389.html', '/19951107.html', '/19912502.html', '/19917303.html', '/19934356.html', '/19939602.html', '/19919842.html', '/19936868.html', '/19944241.html', '/19941309.html', '/19930506.html', '/19936537.html', '/19947027.html', '/19920719.html', '/19931686.html', '/19923992.html', '/19941853.html', '/19947178.html', '/19758083.html', '/19939096.html', '/19872613.html', '/19946481.html', '/19931969.html', '/19944425.html', '/19941530.html', '/19933361.html', '/19920468.html', '/19943308.html', '/19942573.html', '/19944403.html', '/19914800.html', '/19935562.html', '/19944347.html', '/19938454.html', '/19945213.html', '/19931099.html', '/19788892.html', '/19931125.html', '/19925361.html', '/19921606.html']
tie_items ['/19929113.html', '/19930236.html', '/19874417.html', '/19916127.html', '/19942919.html', '/19941977.html', '/19939163.html', '/19937665.html', '/19942283.html', '/19939464.html', '/19934862.html', '/19892048.html', '/19922230.html', '/19935583.html', '/19939361.html', '/19937649.html', '/19879363.html', '/19923811.html', '/19795069.html', '/19899631.html', '/19935099.html', '/19911163.html', '/19939116.html', '/19936131.html', '/19937712.html', '/19937932.html', '/19917385.html', '/19939877.html', '/19936234.html', '/19895546.html', '/19927328.html', '/19589371.html', '/19936886.html', '/19939100.html', '/19939441.html', '/19938951.html', '/19607427.html', '/19939292.html', '/19927229.html', '/19927392.html', '/19900955.html', '/19933781.html', '/19923367.html', '/19938283.html', '/19904956.html', '/19933072.html', '/19937642.html', '/19933062.html', '/19931299.html']
tie_items ['/19937432.html', '/19914668.html', '/19927958.html', '/19935928.html', '/19887898.html', '/19936516.html', '/19931737.html', '/19932858.html', '/19921966.html', '/19936042.html', '/19935065.html', '/19928636.html', '/19931274.html', '/19929221.html', '/19935189.html', '/19935234.html', '/19931141.html', '/19927760.html', '/19933061.html', '/19923299.html', '/19930290.html', '/19814477.html', '/19931179.html', '/19888761.html', '/19911884.html', '/19933818.html', '/19926525.html', '/19929340.html', '/19923654.html', '/19930633.html', '/19930905.html', '/19929240.html', '/19930571.html', '/19905505.html', '/19923014.html', '/19926691.html', '/19902452.html', '/19924356.html', '/19931843.html', '/19916273.html', '/19915118.html', '/19915596.html', '/19875614.html', '/19931438.html', '/19929447.html', '/19923321.html', '/19931376.html', '/19926507.html', '/19924234.html', '/19923245.html']
tie_items ['/19906277.html', '/19928516.html', '/19680931.html', '/19925635.html', '/19919402.html', '/19923821.html', '/19900835.html', '/19927925.html', '/19928161.html', '/19928651.html', '/19928714.html', '/19910097.html', '/19920314.html', '/19910586.html', '/19893389.html', '/19583382.html', '/19928606.html', '/19918870.html', '/19928096.html', '/19925814.html', '/19927638.html', '/19896290.html', '/19872818.html', '/19921028.html', '/19925558.html', '/19897199.html', '/19924274.html', '/19717296.html', '/19890624.html', '/19924685.html', '/19715471.html', '/19915822.html', '/19918219.html', '/19919801.html', '/19912703.html', '/19914847.html', '/19919678.html', '/19925997.html', '/19925674.html', '/19915611.html', '/19922864.html', '/19907709.html', '/19924247.html', '/19923142.html', '/19923746.html', '/19903870.html', '/19914007.html', '/19891810.html', '/19777626.html', '/19924248.html']
tie_items ['/19892502.html', '/19922493.html', '/19914432.html', '/19883886.html', '/19905666.html', '/19918558.html', '/19920638.html', '/19917205.html', '/19904143.html', '/19910856.html', '/19917237.html', '/19864300.html', '/19919540.html', '/19920564.html', '/19920861.html', '/19921321.html', '/19918128.html', '/19757820.html', '/19922192.html', '/19911323.html', '/19903620.html', '/19922262.html', '/19922294.html', '/19651629.html', '/19917662.html', '/19920558.html',  
 

            
  
           

              
              
            
            
相關推薦
			   
            
            
            
 

    

    
    
Python爬取虎撲步行街,爆照區中的照片
     
 
							
							
							
  使用的是Python3+reqeusts 
  原始碼如下 
  更新於2017年9月16日




#encoding:gbk
import requests
import re
import time


def get_pages(url):#拼湊每 

  
 

    

    
    
scrapy框架爬取虎撲論壇球隊新聞
     
  
 
 用python爬蟲scrapy框架爬取虎撲論壇的30支球隊新聞 
 Scrapy 框架 
 
   Scrapy是用純Python實現一個為了爬取網站資料、提取結構性資料而編寫的應用框架，用途非常廣泛。  
   框架的力量，使用者只需要定製開發幾個模組就可以輕鬆的實現一個爬蟲，用來抓取網頁內容以及 

  
 

    

    
    
python爬取虎嗅網資料
     
 #!/usr/bin/env python
# -*- coding:utf-8 -*-

import requests

import pymongo
from bs4 import BeautifulSoup


client = pymongo.MongoClient(host='l 

  
 

    

    
    
用Python爬取了三大相親軟體評論區，結果...
     
 > 小三：怎麼了小二？一副愁眉苦臉的樣子。

![](https://img2020.cnblogs.com/blog/1497257/202012/1497257-20201207193234263-1305287858.jpg)

> 小二：唉！這不是快過年了嗎，家裡又催相親了 ...

![](http 

  
 

    

    
    
python 爬蟲實戰（三）使用pyspider爬取虎嗅新聞
     
 
								
								            
						
                #!/usr/bin/env python
# -*- encoding: utf-8 -*-
# Created on 2018-03-02 23:14:26
# Project: huxiu

fr 

  
 

    

    
    
python爬取網易雲音樂歌單音樂
     
 string   attrs   default   textarea   bsp   color   read   contents   dom   在網易雲音樂中第一頁歌單的url：http://music.163.com/#/discover/playlist/
依次第二頁：http://music.1 

  
 

    

    
    
python 爬取qidian某一頁全部小說
     
 decode   return   data-   dib   read   etc   break   beautiful   range    
 

  1 import re
  2 import urllib.request
  3 from bs4 import BeautifulSou 

  
 

    

    
    
Python爬取今日頭條段子
     
 找到   eat   修改   是什麽   一次   時間   地址   style   用戶名   剛入門Python爬蟲，試了下爬取今日頭條官網中的段子，網址為https://www.toutiao.com/ch/essay_joke/源碼比較簡陋，如下：

 1 import requests
 2 i 

  
 

    

    
    
利用python爬取龍虎榜數據及後續分析
     
 登錄   one   可能   股市   .com   爬蟲   但我   由於   相關   ##之前已經有很多人寫過相關內容，但我之前並未閱讀過，這個爬蟲也是按照自己的思路寫的，可能比較醜陋，請見諒！
本人作為Python爬蟲新手和股市韭菜，由於時間原因每晚沒辦法一個個翻龍虎榜數據，所以希望借助爬蟲篩選出 

  
 

    

    
    
python爬取豆瓣小組700+話題加回復啦啦啦python open file with a variable name
     
 技術分享   ash   寫入   blog   ima   ron   tar   回復   -128    
需求：爬取豆瓣小組所有話題（話題title，內容，作者，發布時間），及回復（最佳回復，普通回復，回復_回復，翻頁回復，0回復）

解決：1. 先爬取小組下，所有的主題鏈接，通過定位nextp 

  
 

    

    
    
Node.js/Python爬取網上漫畫
     
 版本   中間   kit   ont   mic   這一   圖片加載   同步   改變   　　某個周日晚上偶然發現了《火星異種》這部漫畫，便在網上在線看了起來。在看的過程中圖片加載很慢，而且有時候還不小心點到廣告，大大延緩了我看的進度。後來想到能不能把先把漫畫全部抓取到本地再去看。
　　經過一段時間 

  
 

    

    
    
python爬取百度搜索圖片
     
 知乎   需要   with   異常   mage   不足   request   height   adr   在之前通過爬取貼吧圖片有了一點經驗，先根據之前經驗再次爬取百度搜索界面圖片
廢話不說，先上代碼

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# 

  
 

    

    
    
Python爬取百度貼吧數據
     
 utf-8   支持我   family   encode   code   word   keyword   上一條   時間   　　本渣除了工作外，在生活上還是有些愛好，有些東西，一旦染上，就無法自拔，無法上岸，從此走上一條不歸路。花鳥魚蟲便是我堅持了數十年的愛好。
　　本渣還是需要上班，才能支持我的 

  
 

    

    
    
python爬取七星彩的開獎歷史記錄
     
 clas   程序代碼   aip   dal   zip   file   utf   mage   decode   1.因為人不可能一直無休止的學習，偶爾也想做點兒別的，昨天無聊就想寫寫Python，當然我承認我上班後基本都是在學工作方面的事情，在這個崗位我也呆了三年多了，還是那句話問我什麽會不會我會給 

  
 

    

    
    
python爬取網頁圖片
     
 ima   com   col   list   https   pytho   表達式   images   5%   在Python中使用正則表達式，一個小小的爬蟲，抓取百科詞條網頁的jpg圖片。下面就是我的代碼，作為參考：

#coding=utf-8
# __author__ = ‘Hinfa‘
im 

  
 

    

    
    
python爬取百度搜索結果ur匯總
     
 百度搜索   sta   attr   amp   end   rom   range   百度   篩選   寫了兩篇之後，我覺得關於爬蟲，重點還是分析過程
分析些什麽呢：
1）首先明確自己要爬取的目標
　　比如這次我們需要爬取的是使用百度搜索之後所有出來的url結果
2）分析手動進行的獲取目標的過程，以便 

  
 

    

    
    
python  爬取微博信息
     
 微博   爬蟲   python   cookie      新浪微博爬取的話需要設計到登錄，這裏我沒有模擬登錄，而是使用cookie進行爬取。獲取cookie：代碼：#-*-coding:utf8-*-

from bs4 import BeautifulSoup
import requests
impor 

  
 

    

    
    
Python爬取貓眼top100排行榜數據【含多線程】
     
 代碼   status   log   col   return   map   result   port   htm   



# -*- coding: utf-8 -*-
import requests
from multiprocessing import Pool
from requests.e 

  
 

    

    
    
python 爬取京東手機圖
     
 跳過   close   高手   cnblogs   port   cep   findall   pen   得到   初學urllib，高手勿噴...

import re
import urllib.request
#函數：每一頁抓取的30張圖片
def craw(url,page):
    ima 

  
 

    

    
    
Python 爬取數據入庫mysql
     
 for   filename   raw   adl   note   input   入庫   mat   csv   
 1 # -*- enconding:etf-8 -*-
 2 import pymysql
 3 import os
 4 import time
 5 import re
 6 se