任務：爬取京東某手機的評論

這次爬取的內容是動態的所以不能直接爬原始碼中的內容

1. 開啟網頁按下F12在Network裡找到productPageComments檔案
   
2. 開啟這個檔案
   
3. 這個檔案是由json儲存的（這裡面就是要爬取的內容)
   
4. 先用讀取網頁

url='https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv17182&productId=4554969&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1'
 

#這裡是上面網頁的url
request=urllib2.Request(url)
response=urllib2.urlopen(request)
html =response.read().decode('GBK')

5 . 處理字串使它可以使用json.loads語句

html=html.replace('fetchJSON_comment98vv17182(','')
html=html.replace(');','')
b=json.loads(html)

6 .整體程式碼：

#--*--coding:utf-8--*--
import urllib2
import
 
 json
import sys
reload(sys)
sys.setdefaultencoding('utf8')

f = open('01.txt','w')
for i in range(0,10):
    url='https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv17182&productId=4554969&score=0&sortType=5&page='+str(i)+'&pageSize=10&isShadowSku=0&fold=1'
 

    #實現爬多頁
    print url
    request=urllib2.Request(url)
    response=urllib2.urlopen(request)
    html =response.read().decode('GBK')


    html=html.replace('fetchJSON_comment98vv17182(','')
    html=html.replace(');','')
    #去掉多餘的字元
    b=json.loads(html)

    for k in b['comments']:

        content = k["content"].encode('utf-8')
        print content
        f.write(k["content"].encode('utf-8')+'\n')
        referenceName=k["referenceName"].encode('utf-8')
        print referenceName
        f.write(k["referenceName"].encode('utf-8')+'\n')
        referenceTime=k["referenceTime"].encode('utf-8')
        print referenceTime
        f.write(k["referenceTime"].encode('utf-8')+'\n\n')