和朋友都灰常懶，不想上下滾動頁面看價格，所以寫了一個爬蟲，用於儲存商品價格。
環境：macOS、python3.5
IDE：pycharm
使用的庫：BeautifulSoup、urllib

BeautifulSoup：優秀的HTML/XML的解析器

需求

獲得商品價格，對應獲得商品名稱，另外就是下載商品的圖片

1.由上文，則需要在網頁原始碼中找到對應位置的資訊。

• 用chrome的“檢查”即可檢視html原始碼。
  
• 在原始碼中找到：代表商品價格的class = “Price”；
• 含有商品全名的class = product-image；上一級class = product-image-and-name-container。（由於直接定位product-image會將其他非目標商品的資訊也蒐集下來，所以引入上級class。）
• 用bs4的css選擇器（select方法）定位到含有上述class的位置。

2.儲存圖片的方法

all_image = name[i].find_all('img')#找到圖片的集合
for image in all_image:#print(all_image)
            urllib.request.urlretrieve(image['src'],"/Users/lixuefei/Desktop/test/%s.jpg" % (x))

3.全部程式碼

"""
Created by LiXuefei in 2017.07.26
"""
import urllib.request
from
 
 bs4 import BeautifulSoup
import pandas as pd

# beautifulsoup方法
## load html file
def get_content(url):
    html = urllib.request.urlopen(url)
    content = html.read().decode("utf-8") # 轉碼 'ignore'
    html.close()  # 一定要關閉網頁
    return content

def save_to_file(file_name, contents):
    fh = open(file_name,'w'
 
)
    fh.write(contents)
    fh.close()

def get_txt(info):
    soup = BeautifulSoup(info,"lxml")  # 設定解析器為“lxml”
    #print(soup)
    name = soup.select('.product-image-and-name-container > .product-image')#.product-name product-image
    price = soup.select('.Price')

    ##download img

    x = 0
    for i in range(len(name)):
        all_image = name[i].find_all('img')
        urllib.request.urlretrieve(all_image[0]['src'], "/Users/lixuefei/Desktop/test/%s.jpg" % (x))
        x += 1

    ##download name,price
    for x in range(len(name)):
        name[x] = str(name[x]).split('=')#用=將字串分割
        price[x] = str(price[x]).strip('<span class="Price">' + '</span>' + '\n')#去除css，只保留價格
    for i in range(len(name)):
        name[i] = str(name[i][4]).strip('onload' + '" ')#第四段為名稱，選取名稱，並去除多餘的關鍵字
    return name,price

url = "http://www.chemistwarehouse.com.au/Shop-Online/587/Swisse"
content = get_content(url)
content_name,content_price = get_txt(content)

df = pd.DataFrame()
df['name'] = content_name
df['price'] = content_price
df.to_csv('/Users/lixuefei/Desktop/test.csv')

問題彙總

1.對於另一中文購物網站，出現了由於混合中文而導致轉碼出現問題，用’ignore’引數可以避免報錯，但是同時ignore引數會忽略商品的中文名稱。
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xb3 in position 137363: invalid start byte
2.程式執行結果，會在資料夾裡下載我們需要的商品圖片，在另一個csv文件裡下載商品名稱及價格。如果能把圖片和名稱價格整合到一起更好，用資料庫？還沒想好更好的表現形式。