問題描述

我需要爬取某些招聘網頁上的資訊，但不是所有招聘網頁中展示的資訊都一樣，例如有些網頁上並沒有附上公司網址，而如果沒有需要在資料庫相應的欄位中賦值為空。

方法一：不使用itemLoader

使用extract_first()取得列表第一個元素，預設值為‘’，但這不適用列表中有多個元素，比如不止爬取一個標籤

def parse_detail(self, response):
        article_item = JobBoleArticleItem()
        tag_list = response.css("p.entry-meta-hide-on-mobile a::text").extract_first('')
 

使用extract()能取得整個列表，但需要再做進一步處理，list型別無法插入資料庫

tag_list = response.css("p.entry-meta-hide-on-mobile a::text").extract()
if not tag_list:
	tag_list.append('')
	return tag_list[0]

方法二：使用ItemLoader

推薦使用ItemLoader

    def parse_job(self, response):
        item_loader = ShixiJobItemLoader(item=ShixiJobItem(), response=response)
        item_loader.add_css("job_name", ".new_job_name::attr(title)")
 

可以檢視add_css原始碼往下進去可以看到，如果獲取為None就返回一個空列表
而我們需要對空列表賦值為空字元處理
使用itemloader爬取時，返回的資料型別是list，再存入item容器前，是支援對資料進行預處理的，即輸入處理器和輸出處理器，可以通過MapCompose這個類來依次對list的元素進行處理，

但如果list為空則不會進行處理，這種情況需要過載MapCompose類的__call__方法，如下，給vallue增加一個空格str“ ”

class MapComposeCustom(MapCompose):
    #自定義MapCompose，當value沒元素時傳入" "
    def __call__(self, value, loader_context=None):
        if not value:
            value.append(" ")
        values = arg_to_iter(value)
        if loader_context:
            context = MergeDict(loader_context, self.default_loader_context)
        else:
            context = self.default_loader_context
        wrapped_funcs = [wrap_loader_context(f, context) for f in self.functions]
        for func in wrapped_funcs:
            next_values = []
            for v in values:
                next_values += arg_to_iter(func(v))
            values = next_values
        return values
 

之所以不直接賦值為空字元，是因為TakeFirst類，一般來說都是使用TakeFirst來作為預設輸出處理器，但該函式會篩掉空字元，因此過載該類的__call__

class TakeFirstCustom(TakeFirst):
    def __call__(self, values):
        for value in values:
            if value is not None and value != '':
                return value.strip() if isinstance(value, str) else value

在最後return新增三目運算子，使用strip()對空字元進行刪除處理。
要是不在意資料庫欄位是一個空格，可以不用過載該類