1. 程式人生 > >分布式豆瓣爬蟲(二): 控制節點-數據存儲器

分布式豆瓣爬蟲(二): 控制節點-數據存儲器

電影 ram 分布 修改 豆瓣 tput col spa 節點

一、實現原理

因為存儲方式相同所以數據存儲器的代碼無需修改

二、代碼如下

 1 import csv
 2 
 3 class DataOutput:
 4     def __init__(self):
 5         self.file = open(數據.csv, w)
 6         self.csv_file = csv.writer(self.file)
 7         self.csv_file.writerow([電影名, 評分, 評分人數])
 8 
 9     def output_csv(self, data):
10         """
11 將數據寫入 csv 文件 12 :param data: 數據 13 :return: None 14 """ 15 self.csv_file.writerow(data)

分布式豆瓣爬蟲(二): 控制節點-數據存儲器