Python爬蟲資料的幾種儲存方法
阿新 • • 發佈：2018-11-16
- txt檔案:
- 1, open('檔名', '讀寫模式' )， f = open('csdn.txt', 'w', encodeing='utf-8')
- 2，f.write()
- 3,f.close()
- MySQL資料庫:
- 1. 開啟資料庫連線 db= pymysql.connect('伺服器地址'，'賬號'， '密碼'，'資料庫名', '編碼方式')
- 2. 呼叫cursor方法獲得操作遊標cursor=db.cursor
- 3. 寫SQL語句sql = ''
- 4. 執行SQL語句, cursor.execute(sql)
- 5. 提交到資料庫執行 ，db.commit()
- 6. 關閉資料庫， db.close()
-
- xlwt表:
- 1,建立book，sheet物件, 新增頭：
- book=xlwt.Workbook('encodeing=utf-8')
- sheet=book.add_sheet('職位簡介')
- sheet.write(行，列，值）
- 2,寫入
- sheet.write(行，列， 值）
- 3,儲存
- book.save('檔名.xls')
- MongoDB資料庫:
- 建立資料庫的連線客戶端
- self.client = pymongo.MongoClient(localhost)
- 根據客戶端物件，連線資料庫
- self.db = self.client[資料庫名]
- 插入一條資料
- db['表名'].insert_one(data)
- ------------------
- MongoDB備註：
- insert_one: 覆蓋式的
- 更新的方法：
- 引數1：指定根據什麼欄位去資料庫中進行查詢，欄位的值。
- 引數2：如果經過引數1的查詢，查詢到這條資料，執行更新的操作；反之，執行插入的操作；$set是一個固定的寫法。
- 引數3：是否允許更新
- db['article'].update_one({'info': data['info']}, {'$set': data}, True)