1. 程式人生 > >scrapy爬蟲錄入mysql中文亂碼的解決

scrapy爬蟲錄入mysql中文亂碼的解決

start roo spa 爬蟲 裏的 記得 navicat item 字符集

  scrapy爬取item後,我們可以用pipeline.py把item錄入到mysql數據庫裏

  編寫pipeline.py定義一個類,這個類就是用來錄入數據庫的,記得在setting.py裏的item_pipelines={......}裏加上這個類的路徑,然後可以在setting裏寫數據庫連接的ip,端口,用戶名,密碼,數據庫 有多種寫法,有的是依次定義他們,比如,MYSQL_USER=‘root‘ ,有的可以把上面幾個東西寫成一串url,在pipeline.py裏解析

  很好,可是發現把中文錄入到數據庫的時候,是亂碼的,~~~~~~~

然後百度到了這個博客:

   https://blog.csdn.net/u012410733/article/details/61619656/

  所以,我們可以把mysql字符集設置成utf8,

  修改/etc/mysql/my.cnf :

  

[mysqld]
character-set-server=utf8 
[client]
default-character-set=utf8 
[mysql]
default-character-set=utf8

重啟mysql $ etc/init.d/mysql restart

進入mysql> show variables like ‘%char%‘;

可以看到設置更改為了utf8

還有,比如我們在mysql建表的時候,可以指定字符集為utf8 Navicat就有這個選項,很方便

好吧,一點也不方便~~~~~~

scrapy爬蟲錄入mysql中文亂碼的解決