DataFrame <--> sql

嘗試了各種把Excel，csv格式匯入資料庫，卻總是出現各種各樣的額錯誤，後來發現python的pymasql庫不支援

"pd.io.sql.to_sql(data, "file_name", con=engine, index=False, if_exists='replace')"方法。

接下來用sqlalchemy庫做sql -> DataFrame的處理：

read_sql：

參見pandas.read_sql的文件，read_sql主要有如下幾個引數：

• sql：SQL命令字串
• con：連線sql資料庫的engine，一般可以用SQLalchemy或者pymysql之類的包建立
• index_col：選擇某一列作為index
• coerce_float：非常有用，將數字形式的字串直接以float型讀入
• parse_dates：將某一列日期型字串轉換為datetime型資料，與pd.to_datetime函式功能類似。可以直接提供需要轉換的列名以預設的日期形式轉換，也可以用字典的格式提供列名和轉換的日期格式，比如{column_name: format string}（format string："%Y:%m:%H:%M:%S"）。
• columns：要選取的列。一般沒啥用，因為在sql命令裡面一般就指定要選擇的列了
• chunksize：如果提供了一個整數值，那麼就會返回一個generator，每次輸出的行數就是提供的值的大小。
• params：見pandas.read_sql的文件

程式碼如下：

import pymysql
import sqlalchemy
from sqlalchemy import create_engine

#用sqlalchemy構建資料庫連結engine
connect_info = 'mysql+pymysql://{}:{}@{}:{}/{}?charset=utf8'.format(DB_USER, DB_PASS, DB_HOST, DB_PORT, DATABASE)  #1
engine = create_engine(connect_info)

#sql 命令
sql_cmd = "SELECT * FROM table WHERE ***"
df = pd.read_sql(sql=sql_cmd, con=engine)

#用DBAPI構建資料庫連結engine
con = pymysql.connect(host=localhost, user=username, password=password, database=dbname, charset='utf8', use_unicode=True)
df = pd.read_sql(sql_cmd, con)
 

to_sql:

參見pandas.to_sql函式，主要有以下幾個引數：

• name：輸出的表名
• con：與read_sql中相同
• if_exits：三個模式：fail，若表存在，則不輸出；replace：若表存在，覆蓋原來表裡的資料；append：若表存在，將資料寫到原表的後面。預設為fail
• index：是否將df的index單獨寫到一列中
• index_label：指定列作為df的index輸出，此時index為True
• chunksize：同read_sql
• dtype：指定列的輸出到資料庫中的資料型別。字典形式儲存：{column_name: sql_dtype}。
• 常見的資料型別有sqlalchemy.types.INTEGER(), sqlalchemy.types.NVARCHAR(),sqlalchemy.Datetime()等，具體資料型別可以參考這裡

程式碼如下：

#把df_raw_all/df_sq_in/df_db_in寫入mysql
from sqlalchemy import create_engine
mysqlInfo = {
    "host": '10.101.11.198',
    "user": 'root',
    "password": '123456',
#    "database": 'user_dev',
    "database": 'item_dev',
    "port": 3306,
    "charset": 'utf8'
}
engine = create_engine('mysql+pymysql://%(user)s:%(password)[email protected]%(host)s:%(port)d/%(database)s?charset=utf8' % mysqlInfo, encoding='utf-8')
#engine = create_engine('mysql+pymysql://amrw:[email protected]:3306/etcpdw_dev')
pd.io.sql.to_sql(df_raw_bj, "own_business", con=engine, index=False, if_exists='replace')