在目前大資料和人工智慧的大趨勢下，越來越多的人開始學習python作為自己入手資料和AI的第一門語言，筆者也是如此。很多人在接觸python的第一步都是學習pandas，主要是這個框架是最接近於R和Matlab學習起來輕鬆易懂。但是在pandas的使用中，有很多問題和很多人因為對程式設計和計算機概念不理解，導致很多很多的坑，筆者在此開一個系列博文，不定期更新中會將自己遇到的坑介紹給大家。

pandas坑之to_sql

pandas是將格式化資料直接程式設計python可讀的DataFrame格式（其實本質上就是字典，並且自動設定了index和colunms），pandas本身的操作給了使用者很好的體驗和資料分析過程，但是pandas從資料庫讀取再轉錄入資料庫是不少新人一直頭疼的問題，筆者也為此最初頭疼不已。根據《利用python進行資料分析》的書中，有大致介紹一個函式——to_sql，相信很多人都是對此瞭解的。

但是，使用to_sql這個函式有一個問題，雖然to_sql函式可以直接將字典資料直接存入資料庫，但是，to_sql限制是非常之大的（畢竟別人寫的類）

我們先看一個操作

import pandas as pd

import pymysql

conn=pymysql.connect(host,port,user,password,charset,db)

df1=pd.DataFrame(list)

df.to_sql(tablename,conn)

相信很多人都是按照以上進行的傻瓜操作，但是筆者在這裡只能告訴你們，這是大錯特錯的。

要學習python最快的方法，並不是上什麼培訓班，看視訊，最快的方法，就是去閱讀python的庫文件，python手冊。畢竟python雖然在使用上非常難，但是在學習上並不是特別難（相對於java和C++）。

根據庫的文件，我們看到to_sql函式支援兩類mysql引擎一個是sqlalchemy，另一個是sqlliet3.沒錯，在你寫入庫的時候，pymysql是不能用的！！！mysqldb也是不能用的，你只能使用sqlalchemy或者sqlliet3！！鑑於sqllift3已經很久沒有更新了，筆者這裡建議使用sqlalchemy！！

所以上面那段要改寫成下面這樣：

import pandas as pd

from sqlalchemy import create_engine

conn = create_engine('mysql+mysqldb://root:[email protected]

下面一步很關鍵，注意！！！to_sql函式並不在pd之中，而是在io.sql之中，是sql指令碼下的一個類！！！所以to_sql的最好寫法就是：

pd.io.sql.to_sql(df1,tablename,con=conn,if_exists='repalce')

是不是感覺大功告成了？？？

那是你的錯覺，趕緊回到資料庫看看吧！！你會發現WTF為什麼我原來的資料都沒有了！！

這就是to_sql的第二個坑if_exists欄位：

很多新人按照網上的教程，都將if_exists欄位定義為‘replace’活著‘fail’，要麼發現原來資料沒有了，要麼發現什麼時候都沒有做！

麻煩請各位新人仔細閱讀文件！！！

fail的意思如果表存在，啥也不做

replace的意思，如果表存在，刪了表，再建立一個新表，把資料插入

append的意思，如果表存在，把資料插入，如果表不存在建立一個表！！

你看懂了嗎，所以大家一定要讀文件！讀文件！！讀文件！！！