使用機器學習訓練資料時，如果資料量較大可能我們不能夠一次性將資料載入進記憶體，這時我們需要將資料進行預處理，分批次載入進記憶體。下面是程式碼作用是將資料從資料庫讀取出來分批次寫入txt文字檔案，方便我們做資料的預處理和訓練機器學習模型。

#%%
import pymssql as MySQLdb  #這裡是python3  如果你是python2.x的話，import MySQLdb
#資料庫連線屬性
hst = '188.10.34.18'
usr = 'sa'
passwd = '[email protected]'
db = 'HistoryTrace'

#總共多少資料
allData = 1674333
#每個批次多少條資料
dataOfEach = 20000
#批次
batch = ceil(allData/dataOfEach)

#檔名
global IDctrl 
IDctrl = 1
filename = str(IDctrl)+'.txt'

#連線資料庫
conn = MySQLdb.connect(host=hst,user=usr,password=passwd,database=db)
cur=conn.cursor()

while IDctrl<batch:
    #讀取資料庫
    sql = 'SELECT Longitude,Latitude,Altitude,VelComOfLong,VelComOfLati,Aircraft,Section,TimeMinus\
                FROM dealed1 where ID>=' + str(IDctrl) + ' and ID <' + str(IDctrl + dataOfEach) 
    cur.execute(sql)
    rows=cur.fetchall()
    #寫檔案
    f = open(filename,'w')
    f.writelines(str(rows))
    #檔名加1
    IDctrl+=1
    filename = str(IDctrl)+'.txt'
    
#關閉資料庫連線
f.close()
conn.close()