解析html內容，儲存為csv檔案

from bs4 import  BeautifulSoup
import os
import csv

# 使用 BeautifulSoup 解析html內容
def getFundDetailData(html):
    soup = BeautifulSoup(html,"html.parser")

    rows = soup.find("table").tbody.find_all("tr")
    result = []
    for row in rows:
        tds=row.find_all('td')
        result.append({"fcode"
 
: '519961'
                       ,"fdate": tds[0].get_text()
                      , "NAV": tds[1].get_text()
                      , "ACCNAV": tds[2].get_text()
                      , "DGR": tds[3].get_text()
                      , "pstate":tds[4].get_text()
                      , "rstate": tds[5
 
].get_text()
                      }
                  )
    return  result


# 把解析之後的資料寫入到csv檔案
def writeToCSV():
    data_dir = "../htmls/details"
    all_path = os.listdir(data_dir)

    all_result = []
    for path in all_path:
        if os.path.isfile(os.path.join(data_dir,path)):
            with
 
 open(os.path.join(data_dir,path),"rb") as f:
                content = f.read().decode("utf-8")
                f.close()
                all_result = all_result + getFundDetailData(content)

    with open("../csv/519961.csv","w",encoding="utf-8",newline="") as f:
        writer = csv.writer(f)
        writer.writerow(['fcode', 'fdate', 'NAV', "ACCNAV", 'DGR', 'pstate', "rstate"])
        for r in all_result:
            writer.writerow([r["fcode"], r["fdate"], r["NAV"], r["ACCNAV"], r["DGR"], r["pstate"], r["rstate"]])

        f.close()

# 執行
writeToCSV()

pandas 排序、索引列

# coding: utf-8

import pandas

if __name__ == "__main__" :

    # 讀取csv檔案 建立pandas物件
    pd = pandas.read_csv("./csv/519961.csv", dtype={"fcode":pandas.np.str_}, index_col="fdate") # 把 fdate 這列設定為 索引列

    # 根據索引列 倒序
    print(pd.sort_index(ascending=False)) 

既然fdate列設定為了索引列，那麼如果根據索引獲取呢？

    # 讀取csv檔案 建立pandas物件
    pd = pandas.read_csv("./csv/519961.csv", dtype={"fcode":pandas.np.str_}, index_col="fdate") # 把 fdate 這列設定為 索引列

    pd.index = pandas.to_datetime(pd.index)
    print(pd["2017-11-29 "]) # 2017-11-29  519961  1.189   1.189  -1.00%  限制大額申購   開放贖回

2、直接指定fdate列就是日期型別

    # 讀取csv檔案 建立pandas物件
    pd = pandas.read_csv("./csv/519961.csv", dtype={"fcode":pandas.np.str_}, index_col="fdate", parse_dates=["fdate"]) # 指明fdate是日期型別
    print(pd["2017-11-29 "]) # 2017-11-29  519961  1.189   1.189  -1.00%  限制大額申購   開放贖回

列印索引：

print(pd.index) # 列印 索引

可以看出是DatetimeIndex的索引：

DatetimeIndex(['2015-08-13', '2015-08-12', '2015-08-11', '2015-08-10',
               '2015-08-07', '2015-08-06', '2015-08-05', '2015-08-04',
               '2015-08-03', '2015-07-31',
               ...
               '2015-07-02', '2015-07-01', '2015-06-30', '2015-06-29',
               '2015-06-26', '2015-06-25', '2015-06-24', '2015-06-23',
               '2015-06-19', '2015-06-18'],
              dtype='datetime64[ns]', name='fdate', length=603, freq=None)

3、索引的高階用法

 # 取出 2017年7月的 全部資料
    print(pd["2017-07"])

  # 取出 2017年7月到9月的 資料
    print(pd["2017-07":"2017-09"])  

 # 到2015-07的資料
    print(pd[:"2015-07"])

     # 取出截至到2015-07的資料
    # 然後 倒序
    print(pd[:"2015-7"].sort_index(ascending=False))

獲取基金日增長率下跌次數最多的月份

    result = pd[pd["DGR"].notnull()] # DGR一定要有值
    # 過濾掉DGR值裡的%號,最後取出小於0的值（負數就表示增長率下跌了 ）
    result = result[result['DGR'].str.strip("%").astype(pandas.np.float)<0]

    # 按照月份 統計DGR跌的次數
    result = result.groupby(lambda d:d.strftime("%Y-%m")).size()
    # 對DGR跌的次數 倒序,然後取出前面第一個
    result = result.sort_values(ascending=False).head(1)
    print(result) # 2016-04    12  意思就是2016年4月份 是該基金DGR下跌次數最多的月份