由於工作需要在一大堆日誌裡面提取相應的一些固定字元，如果單純靠手工取提取，資料量大，勞心勞力，於是自然而然想到了用Python做一個對應的提取工具，代替手工提取的繁雜，涉及中文字元，正則表示式不好匹配，但不是不可以實現，這個以後優化時再說。

需求描述：

一個父目錄中存在多個子資料夾，子資料夾下有多個txt形式化的Log日誌，要求從所有地方Log日誌中找出CardType=9, CardNo=0時的CardID的值，並將其統計儲存到一個文字檔案中，要求CardID不能夠重複。

需求解析：

首先獲取所有的Log日誌的全路徑，根據路徑分別載入到將各個Log日誌載入到記憶體中進行提取分析，並將結果儲存到給定的文字檔案中。

解決方案：

為了儘可能的簡潔通用，這裡使用配置檔案作為輸入變數的依據。不多說，上程式碼：

配置檔案如下：

103資料夾下有兩個檔案：log1.txt和log2.txt, 內容類似如下：

Python程式碼實現如下：

?

# -*- coding: utf-8 -*-
#!/usr/bin/python
# filename: picktools.py
# codedtime:2015-3-25
 
import os
import configparser
 
# 遍歷一個目錄，輸出所有檔名
def itemsbrowse(path):
  for home, dirs, files in os.walk(path):
    for filename in files:
      yield os.path.join(home, filename)
 
# 給的檔案中查詢對應的字串所在行      
def findchars(filename, chars):
  file = open(filename, 'r')
  for eachline in file:
    if eachline.find(chars) >= 0:
      yield eachline
  file.close()
 
# 新增到指定的檔案
def addtofile(filename, mygenerator):
  file = open(filename, 'a')   # 追加方式開啟
  for line in mygenerator:
    file.write(line)
  file.close()
 
# 過濾重複的字元行
def filter(filename):
  mylist = []
  file = open(filename, 'r')
  for eachline in file:
    mylist.append(eachline.strip())
  file.close()
   
  file2 = open(os.path.splitext(filename)[0] + '_filter.txt', 'w')
  for line in list(set(mylist)):
    print(line, file = file2)
    #file2.write(line) 
  file2.close()
   
 
def excute():
  iniconf = configparser.ConfigParser()
  iniconf.read('config.ini')
  ifile = iniconf.get('setting', 'ifilepath')
  ofile = iniconf.get('setting', 'ofilepath')
  chars = iniconf.get('setting', 'searchstr')
   
  for fullname in itemsbrowse(ifile):
    mygenerator = findchars(fullname, chars)
    addtofile(ofile, mygenerator)
     
  filter(ofile)
       
       
if __name__ == '__main__':
  excute()
 

輸出結果：輸出兩個檔案result.txt 和result_filter.txt

心得體會：

1、利用Python去處理一些日常的小任務，可以很方便的完成，相比較C/C++來說，這方面生產力高了不少。

2、本文設計對中文字元的處理，所以使用正則表示式不太怎麼方便，但不少不可以，後續版本中會新增對正則的支援！

3、由於初學中，所以程式碼寫的不夠精煉簡潔，後續進行再優化！