補上第四周筆記，以及本次課程總結。

第四周課程主要針對text進行處理。裡面包括

1.變數名的處理 2.正則表示式 3.日期處理（參見swirl lubridate包練習）

首先，變數名的處理，奉行兩個原則，1）統一大小寫tolower/toupper；2）去掉在匯入資料時，因為特殊字元導致的合併變數 3）不要重複；4）少用程式碼縮寫

使用的函式包括

1. 替換查詢：

gsub |在全域性範圍內，把A換成B gsub("A","B",data)

sub |僅替換第一個字元 sub("A","B",data)

grep |展示字元出現的位置 grep("A",data) 輸出的是A在data裡的位置，如果新增value=TRUE

grepl | 跟grep類似，但是輸出邏輯判斷符TRUE/FALSE，類似於a==b

2. 字元間計算

nchar 計算data裡有多少個字元，如nchar("text05")，輸出6

substr 對A從第m行起取到n substr("data2014",2,4) 輸出ata

paste 字元連線paste("ABC","BCD","DEF",sep="-") 輸出“ABC-BCD-DEF” 如果用paste0則中間不分割

str-tim 去除頭尾和空格

正則表示式，Regular Expression，其實是除了查詢內容外，R對於一些特殊字元有固定定義。如果使用好該類字元，我們可以更方便進行文字查詢。

需要指出的是，正則表示式並不是R獨有的，在多個語言中均有介紹。老師視訊裡主要介紹了他常用的幾個表達。主要用於grep/gsub等函式裡，查詢替換使用。所有的語法都要用**\\**引用才能使用。。

網上搜到的中文應用有

1.在R中使用正則表示式 舉了個讀取豆瓣電影的方法做示例

2. R正則表示式語法細節 這裡講的蠻詳細的，而且還有示例，推薦閱讀

3. 55分鐘練習 這個有習題，可以補充練習一下。

#要替換特殊元字元時，需要使用\\來指定。但是如果是普通字元，使用\\反而什麼都得不到╮(╯▽╰)╭
gsub('\\.', "", "$Peace.Love")
## [1] "$PeaceLove"
 

gsub('\\$', "", "$Peace.Love")
## [1] "Peace.Love"
#\d匹配數字字元
gsub('\\d', "", "$Peace.Love0102")
## [1] "$Peace.Love"
#\D匹配非數字字元
gsub('\\D', "", "$Peace.Love2012012")
## [1] "2012012"

因為現階段工作學習裡用這種替換及文字查詢的機會不多，這裡就略過吧。。需要時再補好了。quiz4很簡單，水水的就過掉了

總之這門Getting and Cleaning Data的課的筆記終於補完了！2月打算看Explorary Data analysis還有Reproducible Research的課。。不過中文字幕到explorary data就沒了，所以以後估計要花兩個月來過一門課了，看視訊時間要增加 前四門課必須要感謝字幕組無私貢獻！

最後附上Getting and Cleaning Data的一個實際應用，XML包讀取coursera課程頁面的PDF講義，批量下載

首先，要到coursera課程頁面把HTML程式碼全部複製到本地的一個HTML檔案家裡。

關鍵字搜尋原始碼，發現它的PDF檔案是明文存放的，那麼只要用個XML包，簡單讀取分段一下即可

##載入XML包，並且讀取資料 

url1<-"lecture.html"
html<-htmlTreeParse(url1,useInternalNodes=T)
#在英文版本里，PDF被存在title為 "Lecture Notes"的檔案裡
#下列程式碼根據getNodeSet的示範來的。拿到有Lecture Nodes的相關list（應該與正則表示式也相關）
notes<-getNodeSet(html,"/html//a[@title='Lecture Notes']")
head(notes)
#這裡使用xmlGetAttr獲得相應屬性
pdf<-sapply(notes,xmlGetAttr,"href")
pdf
#這裡僅是示範。因為我是windows系統，mode="wb"，其他系統不知道。
#只要弄個迴圈下載，就能把所有PDF下下來了。同時，還可以用正則表示式裡提及的內容，批量提取PDF檔名
download.file(pdf[[1]],"test1.pdf",mode="wb")
> pdf
 [1] "https://d396qusza40orc.cloudfront.net/getdata/lecture_slides/01_01_obtainingDataMotivation.pdf"
 [2] "https://d396qusza40orc.cloudfront.net/getdata/lecture_slides/01_02_rawAndProcessedData.pdf"    

前三週筆記

第四周：文字查詢與正則表示式 http://www.cnblogs.com/weibaar/p/4285082.html