部落格地址

標籤（空格分隔）： IEEE Xplore， bash

測試環境：Ubuntu 15.04, 中山大學

首先，從下載一篇論文開始，在IEEE Xplore上任意下載一篇論文，獲取下載連結, 如：

http://ieeexplore.ieee.org/ielx7/6875427/6877223/06877226.pdf?tp=&arnumber=6877226&isnumber=6877223

擷取？前面部分：

http://ieeexplore.ieee.org/ielx7/6875427/6877223/06877226.pdf

然後，Linux上使用wget命令可以快速地從指定URL下載檔案（後面也是使用這個命令來實現批量下載），

一篇論文就這麼下載了，所以，要實現批量下載，必須要獲取所有論文的下載URL，其實，多下載幾篇論文比較下它們的下載連結就可以發現：

http://ieeexplore.ieee.org/ielx7/6875427/6877223/06877326.pdf?tp=&arnumber=6877326&isnumber=6877223
http://ieeexplore.ieee.org/ielx7/6875427/6877223/06877325.pdf?tp=&arnumber=6877325&isnumber=6877223
http://ieeexplore.ieee.org/ielx7/6875427
 
/6877223/06877324.pdf?tp=&arnumber=6877324&isnumber=6877223

下載連結的格式如下，（前兩串數字即“6875427”和“6877223”對於同一個會議都是相同的，所以只需要獲取一次就可以了）：

http://ieeexplore.ieee.org/ielx7/6875427/6877223/0{arnumber}.pdf

所以，可以將下載連結分為兩個部分， 注意arnumber前面有多了一個0：

http://ieeexplore.ieee.org/ielx7/6875427/6877223/ 和 0{arnumber}.pdf

問題就變成，如何獲取所有論文的arnumber了，這個方法就有兩種，一種可以使用爬蟲，解析網頁獲取，但是寫程式碼來比較麻煩，這裡使用另外一種，IEEE Xplore提供了一個Download Citations的功能，如圖：

下載後儲存至檔案，

Thangavel, M.; Chandrasekaran, M.; Madheswaran, M., "Analysis of B-mode transverse ultrasound common carotid artery images using contour tracking by particle filtering technique," in Devices, Circuits and Systems (ICDCS), 2012 International Conference on , vol., no., pp.470-473, 15-16 March 2012
doi: 10.1109/ICDCSyst.2012.6188759
keywords: {biodiffusion;biomedical ultrasonics;blood vessels;cardiovascular system;diseases;filters;image denoising;image segmentation;medical image processing;particle filtering (numerical methods);speckle;ultrasonic imaging;B-mode transverse ultrasound common carotid artery images;atherosclerosis;cardiovascular diseases;contour tracking;edge preserving anisotropic diffusion filter;image segmentation;medical image analysis;particle filtering technique;speckle noises;speckle reduction;Fitting;Image segmentation;Image Segmentation;Medical imaging;Particle filtering;Ultrasound image},
URL: http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=6188759&isnumber=6188639

其中包含了每一篇論文的資訊，包括標題（可以用來檔案命名），關鍵字，URL等資訊，其中的URL並不能直接用來wget下載論文，但是包含了我們要獲取的arnumber資訊，好了～接下來要做的就是從這些資訊裡面抽取arnumber和論文標題了

觀察下載後的Citations資訊，發現論文標題都包含在雙引號之間，即“”標題””這樣，arnumber即“arnumber=6188759”，那就用正則表示式來匹配吧，看命令：

cat {citations file} | grep -o -e "arnumber=[0-9]*" -e '"[^\"]*"' >> "{save file}"

實現了從剛才下載的索引檔案裡抽取出論文標題和arnumber資訊，並儲存至另外一個檔案的功能，其中有兩個正則表示式, 分別用來匹配arnumber和論文標題，得到的資訊如下：

"Algorithm Engineering for Scalable Parallel External Sorting,"
arnumber=6012805
"Power-Aware Replica Placement and Update Strategies in Tree Networks,"
arnumber=6012820
"Minimum Cost Resource Allocation for Meeting Job Requirements,"
arnumber=6012821

每兩行代表一篇論文的標題和arnumber，然後就好辦了，進行Shell程式設計, 迴圈讀取以上的資訊，使用arnumber去下載，然後用論文標題作為檔名儲存，那麼，如何讀取呢～

#!/bin/bash
base="http://ieeexplore.ieee.org/ielx7/6875427/6877223/"
file="檔名.txt"
while read -r title; read -r arnumber
do 
  title=`echo $title | cut -d "\"" -f 2 | cut -d "," -f 1 | sed 's/\///'` #獲取title
  arnumber=`echo $arnumber | cut -d "=" -f 2` #獲取arnumber
  wget "$base/0$arnumber.pdf" #下載
  mv "0$arnumber.pdf" "$title.pdf" #用標題來作為檔名儲存
done < "$file"

儲存為download.sh, 給予它執行的許可權：

sudo chmod +x download.sh

然後./download.sh就可以運行了，等待程式執行完就ok了～

上面還用到了兩個命令， cut 主要用來擷取部分字串， sed用來去除標題中的斜槓，因為斜槓不能出現在檔名中～具體用法不說了

親測，ICDCS 2012， IPDPS 2012-2015 可用～

附上我的完整程式：

#!/bin/bash

base=
file=
tempfile1="downlist.txt" #臨時檔案，用完刪除
tempfile2="urls.txt" #臨時檔案，用完刪除

if [ -f $tempfile1 ]; then
    rm $tempfile1
fi

if [ -f $tempfile2 ]; then
    rm $tempfile2
fi

usage()
{
    echo "Usage: `basename $0` -b url_base_string -f input_file [-h help]"
    exit 1
}

while getopts "b:f:h" arg #選項後面的冒號表示該選項需要引數
do
    case $arg in
         b)
            base=$OPTARG
            ;;
         f)
            file=$OPTARG
            ;;
         h)
            usage
            ;;
         ?)  #當有不認識的選項的時候arg為?
        echo "unkonw argument"
    exit 1
    ;;
    esac
done

if [ -z "$base" ]; then   #該指令碼必須提供-b選項
    echo "You must specify base with -b option"
    exit
fi

if [ -z "$file" ]; then   #該指令碼必須提供-f選項
    echo "You must specify file with -f option"
    exit
fi

cat $file | grep -o -e "arnumber=[0-9]*" -e '"[^\"]*"' >> "$tempfile1"

while read -r title; read -r arnumber #迴圈讀取標題和arnumber
do 
  title=`echo $title | cut -d "\"" -f 2 | cut -d "," -f 1 | sed 's/\///'`
  arnumber=`echo $arnumber | cut -d "=" -f 2`
  echo "$base/0$arnumber.pdf" >> "$tempfile2" #這裡先生成所有下載連結，然後儲存到臨時檔案
done < "$tempfile1"

wget -i $tempfile2 #批量下載論文

echo $?

while read -r title; read -r arnumber #重新命名
do 
  title=`echo $title | cut -d "\"" -f 2 | cut -d "," -f 1 | sed 's/\///'`
  arnumber=`echo $arnumber | cut -d "=" -f 2`
  mv "0$arnumber.pdf" "$title.pdf"
done < "$tempfile1"

if [ -f $tempfile1 ]; then
    rm $tempfile1
fi

if [ -f $tempfile2 ]; then
    rm $tempfile2
fi

用法：./download.sh -b {base url, 需自行獲取} -f {從IEEE Xplore上下載的Citations檔案}

./download.sh -b http://ieeexplore.ieee.org/ielx5/6180033/6188639 -f downloadCitations.txt

有需要可以問我，嗯～@maxuan