一. Python定向爬取海量圖片

        執行效果如下圖所示：
        這是從遊訊相簿中爬取圖片（非常不錯的網站，推薦大家去瀏覽），其它網站方法類似去修改。執行py檔案後，輸入“極品飛車”可以爬取主題相關的圖集。

        程式原始碼如下圖所示：

# -*- coding: utf-8 -*-
"""
Crawling pictures by selenium and urllib
url: http://pic.yxdown.com/list/0_0_1.html
Created on 2015-10-02 @author: Eastmount CSDN 
"""  
  
import time          
import re          
import os  
import sys
import urllib
import shutil
import datetime
from selenium import webdriver      
from selenium.webdriver.common.keys import Keys      
import selenium.webdriver.support.ui as ui      
from selenium.webdriver.common.action_chains import ActionChains  
  
#Open PhantomJS  
driver = webdriver.PhantomJS(executable_path="G:\phantomjs-1.9.1-windows\phantomjs.exe")  
#driver = webdriver.Firefox()
wait = ui.WebDriverWait(driver,10)  

#Download one Picture
def loadPicture(pic_url, pic_path):
    pic_name = os.path.basename(pic_url) #delete path, get the filename
    urllib.urlretrieve(pic_url, pic_path + pic_name)

#Visit the picture page and get <script>(.*?)</script>  original
def getScript(elem_url,path):
    print elem_url
    print path
    '''
    #Error: Message: Error Message => 'Element does not exist in cache'
    driver.get(elem_url)
    pic_url = driver.find_element_by_xpath("//div[@id='wrap']/div/div[2]/a")
    print pic_url.text
    '''
    #By urllib to download the original pics
    count = 1
    html_content = urllib.urlopen(elem_url).read()
    html_script = r'<script>(.*?)</script>'
    m_script = re.findall(html_script,html_content,re.S|re.M)
    for script in m_script:
        res_original = r'"original":"(.*?)"' #原圖
        m_original = re.findall(res_original,script)
        for pic_url in m_original:
            loadPicture(pic_url, path)
            count = count + 1
    else:
        print 'Download ' + str(count) + ' Pictures'
    
#Get the Title of the URL
def getTitle(key, url):
    try:
        #print key,type(key)
        count = 0
        print 'Function getTitle(key,url)'
        driver.get(url)
        wait.until(lambda driver: driver.find_element_by_xpath("//div[@class='masonry']/div/div[2]/a")) 
        elem_title = driver.find_elements_by_xpath("//div[@class='masonry']/div/div[2]/a")
        for title in elem_title:
            #title.text-unicode  key-str=>unicode
            #print key,title.text
            elem_url = title.get_attribute("href")
            if key in title.text:
                #print key,title.text
                path="E:\\Picture_DM\\"+title.text+"\\"
                if os.path.isfile(path):  #Delete file
                    os.remove(path)
                elif os.path.isdir(path): #Delete dir
                    shutil.rmtree(path,True)
                os.makedirs(path)         #create the file directory
                count = count + 1
                #print elem_url
                getScript(elem_url,path)  #visit pages 
                
    except Exception,e:
        print 'Error:',e
    finally:
        print 'Find ' + str(count) + ' pages with key\n'
    
#Enter Function
def main():
    #Create Folder
    basePathDirectory = "E:\\Picture_DM"
    if not os.path.exists(basePathDirectory):
        os.makedirs(basePathDirectory)

    #Input the Key for search  str=>unicode=>utf-8
    key = raw_input("Please input a key: ").decode(sys.stdin.encoding)
    print 'The key is : ' + key

    #Set URL List  Sum:1-73 Pages
    print 'Ready to start the Download!!!\n\n'
    starttime = datetime.datetime.now() 
    num=1
    while num<=73:
        url = 'http://pic.yxdown.com/list/0_0_'+str(num)+'.html'
        print '第'+str(num)+'頁','url:'+url
        #Determine whether the title contains key
        getTitle(key,url)
        time.sleep(2)
        num = num + 1
    else:
        print 'Download Over!!!'

    #get the runtime
    endtime = datetime.datetime.now()
    print 'The Running time : ',(endtime - starttime).seconds
        
main()
 

def loadPicture(pic_url, pic_path):
    pic_name = os.path.basename(pic_url) 
    urllib.urlretrieve(pic_url, pic_path + pic_name)

二. 搜尋引擎和知識圖譜雜談

       1.搜尋引擎
        下面是《這就是搜尋引擎·張俊林》裡面那張經典的框架圖。

三. Selenium簡單基礎學習

        前面我在Python爬蟲這個專題中講述了很多關於Selenium的文章，包括爬取百度百科InfoBox、配置安裝過程等。下面是簡單的Selenium定位元素的介紹：
        1.定位元素方法
        官網地址：http://selenium-python.readthedocs.org/locating-elements.html
        這裡有各種策略用於定位網頁中的元素(locate elements)，你可以選擇最適合的方案，Selenium提供了一下方法來定義一個頁面中的元素：

• find_element_by_id
• find_element_by_name
• find_element_by_xpath
• find_element_by_link_text
• find_element_by_partial_link_text
• find_element_by_tag_name
• find_element_by_class_name
• find_element_by_css_selector

• find_elements_by_name
• find_elements_by_xpath
• find_elements_by_link_text
• find_elements_by_partial_link_text
• find_elements_by_tag_name
• find_elements_by_class_name
• find_elements_by_css_selector

        除了上面給出的公共方法，這裡也有兩個在頁面物件定位器有用的私有方法。這兩個私有方法是find_element和find_elements。
        常用方法是通過xpath相對路徑進行定位，同時CSS也是比較好的方法。舉例：

1. <html>
2.  <body>
3.   <formid="loginForm">
4.    <inputname="username"type="text"/>
5.    <inputname="password"type="password"/>
6.    <inputname="continue"type="submit"value="Login"/>
7.    <inputname="continue"type="button"value="Clear"/>
8.   </form>
9. </body>
10. <html>

1. username = driver.find_element_by_xpath("//form[input/@name='username']")  
2. username = driver.find_element_by_xpath("//form[@id='loginForm']/input[1]")  
3. username = driver.find_element_by_xpath("//input[@name='username']")  

• size 獲取元素的尺寸
• text 獲取元素的文字
• get_attribute(name) 獲取屬性值
• location 獲取元素座標，先找到要獲取的元素，再呼叫該方法
• page_source 返回頁面原始碼
  
• driver.title 返回頁面標題
• current_url 獲取當前頁面的URL
• is_displayed() 設定該元素是否可見
• is_enabled() 判斷元素是否被使用
• is_selected() 判斷元素是否被選中
• tag_name 返回元素的tagName

四. 找工作雜談：你只是看起來很努力