資料採集（三）：用XPath爬取騰訊新聞
阿新 • • 發佈：2019-02-04
需要匯入的庫
import requests
from lxml import etree先用requests.get()方法請求頁面
result=requests.get("http://news.qq.com/")
encode=result.encoding
content=result.content
encode'GB2312'
注意指定解析器的編碼格式
selector=etree.HTML(content,parser=etree.HTMLParser(encoding=encode))騰訊新聞首頁上每條新聞的標題以及超連結，對應html原始碼有如下結構：
<a target="_blank" class="linkto" href="http://news.qq.com/a/20170720/019981.htm">遼寧艦過航臺灣海峽遭美軍驅逐艦跟蹤 國防部迴應</a>
用Xpath解析新聞的標題及url
samples=selector.xpath('//a[@class="linkto"]')
for sample in samples:
title=sample.text.strip()
print title
url=sample.attrib['href']
print url遼寧艦過航臺灣海峽遭美軍驅逐艦跟蹤 國防部迴應 http://news.qq.com/a/20170720/019981.htm “七下八上”主汛期將至：北方多雨 週末華北“退燒” http://news.qq.com/a/20170720/019390.htm 巴西眾院彈劾總統案獲通過 羅塞夫政黨承認落敗 http://news.qq.com/a/20160418/023091.htm 騰訊股價拆股後首次達300港元 今年累計漲幅超55% http://tech.qq.com/a/20170720/016568.htm 美國參議員麥凱恩被診斷出腦癌 曾參選美國總統 http://news.qq.com/a/20170720/009125.htm 人社部：36種高價剛需藥納入醫保 最高降幅達70% http://news.qq.com/a/20170720/012923.htm 人民日報海外版：印度推進“大國夢”急不可耐 http://news.qq.com/a/20170720/001930.htm 萬達融創富力集體高開 三者簽約637億元併購案 http://stock.qq.com/a/20170720/015276.htm 蘋果可能真的在造車，在中國祕密開發動力電池 http://tech.qq.com/a/20170720/010845.htm 開發商毀約奪地 將4S店砸成廢墟 http://news.qq.com/a/20170719/058897.htm 蘋果股價連漲9天創紀錄 iPhone 8延遲上市也擋不住 http://tech.qq.com/a/20170720/016469.htm 印軍在克什米爾地區對巴方“無故”開火 巴軍方回擊 http://news.qq.com/a/20170720/001479.htm 男孩獨自乘機出國被逐下航班 航空公司：託管兒童超額 http://news.qq.com/a/20170720/001745.htm 地產三巨頭60分鐘魔幻劇：富力背景板“進出”大戲 http://finance.qq.com/a/20170719/061523.htm 范冰冰虧4400萬又如何？投房地產葡萄酒收穫頗豐 http://ent.qq.com/a/20170720/005916.htm 劉亦菲獲專人撐傘 長髮白裙卻穿拖鞋 http://ent.qq.com/a/20170720/005185.htm 袁泉帶女兒現身 小姑娘推行李超自立 http://ent.qq.com/a/20170720/007934.htm 美股三大指數齊創收盤紀錄新高 納指九連漲 http://stock.qq.com/a/20170720/001560.htm 神鋒駕到！切爾西官方宣佈莫拉塔加盟 http://sports.qq.com/a/20170720/001226.htm 京東與唯品會否認合併傳聞 週三開盤股價雙雙上漲 http://tech.qq.com/a/20170719/061676.htm 農業部再發兩個進口轉基因生物安全證書：均為玉米 http://finance.qq.com/a/20170719/060784.htm 不延遲了！iPhone 8會在9月底推出 http://tech.qq.com/a/20170720/003257.htm 世錦賽-女子10米臺中國雙保險丟冠 馬來西亞奪歷史首金 http://sports.qq.com/a/20170720/001150.htm 亞馬遜推出自己的社交網路 不過目前只針對iOS使用者 http://tech.qq.com/a/20170719/065360.htm 美國宣佈對涉伊核中國民企和個人單邊制裁 中方迴應 http://news.qq.com/a/20170719/052073.htm IBM連續21季度營收下滑為何仍能實現盈利？ http://stock.qq.com/a/20170719/066938.htm 港媒：菲律賓搗破一以中國人為首綁架匪幫 拘捕45人 http://news.qq.com/a/20170719/061172.htm 環法第17賽段 荷蘭樂透車隊羅格利奇奪冠 http://sports.qq.com/a/20170719/066844.htm 寒門出貴子！雙胞胎兄弟全都考進名校 http://news.qq.com/a/20170719/045395.htm 深圳積分入戶放開學歷限制 港媒：中小城市或效仿 http://news.qq.com/a/20170720/001173.htm 白銀案被告人高承勇庭審鞠躬道歉現場 http://news.qq.com/a/20170719/065456.htm 朴槿惠以健康不佳為理由 再次拒絕為李在 http://news.qq.com/a/20170719/053842.htm