windows下python常用庫的安裝
windows下python常用庫的安裝,前提安裝了annaconda 的python開發環境。只要已經安裝了anaconda,要安裝別的庫就很簡單了。只要使用pip即可,正常安裝好python,都會自帶pip安裝 工具,在python的scripts安裝目錄下可以檢視。具體安裝步驟:使用Anaconda在windows下管理python開發環境 python常用庫的安裝是python爬蟲開發的基石。
1.urllib 和re庫的安裝
這兩個庫是python自帶的庫,只要正確安裝了python,都可以直接呼叫者兩個庫,python模式下驗證如下
>>> import urllib
>>> import urllib.request
>>> urllib.request.urlopen('http://www.baidu.com')
<http.client.HTTPResponse object at 0x0000024222C09240>
>>> import re
>>>
2.requests請求庫的安裝
pip3 install requests dos下執行命令即可安裝 python互動下測試request請求庫是否安裝正確 >>> import requests >>> requests.get('http://www.baidu.com') <Response [200]> >>>
3.selenium庫的安裝
主要是用來驅動瀏覽器,做測試之類的,js渲染除錯
pip3 install selenium 執行安裝 ,刪除庫的話直接pip3 uninstall selenium 測試是否安裝正確 >>> import selenium >>> from selenium import webdriver >>> driver = webdriver.Chrome() #這個時候系統會啟動一個空白瀏覽器,如果失敗需要安裝chromdriver驅動,將其解壓後放到python配置環境變數後的目錄下即可 DevTools listening on ws://127.0.0.1:12052/devtools/browser/1f2faef9-0748-40f0-b955-9e41362ce55e >>>> driver = webdriver.Chrome() DevTools listening on ws://127.0.0.1:12722/devtools/browser/5ba65a50-df4a-47fd-b2d6-d313578d539d >>> driver.get('http://www.baidu.com') #這個時候開啟的瀏覽器就會跳轉到百度首頁。 >>>driver.page_source #可以直接列印當前百度網頁的程式碼
4.phantomjs 庫的安裝
無介面瀏覽器 ,命令列下瀏覽器驅動實現,跟selenium相輔,前者會開啟瀏覽器
1.在phantomjs官網下載phantomjs安裝包,http://phantomjs.org/download.html
2.放到指定安裝目錄後,配置環境變數,bin目錄
3.直接在dos下執行phantomjs看是否配置成功,如下:
C:\Users\Robot_CHEN>phantomjs
phantomjs>
4.安裝與功能測試
>>> import selenium
>>> from selenium import webdriver
>>> driver = webdriver.PhantomJS() #注意區別selenium中的webdrive.Chrom()
>>> driver.get('http://www.baidu.com')
>>> driver.page_source
5.lxml庫的安裝
xpath網頁解析庫,實現網頁解析。pip3 install lxml 直接安裝即可
python互動下,用import lxml確認是否安裝成功
6.beatifulsoup 網頁解析庫的安裝,依賴於lxml庫
安裝:pip3 install beatifulsoup4
測試安裝:
>>> from bs4 import BeautifulSoup #使用beautifulsoup要從 bs4模組中匯入
>>> soup = BeautifulSoup('<html></html>','lxml')
>>>
7.pyquery網頁解析庫的安裝
pip3 install pyquery 執行安裝.
>>> from pyquery import PyQuery as pq
>>> doc = pq('<html></html>')
>>> doc = pq('<html>Hello World</html>')
>>> result = doc('html').text()
>>> result
'Hello World'
>>>
8.pymysql儲存庫的安裝
操作mysql資料庫的驅動庫 安裝命令:pip3 install pymysql .安裝完成後用程式碼python操作mysql資料庫,執行CRUD.
import pymysql #匯入 pymysql
#開啟資料庫連線
db= pymysql.connect(host="localhost",user="root",
password="123456",db="mydatabase",port=3306)
# 使用cursor()方法獲取操作遊標
cur = db.cursor()
#1.查詢操作
# 編寫sql 查詢語句 user 對應我的表名
sql = "select * from emp3"
try:
cur.execute(sql) #執行sql語句
results = cur.fetchall() #獲取查詢的所有記錄
print("id","name","password")
#遍歷結果
for row in results :
id = row[0]
name = row[1]
password = row[2]
print(id,name,password)
except Exception as e:
raise e
finally:
db.close()
9.pymongo的安裝,操作mongodb資料
安裝依舊pip install pymongo
import pymongo
client = pymongo.MongoClient('localhost')
db = client['mymongodb']
coll = db['mycoll']
mydict = { "name": "RUNOOB", "alexa": "10000" }
coll.insert_one(mydict)
print(coll)
'''測試結果如下:
Collection(Database(MongoClient(host=['localhost:27017'], document_class=dict, tz_aware=False, connect=True), 'mymongodb'), 'mycoll')
'''
10.redis的安裝
pip install redis安裝即可
import redis
result = redis.Redis('localhost',6379)
result.set('name','jack')
print(result.get('name')) #b'jack'
11.flask的安裝,主要設定web時使用
可以在flask的官網文件檢視,http://docs.jinkan.org/docs/flask/
安裝方式 pip install flask,測試python互動模式下import flask看是否報錯
12django的安裝,web伺服器框架
安裝很簡單pip install django,測試匯入import django
13.jupyter安裝,強大的記事本
pip install jupyter即可安裝,如果使用的anaconda,則預設已經安裝了jupyter,主要用來線上寫程式碼和文件記錄,功能很強大也很方便。