python學習筆記(60) 回撥和爬蟲
from multiprocessing import Pool
import requests
def get(url):
response = requests.get(url)
if response.status_code == 200:
return url,response.content.decode('utf-8')
def call_back(args):
url,content = args
print(url,len(content))
if __name__ == '__main__':
url_lst = [
'http://www.sohu.com/',
'https://www.sogou.com/',
'https://www.baidu.com/',
'https://www.cnblogs.com/',
]
p = Pool(5)
for i in url_lst:
p.apply_async(get,args=(i,),callback=call_back)
p.close()
p.join()
相關推薦
python學習筆記(60) 回撥和爬蟲
from multiprocessing import Poolimport requestsdef get(url): response = requests.get(url) if response.status_code == 200: return url,response.
python學習筆記(60) 回調和爬蟲
status __name__ 回調 https 爬蟲 utf close http callback from multiprocessing import Poolimport requestsdef get(url): response = requests.g
Python學習筆記——叠代器和生成器
返回對象 node manual 通過 line 計數 bject repr 對象 1、手動遍歷叠代器 使用next函數,並捕獲StopIteration異常。 def manual_iter(): with open(‘./test.py‘) as f:
Python學習筆記之文件和流
關閉 write finall 存儲路徑 大文件 描述 可選參數 針對 硬盤 打開文件:open(name[,mode[,buffering]]),返回一個文件對象,模式(mode)和緩沖(buffering)是兩個可選參數。 假設有一個名為somefile.txt的文件,
Python 學習筆記 之 day4 sict和set
變慢 現象 重復 不存在 取出 .get 操作 新的 運行 dict -- dictionary 一組key的集合,包含key與value的對應。 Python內置的字典,在其他語言中成為map,使用key-value存儲,具有幾塊的查找速度。 和li
python學習筆記(25) 堆棧和遞歸實現三級菜單
.get get bre 山東 python pytho pri () int menu = { ‘北京‘:{ ‘海澱‘:{ ‘五道口‘:{}, ‘上地‘:{}, ‘西三旗‘:{}
python學習筆記(31) 介面類和抽象類
from abc import abstractmethod.ABCmeta class Payment(mataclass = ABCmeta): #元類 預設的元類 type @abstractmethod def pay(self,money):pass 介面類或者抽象類都是為了規範子
python學習筆記(32) 多型和封裝
python天生支援多型 #動態強型別語言 list tuple 不崇尚根據繼承所得來的相似 如果兩個類剛好相似,不產生父類的子類的兄弟關係,而是鴨子型別 list tuple這種相似,是自己寫程式碼的時候約束的,而不是通過父類約束的 優點:鬆耦合 每個相似的類之間沒有影響 缺點:太隨意,只能靠
Python學習筆記1:數值和字串
Python旅程第一站: Python數值運算: type( ) 列印型別 四種基本型別:int, float, str, bool round( ) 取整,四捨五入
Python學習筆記1:數值和字符串
分享圖片 bsp rep 數值運算 round 取整 float 分享 基本類型 Python旅程第一站: Python數值運算: type( ) 打印類型 四種基本類型:int, float, str, bool round( ) 取整,四舍五
Python學習筆記:中文編碼和基礎語法
Python 中文編碼 Python中預設的編碼格式是 ASCII 格式,在沒修改編碼格式時無法正確列印漢字,所以在讀取中文時會報錯。 解決方法為只要在檔案開頭加入 # -- coding: UTF-8 -- 或者 #coding=utf-8 就行了(注意:#coding=utf-8
Linux系統下python學習筆記——Linux中檔案和目錄常用命令詳解
一、檢視目錄內容 ls命令說明: 英文單詞list的簡寫,功能為列出目錄的內容,是使用者最常用的命令字義 Linux下檔案和目錄的特點: Linux檔案或目錄名稱最長可以有256個字元 以 . 開頭的檔案為隱藏檔案,需要用-a引數才能顯示(all
python學習筆記(66) 非阻塞和多路複用的sever
非阻塞: import socketsk = socket.socket()sk.bind(('127.0.0.1',8080))sk.setblocking(False)sk.listen()conn_l = []del_conn =[]while True: try: conn,ad
Python學習筆記:虛擬環境和包
Python 應用程式經常會使用一些不屬於標準庫的包和模組。應用程式有時候需要某個特定版本的庫,因為它需要一個特定的 bug 已得到修復的庫或者它是使用了一個過時版本的庫的介面編寫的。 這就意味著可能無法安裝一個 Python 來滿足每個應用程式的要求。如果應
python學習筆記(82) JS函式和物件
區域性變數會在函式執行以後刪除,全域性變數會在頁面關閉以後刪除 作用域: var city = 'BeiJing';function Bar() { console.log(city);}function f() { var city = 'ShangHai'; return Bar}v
python學習筆記(85) jQuery樣式和屬性操作
選單作業: <script> $(".menu-title").click(function () { $(this).next().toggleclass("hide"); $(this).next().siblings(".menu-
Python學習--day35-非同步回撥 協程
day36 非同步回撥與協程 一、非同步回撥 1、什麼是回撥: 非同步回撥指的是:在發起一個非同步任務的同時指定一個函式,在非同步任務完成時會自動的呼叫這個函式。 2、為什麼需要回調函式 需要獲取非同步任務的執行結果,但是又不應該讓其阻塞(降低效率),即想要高效的獲取任務的執行結果。 之前
Python學習筆記三:輸入和輸出
首先,登入 >>>是Python直譯器的提示符輸出1輸出字串,使用print(),在括號中加上字串,多個字串用逗號“,”隔開,每個字串用單引號包住注意:print()會依次列印每個字串,遇到逗號“,”會輸出一個空格2,print
Python學習筆記之【輸入和輸出】
文章內容基於廖雪峰Python教程,參考慕課網相關課程,並進行了整理。文章僅供本人學習使用,若侵權將立刻刪除。 若無特別說明,文章內容都針對於Python2.7版本。 輸出 print加上字串、整數或變數,即可實現輸出。 多個輸出項需要用逗號隔開,輸出時會自動以空格隔
Python學習筆記:split()函式和strip()函式的使用說明
一、函式說明 1、split()函式 split():拆分字串。通過指定分隔符對字串進行切片,並返回分割後的字串列表(list) 語法:str.split(str="",num=string.count(str))[n] 引數說明: str:表示為分隔符,預設為空格,但是