1. 程式人生 > >python併發程式設計之多程序理論部分

python併發程式設計之多程序理論部分

一 什麼是程序

    程序:正在進行的一個過程或者說一個任務。而負責執行任務則是cpu。

    舉例(單核+多道,實現多個程序的併發執行):

    egon在一個時間段內有很多工要做:python備課的任務,寫書的任務,交女朋友的任務,王者榮耀上分的任務,  

    但egon同一時刻只能做一個任務(cpu同一時間只能幹一個活),如何才能玩出多個任務併發執行的效果?

    egon備一會課,再去跟李傑的女朋友聊聊天,再去打一會王者榮耀....這就保證了每個任務都在進行中.

二 程序與程式的區別

程式僅僅只是一堆程式碼而已,而程序指的是程式的執行過程。

舉例:

想象一位有一手好廚藝的電腦科學家egon正在為他的女兒元昊烘製生日蛋糕。

他有做生日蛋糕的食譜,

廚房裡有所需的原料:麵粉、雞蛋、韭菜,蒜泥等。

在這個比喻中:

    做蛋糕的食譜就是程式(即用適當形式描述的演算法)

    電腦科學家就是處理器(cpu)

    而做蛋糕的各種原料就是輸入資料

   程序就是廚師閱讀食譜、取來各種原料以及烘製蛋糕等一系列動作的總和

現在假設電腦科學家egon的兒子alex哭著跑了進來,說:XXXXXXXXXXXXXX

科學家egon想了想,處理兒子alex蟄傷的任務比給女兒元昊做蛋糕的任務更重要,於是

電腦科學家就記錄下他照著食譜做到哪兒了(儲存程序的當前狀態),然後拿出一本急救手冊,按照其中的指示處理蟄傷。這裡,我們看到處理機從一個程序(做蛋糕)切換到另一個高優先順序的程序(實施醫療救治),每個程序擁有各自的程式(食譜和急救手冊)。當蜜蜂蟄傷處理完之後,這位電腦科學家又回來做蛋糕,從他
離開時的那一步繼續做下去。

需要強調的是:同一個程式執行兩次,那也是兩個程序,比如開啟暴風影音,雖然都是同一個軟體,但是一個可以播放蒼井空,一個可以播放飯島愛。

三 併發與並行

無論是並行還是併發,在使用者看來都是'同時'執行的,不管是程序還是執行緒,都只是一個任務而已,真是幹活的是cpu,cpu來做這些任務,而一個cpu同一時刻只能執行一個任務

      一 併發:是偽並行,即看起來是同時執行。單個cpu+多道技術就可以實現併發,(並行也屬於併發)

你是一個cpu,你同時談了三個女朋友,每一個都可以是一個戀愛任務,你被這三個任務共享
要玩出併發戀愛的效果,
應該是你先跟女友1去看電影,看了一會說:不好,我要拉肚子,然後跑去跟第二個女友吃飯,吃了一會說:那啥,我
去趟洗手間,然後跑去跟女友3開了個房
單cpu,多程序,併發舉例一
某天下午,egon,yuanhao,wupeiqi,alex約好了一起去嫖娼,但娼只有一個,cpu只有一個,但是卻要‘同時’幹
四個任務(嫖出併發的效果),那就必須是幹一會egon,再幹一會yuanhao,再幹一會wupeiqi,再幹一會alex
egon:花了200塊錢,因為人美活好
yuanhao:500塊錢
wupeiqi:100塊錢,可能是不太行
alex:沒要錢,為啥???因為大家剛剛嫖的是他女朋友
單cpu,多程序,併發舉例二

     二 並行:同時執行,只有具備多個cpu才能實現並行

         單核下,可以利用多道技術,多個核,每個核也都可以利用多道技術(多道技術是針對單核而言的

         有四個核,六個任務,這樣同一時間有四個任務被執行,假設分別被分配給了cpu1,cpu2,cpu3,cpu4,

         一旦任務1遇到I/O就被迫中斷執行,此時任務5就拿到cpu1的時間片去執行,這就是單核下的多道技術

         而一旦任務1的I/O結束了,作業系統會重新呼叫它(需知程序的排程、分配給哪個cpu執行,由作業系統說了算),可能被分配給四個cpu中的任意一個去執行

  

所有現代計算機經常會在同一時間做很多件事,一個使用者的PC(無論是單cpu還是多cpu),都可以同時執行多個任務(一個任務可以理解為一個程序)。

    啟動一個程序來防毒(360軟體)

    啟動一個程序來看電影(暴風影音)

    啟動一個程序來聊天(騰訊QQ)

所有的這些程序都需被管理,於是一個支援多程序的多道程式系統是至關重要的

多道技術概念回顧:記憶體中同時存入多道(多個)程式,cpu從一個程序快速切換到另外一個,使每個程序各自執行幾十或幾百毫秒,這樣,雖然在某一個瞬間,一個cpu只能執行一個任務,但在1秒內,cpu卻可以執行多個程序,這就給人產生了並行的錯覺,即偽併發,以此來區分多處理器作業系統的真正硬體並行(多個cpu共享同一個實體記憶體)

四 同步\非同步and阻塞\非阻塞(重點)

同步:

#所謂同步,就是在發出一個功能呼叫時,在沒有得到結果之前,該呼叫就不會返回。按照這個定義,其實絕大多數函式都是同步呼叫。但是一般而言,我們在說同步、非同步的時候,特指那些需要其他部件協作或者需要一定時間完成的任務。
#舉例:
#1. multiprocessing.Pool下的apply #發起同步呼叫後,就在原地等著任務結束,根本不考慮任務是在計算還是在io阻塞,總之就是一股腦地等任務結束
#2. concurrent.futures.ProcessPoolExecutor().submit(func,).result()
#3. concurrent.futures.ThreadPoolExecutor().submit(func,).result()

非同步:

#非同步的概念和同步相對。當一個非同步功能呼叫發出後,呼叫者不能立刻得到結果。當該非同步功能完成後,通過狀態、通知或回撥來通知呼叫者。如果非同步功能用狀態來通知,那麼呼叫者就需要每隔一定時間檢查一次,效率就很低(有些初學多執行緒程式設計的人,總喜歡用一個迴圈去檢查某個變數的值,這其實是一 種很嚴重的錯誤)。如果是使用通知的方式,效率則很高,因為非同步功能幾乎不需要做額外的操作。至於回撥函式,其實和通知沒太多區別。
#舉例:
#1. multiprocessing.Pool().apply_async() #發起非同步呼叫後,並不會等待任務結束才返回,相反,會立即獲取一個臨時結果(並不是最終的結果,可能是封裝好的一個物件)。
#2. concurrent.futures.ProcessPoolExecutor(3).submit(func,)
#3. concurrent.futures.ThreadPoolExecutor(3).submit(func,)

阻塞:

#阻塞呼叫是指呼叫結果返回之前,當前執行緒會被掛起(如遇到io操作)。函式只有在得到結果之後才會將阻塞的執行緒啟用。有人也許會把阻塞呼叫和同步呼叫等同起來,實際上他是不同的。對於同步呼叫來說,很多時候當前執行緒還是啟用的,只是從邏輯上當前函式沒有返回而已。
#舉例:
#1. 同步呼叫:apply一個累計1億次的任務,該呼叫會一直等待,直到任務返回結果為止,但並未阻塞住(即便是被搶走cpu的執行許可權,那也是處於就緒態);
#2. 阻塞呼叫:當socket工作在阻塞模式的時候,如果沒有資料的情況下呼叫recv函式,則當前執行緒就會被掛起,直到有資料為止。

非阻塞:

#非阻塞和阻塞的概念相對應,指在不能立刻得到結果之前也會立刻返回,同時該函式不會阻塞當前執行緒。

小結:

#1. 同步與非同步針對的是函式/任務的呼叫方式:同步就是當一個程序發起一個函式(任務)呼叫的時候,一直等到函式(任務)完成,而程序繼續處於啟用狀態。而非同步情況下是當一個程序發起一個函式(任務)呼叫的時候,不會等函式返回,而是繼續往下執行當,函式返回的時候通過狀態、通知、事件等方式通知程序任務完成。

#2. 阻塞與非阻塞針對的是程序或執行緒:阻塞是當請求不能滿足的時候就將程序掛起,而非阻塞則不會阻塞當前程序

五 程序的建立(瞭解)

  但凡是硬體,都需要有作業系統去管理,只要有作業系統,就有程序的概念,就需要有建立程序的方式,一些作業系統只為一個應用程式設計,比如微波爐中的控制器,一旦啟動微波爐,所有的程序都已經存在。

  而對於通用系統(跑很多應用程式),需要有系統執行過程中建立或撤銷程序的能力,主要分為4中形式建立新的程序

  1. 系統初始化(檢視程序linux中用ps命令,windows中用工作管理員,前臺程序負責與使用者互動,後臺執行的程序與使用者無關,執行在後臺並且只在需要時才喚醒的程序,稱為守護程序,如電子郵件、web頁面、新聞、列印)

  2. 一個程序在執行過程中開啟了子程序(如nginx開啟多程序,os.fork,subprocess.Popen等)

  3. 使用者的互動式請求,而建立一個新程序(如使用者雙擊暴風影音)

  4. 一個批處理作業的初始化(只在大型機的批處理系統中應用)

  無論哪一種,新程序的建立都是由一個已經存在的程序執行了一個用於建立程序的系統呼叫而建立的:

  1. 在UNIX中該系統呼叫是:fork,fork會建立一個與父程序一模一樣的副本,二者有相同的儲存映像、同樣的環境字串和同樣的開啟檔案(在shell直譯器程序中,執行一個命令就會建立一個子程序)

  2. 在windows中該系統呼叫是:CreateProcess,CreateProcess既處理程序的建立,也負責把正確的程式裝入新程序。

  關於建立的子程序,UNIX和windows

  1.相同的是:程序建立後,父程序和子程序有各自不同的地址空間(多道技術要求物理層面實現程序之間記憶體的隔離),任何一個程序的在其地址空間中的修改都不會影響到另外一個程序。

  2.不同的是:在UNIX中,子程序的初始地址空間是父程序的一個副本,提示:子程序和父程序是可以有隻讀的共享記憶體區的。但是對於windows系統來說,從一開始父程序與子程序的地址空間就是不同的。

六 程序的終止(瞭解)

  1. 正常退出(自願,如使用者點選互動式頁面的叉號,或程式執行完畢呼叫發起系統呼叫正常退出,在linux中用exit,在windows中用ExitProcess)

  2. 出錯退出(自願,python a.py中a.py不存在)

  3. 嚴重錯誤(非自願,執行非法指令,如引用不存在的記憶體,1/0等,可以捕捉異常,try...except...)

  4. 被其他程序殺死(非自願,如kill -9)

七 程序的層次結構

  無論UNIX還是windows,程序只有一個父程序,不同的是:

  1. 在UNIX中所有的程序,都是以init程序為根,組成樹形結構。父子程序共同組成一個程序組,這樣,當從鍵盤發出一個訊號時,該訊號被送給當前與鍵盤相關的程序組中的所有成員。

  2. 在windows中,沒有程序層次的概念,所有的程序都是地位相同的,唯一類似於程序層次的暗示,是在建立程序時,父程序得到一個特別的令牌(稱為控制代碼),該控制代碼可以用來控制子程序,但是父程序有權把該控制代碼傳給其他子程序,這樣就沒有層次了。

八 程序的狀態

  tail -f access.log |grep '404'

  執行程式tail,開啟一個子程序,執行程式grep,開啟另外一個子程序,兩個程序之間基於管道'|'通訊,將tail的結果作為grep的輸入。

  程序grep在等待輸入(即I/O)時的狀態稱為阻塞,此時grep命令都無法執行

  其實在兩種情況下會導致一個程序在邏輯上不能執行,

  1. 程序掛起是自身原因,遇到I/O阻塞,便要讓出CPU讓其他程序去執行,這樣保證CPU一直在工作

  2. 與程序無關,是作業系統層面,可能會因為一個程序佔用時間過多,或者優先順序等原因,而呼叫其他的程序去使用CPU。

  因而一個程序由三種狀態

九 程序併發的實現(瞭解)

  程序併發的實現在於,硬體中斷一個正在執行的程序,把此時程序執行的所有狀態儲存下來,為此,作業系統維護一張表格,即程序表(process table),每個程序佔用一個程序表項(這些表項也稱為程序控制塊)

  該表存放了程序狀態的重要資訊:程式計數器、堆疊指標、記憶體分配狀況、所有開啟檔案的狀態、帳號和排程資訊,以及其他在程序由執行態轉為就緒態或阻塞態時,必須儲存的資訊,從而保證該程序在再次啟動時,就像從未被中斷過一樣。

相關推薦

python併發程式設計程序理論部分

一 什麼是程序     程序:正在進行的一個過程或者說一個任務。而負責執行任務則是cpu。     舉例(單核+多道,實現多個程序的併發執行):     egon在一個時間段內有很多工要做:python備課的任務,寫書的任務,交女朋友的任務,王者榮耀上分的任務,       但egon同一時刻只能做一

Python學習【第21篇】:程序池以及回撥函式 python併發程式設計程序2-------------資料共享及程序池和回撥函式

python併發程式設計之多程序2-------------資料共享及程序池和回撥函式 一、資料共享 1.程序間的通訊應該儘量避免共享資料的方式 2.程序

Python學習【第20篇】:互斥鎖以及程序之間的三種通訊方式(IPC)以及生產者個消費者模型 python併發程式設計程序1-----------互斥鎖與程序間的通訊

python併發程式設計之多程序1-----------互斥鎖與程序間的通訊 一、互斥鎖 程序之間資料隔離,但是共享一套檔案系統,因而可以通過檔案來實現程序直接的通訊,

python併發程式設計程序執行緒、非同步和協程

一、多執行緒   多執行緒就是允許一個程序記憶體在多個控制權,以便讓多個函式同時處於啟用狀態,從而讓多個函式的操作同時執行。即使是單CPU的計算機,也可以通過不停地在不同執行緒的指令間切換,從而造成多執行緒同時執行的效果。   多執行緒相當於一個併發(concunrr

python併發程式設計程序

一 multiprocessing模組介紹     python中的多執行緒無法利用多核優勢,如果想要充分地使用多核CPU的資源(os.cpu_count()檢視),在python中大部分情況需要使用多程序。Python提供了multiprocessing。    multiprocessing模組用來開啟

python併發程式設計執行緒理論部分

一 什麼是執行緒     在傳統作業系統中,每個程序有一個地址空間,而且預設就有一個控制執行緒   執行緒顧名思義,就是一條流水線工作的過程,一條流水線必須屬於一個車間,一個車間的工作過程是一個程序       車間負責把資源整合到一起,是一個資源單位,而一個車間內至少有一個流水線       流水線

Python併發程式設計執行緒使用

目錄 一 開啟執行緒的兩種方式 二 在一個程序下開啟多個執行緒與在一個程序下開啟多個子程序的區別 三 練習 四 執行緒相關的其他方法 五 守護執行緒 六 Python GIL(Global Interpreter Lock) 七 同步鎖 八 死鎖現象

Python學習【第24篇】:死鎖,遞迴鎖,訊號量,Event事件,執行緒Queue python併發程式設計執行緒2------------死鎖與遞迴鎖,訊號量等

python併發程式設計之多執行緒2------------死鎖與遞迴鎖,訊號量等 一、死鎖現象與遞迴鎖 程序也是有死鎖的 所謂死鎖: 是指兩個或兩個以上

Python學習【第23篇】:利用threading模組開執行緒 python併發程式設計執行緒1

python併發程式設計之多執行緒1 一多執行緒的概念介紹 threading模組介紹 threading模組和multiprocessing模組在使用層

併發程式設計程序

一、什麼是程序 一個正在執行的程式稱之為程序 是一種抽象概念 表示一個執行某件事情的過程,程序的概念 起源於作業系統 第一代計算機 程式是固定 無法修改 某種計算機只能幹某種活 第二代批處理系統 需要人工參與 將程式攢成一批 統一執行,序列執行 提高計算機的的利用率 但是除錯麻煩

41、併發程式設計程序實操篇

### 一 multiprocessing模組介紹 python中的多執行緒無法利用多核優勢,如果想要充分地使用多核CPU的資源(os.cpu_count()檢視),在Python中大部分情況需要使用多程序。Python提供了multiprocessing。 multiprocessing模組用來開啟子程序

Python併發程式設計執行緒池/程序

Python併發程式設計之執行緒池/程序池 2017/01/18 · 基礎知識 · 2 評論 · 併發, 執行緒池, 程序池 原文出處: ZiWenXie    引言 Pyt

linux網路程式設計程序併發伺服器

1)使用多程序併發伺服器考慮的因素:       (1)父程序描述最大檔案描述符的個數(父程序需要關閉accept返回的新檔案描述符)       (2)系統內可建立程序的個數(與記憶體大小相關)       (3)程序建立過多是否降低整體服務效能 2)多程序建立併發

Python併發程式設計建立執行緒的幾種方法

今天的內容會比較基礎,主要是為了讓新手也能無障礙地閱讀,所以還是要再鞏固下基礎。學完了基礎,你們也就能很順暢地跟著我的思路理解以後的文章。本文目錄學會使用函式建立多執行緒學會使用類建立多執行緒多執行緒:必學函式講解經過總結,Python建立多執行緒主要有如下兩種方法:函式類接

python程式設計程序程式設計

多工程式設計: 意義:充分利用計算機資源,同時執行多個任務,提高程式 整體的執行效率 定義:通過程式利用計算機的多個核心 達到同時執行多個任務的目的 以此達到提升程式執行效率的目的 實施方案:多程序程式設計 多執行緒程

42、併發程式設計執行緒理論

### 一 什麼是執行緒 在傳統作業系統中,每個程序有一個地址空間,而且預設就有一個控制執行緒 執行緒顧名思義,就是一條流水線工作的過程,一條流水線必須屬於一個車間,一個車間的工作過程是一個程序 車間負責把資源整合到一起,是一個資源單位,而一個車間內至少有一個流水線 流水線的工作需要電源,電源就相當於

併發程式設計執行緒執行緒安全

什麼是執行緒安全? 為什麼有執行緒安全問題? 當多個執行緒同時共享,同一個全域性變數或靜態變數,做寫的操作時,可能會發生資料衝突問題,也就是執行緒安全問題。但是做讀操作是不會發生資料衝突問題。 案例: 需求現在有100張火車票,有兩個視窗同時搶火車票,請使用多執行緒模擬搶票效果。 p

併發程式設計執行緒基礎

執行緒與程序區別 每個正在系統上執行的程式都是一個程序。每個程序包含一到多個執行緒。執行緒是一組指令的集合,或者是程式的特殊段,它可以在程式裡獨立執行。也可以把它理解為程式碼執行的上下文。所以執行緒基本上是輕量級的程序,它負責在單個程式裡執行多工。通常由作業系統負責多個執行緒的排程和執行。

Python併發程式設計同步\非同步and阻塞\非阻塞

一、什麼是程序 程序: 正在進行的一個過程或者說一個任務。而負責執行任務則是cpu。 程序和程式的區別: 程式僅僅只是一堆程式碼而已,而程序指的是程式的執行過程。 需要強調的是:同一個程式執行兩次,那也是兩個程序,比如開啟暴風影音,雖然都是同一個軟體,但是一個可以播郭德綱,一個可以播高曉鬆。 二、並行

15.python併發程式設計(執行緒--程序--協程)

一.程序:1.定義:程序最小的資源單位,本質就是一個程式在一個數據集上的一次動態執行(執行)的過程2.組成:程序一般由程式,資料集,程序控制三部分組成:(1)程式:用來描述程序要完成哪些功能以及如何完成(2)資料集:是程式在執行過程中所需要使用的一切資源(3)程序控制塊:用來記錄程序外部特徵,描述程序的執行變