2. 程式人生 > >[work] Linux Shell多程序併發以及併發數控制

[work] Linux Shell多程序併發以及併發數控制

阿新 • • 發佈：2019-01-01

1. 基礎知識準備

1.1. linux後臺程序

Unix是一個多工系統，允許多使用者同時執行多個程式。shell的元字元&提供了在後臺執行不需要鍵盤輸入的程式的方法。輸入命令後，其後緊跟&字元，該命令就會被送往到linux後臺執行，而終端又可以繼續輸入下一個命令了。 
比如：

sh a.sh &
sh b.sh &
sh c.sh &

這三個命令就會被同時送往linux後臺執行，在這個程度上，認為這三個命令併發執行了。

1.2. linux檔案描述符

檔案描述符（縮寫fd）在形式上是一個非負整數。實際上，它是一個索引值，指向核心為每一個程序所維護的該程序開啟檔案的記錄表。當程式開啟一個現有檔案或者建立一個新檔案時，核心向程序返回一個檔案描述符。每一個unix程序，都會擁有三個標準的檔案描述符，來對應三種不同的流：

檔案描述符 名稱
0 Standard Input
1 Standard Output
2 Standard Error

每一個檔案描述符會對應一個開啟檔案，同時，不同的檔案描述符也可以對應同一個開啟檔案；同一個檔案可以被不同的程序開啟，也可以被同一個程序多次開啟。

在/proc/PID/fd中，列舉了程序PID所擁有的檔案描述符，例如

#!/bin/bash
source /etc/profile;

# $$表示當前程序的PID
PID=$$

# 檢視當前程序的檔案描述符指向
ll /proc/$PID/fd
echo "-------------------";echo

# 檔案描述符1與檔案tempfd1進行繫結
( [ -e ./tempfd1 ] || touch ./tempfd1 ) && exec 1<>./tempfd1

# 檢視當前程序的檔案描述符指向
ll /proc/$PID/fd
echo "-------------------";echo;
 
[[email protected] learn_linux]$ sh learn_redirect.sh 
total 0
lrwx------. 1 ouyangyewei ouyangyewei 64 Jan  4 22:17 0 -> /dev/pts/0
lrwx------. 1 ouyangyewei ouyangyewei 64 Jan  4 22:17 1 -> /dev/pts/0
lrwx------. 1 ouyangyewei ouyangyewei 64 Jan  4 22:17 2 -> /dev/pts/0
lr-x------. 1 ouyangyewei ouyangyewei 64 Jan  4 22:17 255 -> /home/ouyangyewei/workspace/learn_linux/learn_redirect.sh
-------------------

[
 
[email protected] learn_linux]$ cat tempfd1 
total 0
lrwx------. 1 ouyangyewei ouyangyewei 64 Jan  4 22:17 0 -> /dev/pts/0
lrwx------. 1 ouyangyewei ouyangyewei 64 Jan  4 22:17 1 -> /home/ouyangyewei/workspace/learn_linux/tempfd1
lrwx------. 1 ouyangyewei ouyangyewei 64 Jan  4 22:17 2 -> /dev/pts/0
lr-x------. 1 ouyangyewei ouyangyewei 64 Jan  4 22:17 255 -> /home/ouyangyewei/workspace/learn_linux/learn_redirect.sh
-------------------

上述的例子中第12行，將檔案描述符1與檔案tempfile進行了繫結，此後，檔案描述符1指向了tempfile檔案，標準輸出被重定向到了檔案tempfile中。

1.3. linux管道

在Unix或類Unix作業系統中，管道是一個由標準輸入輸出連結起來的程序集合，因此，每一個程序的輸出將直接作為下一個程序的輸入，

linux管道包含兩種：

  • 匿名管道
  • 命名管道

管道有一個特點，如果管道中沒有資料，那麼取管道資料的操作就會滯留，直到管道內進入資料，然後讀出後才會終止這一操作；同理，寫入管道的操作如果沒有讀取管道的操作，這一動作就會滯留。

1.3.1. 匿名管道

在Unix或類Unix作業系統的命令列中，匿名管道使用ASCII中垂直線|作為匿名管道符，匿名管道的兩端是兩個普通的，匿名的，開啟的檔案描述符：一個只讀端和一個只寫端，這就讓其它程序無法連線到該匿名管道。

例如：

cat file | less

為了執行上面的指令，Shell建立了兩個程序來分別執行cat和less。下圖展示了這兩個程序是如何使用管道的： 
unix_unnamed_pipe 
有一點值得注意的是兩個程序都連線到了管道上，這樣寫入程序cat就將其標準輸出（檔案描述符為fd 1）連線到了管道的寫入端，讀取程序less就將其標準輸入（檔案描述符為fd 0）連線到了管道的讀入端。實際上，這兩個程序並不知道管道的存在，它們只是從標準檔案描述符中讀取資料和寫入資料。shell必須要完成相關的工作。

1.3.2. 命名管道（FIFO，First In First Out）

命名管道也稱FIFO，從語義上來講，FIFO其實與匿名管道類似，但值得注意：

  • 在檔案系統中，FIFO擁有名稱，並且是以裝置特俗檔案的形式存在的；
  • 任何程序都可以通過FIFO共享資料；
  • 除非FIFO兩端同時有讀與寫的程序，否則FIFO的資料流通將會阻塞；
  • 匿名管道是由shell自動建立的，存在於核心中；而FIFO則是由程式建立的（比如mkfifo命令），存在於檔案系統中；
  • 匿名管道是單向的位元組流，而FIFO則是雙向的位元組流；

比如，可以利用FIFO實現單伺服器、多客戶端的應用程式: 
unix_named_pipe

有了上面的知識準備，現在可以開始講述，linux多程序併發時，如何控制每次併發的程序數。

2. linux多程序併發數控制

最近小A需要生產2015年全年的KPI資料報表，現在小A已經將生產指令碼寫好了，生產指令碼一次只能生產指定一天的KPI資料，假設跑一次生產指令碼需要5分鐘，那麼： 
* 如果是迴圈順序執行，那麼需要時間：5 * 365 = 1825 分鐘，約等於 6 天 
* 如果是一次性放到linux後臺併發執行，365個後臺任務，系統可承受不住哦！

既然不能一次性把365個任務放到linux後臺執行，那麼，能不能實現自動地每次將N個任務放到後臺併發執行呢？當然是可以的啦。

#! /bin/bash
source /etc/profile;

# -----------------------------

tempfifo=$$.fifo        # $$表示當前執行檔案的PID
begin_date=$1           # 開始時間
end_date=$2             # 結束時間

if [ $# -eq 2 ] 
then
    if [ "$begin_date" \> "$end_date" ]
    then
        echo "Error! $begin_date is greater than $end_date"
        exit 1;
    fi
else
    echo "Error! Not enough params."
    echo "Sample: sh loop_kpi 2015-12-01 2015-12-07"
    exit 2;
fi

# -----------------------------

trap "exec 1000>&-;exec 1000<&-;exit 0" 2
mkfifo $tempfifo
exec 1000<>$tempfifo
rm -rf $tempfifo

for ((i=1; i<=8; i++))
do
    echo >&1000
done

while [ $begin_date != $end_date ]
do
    read -u1000
    {
        echo $begin_date
        hive -f kpi_report.sql --hivevar date=$begin_date
        echo >&1000
    } &

    begin_date=`date -d "+1 day $begin_date" +"%Y-%m-%d"`
done

wait
echo "done!!!!!!!!!!"
  • 第6～22行：比如：sh loop_kpi_report.sh 2015-01-01 2015-12-01： 
    • $1表示指令碼入參的第一個引數，等於2015-01-01
    • $2表示指令碼入參的第二個引數，等於2015-12-01
    • $#表示指令碼入參的個數，等於2
    • 第13行用於比較傳入的兩個日期的大小，\>是轉義
  • 第26行：表示在指令碼執行過程中，如果接收到Ctrl+C中斷命令，則關閉檔案描述符1000的讀寫，並正常退出 
    • exec 1000>&-;表示關閉檔案描述符1000的寫
    • exec 1000<&-;表示關閉檔案描述符1000的讀
    • trap是捕獲中斷命令
  • 第27～29行： 
    • 第27行，建立一個管道檔案
    • 第28行，將檔案描述符1000與FIFO進行繫結，<讀的繫結，>寫的繫結，<>則標識對檔案描述符1000的所有操作等同於對管道檔案$tempfifo的操作
    • 第29行，可能會有這樣的疑問：為什麼不直接使用管道檔案呢？事實上這並非多此一舉，管道的一個重要特性，就是讀寫必須同時存在，缺失某一個操作，另一個操作就是滯留，而第28行的繫結檔案描述符（讀、寫繫結）正好解決了這個問題
  • 第31～34行：對檔案描述符1000進行寫入操作。通過迴圈寫入8個空行，這個8就是我們要定義的後臺併發的執行緒數。為什麼是寫空行而不是寫其它字元？因為管道檔案的讀取，是以行為單位的
  • 第37～42行： 
    • 第37行，read -u1000的作用就是讀取管道中的一行，在這裡就是讀取一個空行；每次讀取管道就會減少一個空行
    • 第39～41行，注意到第42行結尾的&嗎？它表示程序放到linux後臺中執行
    • 第41行，執行完後臺任務之後，往檔案描述符1000中寫入一個空行。這是關鍵所在了，由於read -u1000每次操作，都會導致管道減少一個空行，當linux後臺放入了8個任務之後，由於檔案描述符1000沒有可讀取的空行，將導致read -u1000一直處於等待。

3. 參考資料

相關推薦

[work] Linux Shell多程序併發以及併發數控制

1. 基礎知識準備 1.1. linux後臺程序 Unix是一個多工系統，允許多使用者同時執行多個程式。shell的元字元&提供了在後臺執行不需要鍵盤輸入的程式的方法。輸入命令後，其後緊跟&字元，該命令就會被送往到linux後臺執行，而終端又可以繼續輸入下一個命令了。&nbs

linux shell多程序

1 bash後臺執行實現多程序 1.1 command & 後臺執行 釋放終端命令列，將command命令程式掛到後臺繼續執行，這樣使用者就不必等待該程式執行結束後才釋放終端命令列，可以一邊等待command後臺執行一邊做其他的事。但是，不可以關

linux socket多程序併發伺服器

/***sever***/ #include <sys/types.h> #include <sys/socket.h> #include <netinet/in.h> #include <arpa/inet.h>

linux fork多程序併發伺服器模型之C/C++程式碼實戰

        在很早的文章中， 我們一起聊過伺服器如何與多個客戶端進行通訊， 那時， 我們要麼用select, 要麼用多執行緒， 卻沒有用多程序。 其實， 多程序也可以實現與多個客戶端進行通訊。          如果是在while中迴圈accept,  然後迴圈處理事情

利用epoll和多程序解決高併發問題

1、服務端程式碼，開啟8個工作程序 #include <stdio.h> #include <stdlib.h> #include <string.h> #include <signal.h> #include <sy

Linux程式設計——多程序程式設計

    本文學習Linux環境下的多程序程式設計，在我之前的文章裡已經講過程序與執行緒。本文，再簡單講一下程序的概念，方便接下來的學習。     程序定義：程序是一個具有一定獨立功能的程式的一次執行活動。     程序狀態圖：

Linux程式設計 多程序，多執行緒求解PI（圓周率）

題目： 連結 多程序： #include <unistd.h> #include <stdio.h> #include <stdlib.h> #define n 100000000.0 int main() { i

【Linux】多程序與多執行緒之間的區別

http://blog.csdn.net/byrsongqq/article/details/6339240 網路程式設計中設計併發伺服器，使用多程序與多執行緒 ，請問有什麼區別？  答案一: 1，程序：子程序是父程序的複製品。子程序獲得父程序資料空間、堆和棧的複製品。 2，執行緒：相

PX4概念學習（1）——Linux下多程序、多執行緒基礎

【學習Freeape大神的uORB時，乘機補補有關Linux多程序、多執行緒的知識】 uORB(Micro Object Request Broker,微物件請求代理器)是PX4/Pixhawk系統中非常重要且關鍵的一個模組，它肩負了整個系統的資料傳輸任務，所有的感測器資料

[shell] 多程序指令碼分析CVE資料庫資訊

參考連結：  https://bg2bkk.github.io/post/shell%E5%A4%9A%E7%BA%BF%E7%A8%8B%E5%AE%9E%E8%B7%B5/ $cat steps.sh rm -r output mkdir -p output #允

Linux下多程序、多執行緒基礎

【學習Freeape大神的uORB時，乘機補補有關Linux多程序、多執行緒的知識】 uORB(Micro Object Request Broker,微物件請求代理器)是PX4/Pixhawk系統中非常重要且關鍵的一個模組，它肩負了整個系統的資料傳輸任務，所有的感測器資料、GPS、PPM訊

[work] Linux Shell中的陣列及遍歷

在Linux下使用shell的時候，為方便起見，偶爾會用到一下陣列。陣列的申明方式是： [java] view plain copy array=(element1 element2 element3 .... elementN)   也就是直接用圓括號包陣列元素包起來，陣

Linux 實現多程序拷貝檔案

//copy.c #include <stdio.h> #include <unistd.h> #include <fcntl.h> #include<stdlib.h> #include<sys/stat.h> #include<e

linux fork 多程序建立

1）fork函式將執行著的程式分成2個（幾乎）完全一樣的程序，每個程序都啟動一個從程式碼的同一位置開始執行的執行緒。 這兩個程序中的執行緒繼續執行，就像是兩個使用者同時啟動了該應用程式的兩個副本。 2）fork函式被呼叫一次但返回兩次。兩次返回的唯一區別是子程序中返回0值而父程序中返回子程序ID。

Linux伺服器多程序模型

Linux多程序一般是master負責偵聽，worker接受和伺服client。 一個使用了以下技術的多程序模型： 1. sigset：安全訊號，訊號遮蔽和接受。 2. epoll：非同步io模型。 master程序使用訊號模型，偵聽使用者訊號和程式訊號，並和worker交流。

linux shell多執行緒操作

原理：linux的shell命令可以實現多執行緒執行，並且執行緒間具備通訊機制。 1、單執行緒 原理：預設的情況下，Shell指令碼中的命令是序列執行的，必須等到前一條命令執行完後才執行接下來的命令。 例項： #!/bin/bash   for(( i = 0; i &

linux 下多程序的同步

      linux 多程序的同步：linux多程序我實現同步操作，操作單個訊號量已經不能實現，對多程序的通訊可以採取訊號集的方式，一個訊號集包含了多個訊號量。 首先通過semget（）建立訊號量。例如：semid = semget(SEMKEY,2,0600|IFLAG

linux shell 多個命令一起執行的幾種方法

在命令列可以一次執行多個命令，有以下幾種： 1.每個命令之間用;隔開 說明：各命令的執行結果，不會影響其它命令的執行。換句話說，各個命令都會執行， 但不保證每個命令都執行成功。 cd /home/PyTest/src; python suning.py

Linux下多程序程式設計小例——獲取網絡卡的IP地址

Linux下多程序程式設計的核心是呼叫fork()系統呼叫用來建立一個新的程序:pid_t   fork(void);  由fork()建立的新程序被稱為子程序。fork()函式被呼叫一次，但有兩次返回。 返回值=0：  子程序              返回值>0： 

linux下多程序的檔案拷貝與程序相關的一些基礎知識

之前實現了用檔案IO的方式可以實現檔案的拷貝，那麼對於程序而言，我們是否也可以實現呢？ 答案是肯定的。 程序資源： 首先我們先回顧一下，程序的執行需要哪些資源呢？其資源包括CPU資源，記憶體資源，當然還有時間片資源，我們都知道程序是有 棧， 堆，  只讀資料段，  資料段（