導讀 | 在處理大數據的時候我們總會想著一些並行的操作來加速我們的操作,我們的cpu是多核多線程的,但是我們的有些命令卻是單線程的命令,不能夠進行並行的運算,如: grep、bzip2、wc、awk、sed等等,只能使用一個CPU內核。要想讓linux命令使用所有的CPU內核,我們需要用到GNU Parallel命令,下面我們技術下加速的方法吧 |
我們都知道 grep, bzip2, wc, awk, sed等等,都是單線程的,只能使用一個CPU內核。那麽如何才能使用這些內核?
要想讓Linux命令使用所有的CPU內核,我們需要用到GNU Parallel命令,它讓我們所有的CPU內核在單機內做神奇的map-reduce操作,當然,這還要借助很少用到的–pipes 參數(也叫做–spreadstdin)。這樣,你的負載就會平均分配到各CPU上,真的。
BZIP2
bzip2是比gzip更好的壓縮工具,但它很慢!別折騰了,我們有辦法解決這問題。
以前的做法:
cat bigfile.bin | bzip2 --best > compressedfile.bz2
現在這樣:
cat bigfile.bin | parallel --pipe --recend '' -k bzip2 --best > compressedfile.bz2
尤其是針對bzip2,GNU parallel在多核CPU上是超級的快。你一不留神,它就執行完成了。
GREP
如果你有一個非常大的文本文件,以前你可能會這樣:
grep pattern bigfile.txt
現在你可以這樣:
cat bigfile.txt | parallel --pipe grep 'pattern'
或者這樣:
cat bigfile.txt | parallel --block 10M --pipe grep 'pattern'
這第二種用法使用了 –block 10M參數,這是說每個內核處理1千萬行——你可以用這個參數來調整每個CUP內核處理多少行數據。
AWK
下面是一個用awk命令計算一個非常大的數據文件的例子。
常規用法:
cat rands20M.txt | awk '{s+=$1} END {print s}'
現在這樣:
cat rands20M.txt | parallel --pipe awk \'{s+=\$1} END {print s}\' | awk '{s+=$1} END {print s}'
這個有點復雜:parallel命令中的–pipe參數將cat輸出分成多個塊分派給awk調用,形成了很多子計算操作。這些子計算經過第二個管道進入了同一個awk命令,從而輸出最終結果。第一個awk有三個反斜杠,這是GNU parallel調用awk的需要。
WC
想要最快的速度計算一個文件的行數嗎?
傳統做法:
wc -l bigfile.txt
現在你應該這樣:
cat bigfile.txt | parallel --pipe wc -l | awk '{s+=$1} END {print s}'
非常的巧妙,先使用parallel命令‘mapping’出大量的wc -l調用,形成子計算,最後通過管道發送給awk進行匯總。
SED
想在一個巨大的文件裏使用sed命令做大量的替換操作嗎?
常規做法:
sed s^old^new^g bigfile.txt
現在你可以:
cat bigfile.txt | parallel --pipe sed s^old^new^g
…然後你可以使用管道把輸出存儲到指定的文件裏。
原文來自:https://linux.cn/article-2188-1.html
本文地址:http://www.linuxprobe.com/use-cpu-commands.html
Tags: 我們 內核 命令 多核 使用 bigfile
文章來源: