Linux命令根據某一列對檔案內容去重

阿新 • • 發佈：2018-11-25

大家可能經常遇到檔案內容排序去重處理的事情，使用 linux 命令可以很方便的處理，sort 命令在處理檔案排序和去重中起著非常重要的左右，是檔案處理的利器。

比如有以下檔案內容：

pythontab.com

4345 15 12121

4145 7 fdf

4245 5 dfsf

1345 76 432423

0693 2 4345

06a7 82 4e

06a9 58 e33

4345 68 343

06c1 56 453

06d7 145 45678

4345 117 21

06e3 280 76

4345 7 3434

4345 48 80

06f1 463 121

4345 3847 131

070b 1236 64

070d 3343 77

0713 104235 90

0715 6 12

0726 121 97798

更多幹貨分享加python程式語言學習QQ群 515267276

想要按照第二列排序去重，怎麼做呢？其實只需要 sort 命令就可以解決了

1	`sort` `-t $'\t'` `-k 2 -u pythontab.com`

sort 排序命令

-t 指定分隔符為‘\t’

-k 指定第三列

-u 去重

sort的其他一些選項：

-r 降序排列

-o 把排序結果輸出到原始檔

sort預設是把結果輸出到標準輸出，所以需要用重定向才能將結果寫入檔案，形如

sort filename>newfile

如果將結果輸出到原檔案，用重定向相當於清空

-n 看為數字來比較

你有沒有遇到過10比2小的情況。我反正遇到過。出現這種情況是由於排序程式將這些數字按字元來排序了，排序程式會先比較1和2，顯然1小，所以就將10放在2前面嘍。這也是sort的一貫作風。

我們如果想改變這種現狀，就要使用-n選項，來告訴sort，“要以數值來排序”！

-f 會將小寫字母都轉換為大寫字母來進行比較，亦即忽略大小寫

-c 會檢查檔案是否已排好序，如果亂序，則輸出第一個亂序的行的相關資訊，最後返回1

-C 會檢查檔案是否已排好序，如果亂序，不輸出內容，僅返回1

-M 會以月份來排序，比如JAN小於FEB等等

-b 會忽略每一行前面的所有空白部分，從第一個可見字元開始比較

Linux命令根據某一列對檔案內容去重

大家可能經常遇到檔案內容排序去重處理的事情，使用 linux 命令可以很方便的處理，sort 命令在處理檔案排序和去重中起著非常重要的左右，是檔案處理的利器。比如有以下檔案內容： pythontab.com 1 2 3 4 5 6 7 8 9 10 11 12

pandas 根據某一列排序（sort_values）

pandas 根據某一列排序 pandas排序的方法有很多，sort_values表示根據某一列排序 pd.sort_values("xxx",inplace=True) 表示pd按照xxx這個欄位排序，inplace預設為False,如果該值為F

spark rdd根據某一列去重

比如一個rdd有兩列 name age name有重複的，現在要根據name來去重 m = rdd.map(lambda r:(r[0],r)) r = m.reduceByKey(lambda x,y:x)首先先生成一個以該列為標準去重的key,該行為value,然後呼叫

gridcontrol 根據某一列數據來控制其他列合並

lte index 五行 substring export private 打印 save summary 首先需要屬性欄中設置這一列可以合並，再在CellMerge方法中寫 private void gridView1_CellMerge(object sender,

datatable 根據某一列數據來控制其他列合並

開始 data i++ datatable 需要最後一行其余 tab 根據 gridcontrol根據列合並後打印預覽會有點問題，在翻頁後偶爾會多顯示一行。因為之前合並的方法是把這其余幾行全部附加到第一行。被合並的那幾行本來有內容沒有刪掉才導致這樣。所以需要把這些內容刪

兩表關聯查詢，根據某一列去重複

var product = (from p in dbContext.Product join gp in dbContext.GroupProduct on p.Id equals gp.ProductId

DataGridView 某一列單元格內容居中顯示

dataGridView.Columns[0].DefaultCellStyle.Alignment = DataGridViewContentAligent.MiddleRight; //必須設定SortMode 為NotSortable，否則設定的單元格樣式不會生

Oracle 根據某個欄位對查詢結果去重三種方法詳述

Oracle三種去重的方法 distinct group by rowid 分組函式：作用於一組資料，並對一組資料返回一個值常見的分組函式有： count 返回找到的記錄數 min 返回一個數字列或計算列的最小值 max 返回一個數字列或計算列的最

Linux：使用awk命令獲取文本的某一行，某一列

file int lena 文本文 print 文本 In linux 命令 1、打印文件的第一列(域) ： awk ‘{print $1}‘ filename2、打印文件的前兩列(域) ： awk ‘{pri

Linux：使用awk命令獲取文字的某一行，某一列

1、列印檔案的第一列(域) awk '{print $1}' filename 2、列印檔案的前兩列(域) awk '{

php二維數組對某一列進行數據組裝

value walk var use 實現簡單參數 fun 版本 () demo示例: 1 $data = array( 2 ‘0‘ => array(‘id‘ => 10, ‘username‘ => ‘陳一‘), 3 ‘1‘

linux之awk命令獲取最後一列

data awk 使用 sum $2 ear tis rfi nbsp 統計分析中經常用的awk命令，其中用的最多的還是切分 cat test | awk -F‘,‘ ‘{print $1,$2} 能夠很好的將記錄按照需要切分開，但是如何獲取最後一列呢？可以使用aw

使用awk對某一列進行求和計算

print size log 17. total pri sum int avg 使用awk對某一列進行求和計算 cat file.log file_numb: 3168; total_size: 105.801 GB;avg_size: 34.1983 MBfile_nu

將excel按照某一列拆分成多個單獨檔案

1.開啟目標excel,按alt + f11鍵開啟VBE視窗 2.選擇插入->模組貼上下面程式碼到編輯器中程式碼： Sub 保留表頭拆分資料為若干新工作簿() Dim arr, d As Object, k, t, i&,

Linux下修改某一檔案下所有檔案的許可權

1.首先進入到root使用者下：開啟一個terminal，然後輸入命令 su 這時會提示輸入密碼，這個密碼我們是不知道的，解決方法： a. 開啟一個terminal，然後輸入下面的命令 sudo

將excel按照某一列拆分成多個檔案

1.開啟目標excel,按alt + f11鍵開啟VBE視窗 2.選擇插入->模組貼上下面程式碼到編輯器中 Sub 保留表頭拆分資料為若干新工作簿() Dim arr, d As Object, k, t, i&, lc%, rng As Ran

怎樣用excel按進行分類求和，最後再根據一列對其他列進行排序

一：實驗目的按商戶號分組，對交易筆數，交易金額，手續費進行分類求和。最後按交易筆數進行降序排序。部分原始資料如下：二：實驗步驟 2.1：用透視表實現分類彙總插入->資料透視表, 在‘選擇一個表或區域’處會自動選擇所有資料區域：新工作表是這樣形

R語言對矩陣按某一列排序

2014年05月20日 12:43:16 JamesFen 閱讀數：11419 個人分類： R

Pandas Python讀取CSV檔案中的某一列

本人菜鳥一枚，剛剛接觸Python，也不是專門研究Python的，但是在處理資料的時候需要用到，就簡單的記錄一下的自己學習。 1.首先就是讀取csv檔案 address=pd.read_csv("C:/..../檔名",usecols=[2]) #括號中第一個引數是讀取

linux按照指定列對檔案排序

0000 27189 41925425 065f 15 41925425 0663 7 41925425 0675 5

Linux命令根據某一列對檔案內容去重

更多幹貨分享加python程式語言學習QQ群 515267276

相關推薦