linux上處理大檔案生成loadrunner引數dat格式的檔案直接使用
阿新 • • 發佈:2019-02-07
背景及需求:
匯出了線上的一批accesslog,大概有200多W條資料,獲取accesslog中URL這一個欄位出來,一共也是200多W的文字資料,如果按常規處理手段來,那無論是notepad+還是excel還是lr的dat都無法識別這麼大量的資料。
在linux上做一些處理:
1、切割大檔案,最終處理成差不多10W一個檔案
2、批量更改切割的檔案字尾,生成.dat格式,挪到loadrunner專案中直接當引數使用
3、切割後的檔案,要在每個檔案第一行加一個標頭,因為lr中作引數要用到title的
首先:切割大檔案
[[email protected] jieguo]# split -l 1000 ../part_42.dat part_
語法涉及:
#加上-d,使用數字字尾;加上--verbose,顯示分割進度:
#large_file.txt要分割的大檔案,part_分割後的名字
split -l50000 -d large_file.txt part_ --verbose
其次:批量生成dat字尾的檔案
#!/bin/bash
#批量更改名稱
for i in *
do
mv $i $i".dat"
done
再次:指加標頭