1. 程式人生 > >linux上處理大檔案生成loadrunner引數dat格式的檔案直接使用

linux上處理大檔案生成loadrunner引數dat格式的檔案直接使用

背景及需求:

匯出了線上的一批accesslog,大概有200多W條資料,獲取accesslog中URL這一個欄位出來,一共也是200多W的文字資料,如果按常規處理手段來,那無論是notepad+還是excel還是lr的dat都無法識別這麼大量的資料。

在linux上做一些處理:

1、切割大檔案,最終處理成差不多10W一個檔案

2、批量更改切割的檔案字尾,生成.dat格式,挪到loadrunner專案中直接當引數使用

3、切割後的檔案,要在每個檔案第一行加一個標頭,因為lr中作引數要用到title的

首先:切割大檔案

[[email protected] jieguo]#  split -l 1000 ../part_42.dat part_

語法涉及:

#加上-d,使用數字字尾;加上--verbose,顯示分割進度:
#large_file.txt要分割的大檔案,part_分割後的名字
split -l50000 -d large_file.txt part_ --verbose

其次:批量生成dat字尾的檔案

#!/bin/bash

#批量更改名稱
for i in * 
do 
mv $i $i".dat" 
done

再次:指加標頭

相關推薦

no