浙江11选5任2:Linux運維人員你知道Linux中大文件快速處理小的方法有哪些嗎?

浙江11选5任3遗漏 www.ehxis.com 今天小編要跟大家分享的文章是關于Linux中大文件快速處理小的方法有哪些。相信正在從事Linux相關工作的小伙伴一定都遇到過這種情況, Linux入門新手和正在Linux學習的小伙伴快來看一看吧,希望能夠對大家有所幫助!

Linux中大文件快速處理小的方法有哪些嗎?

1.背景

工作中使用MapReduce任務導出一批含有路徑的文件,共計行數300W+,需要檢測文件是否在對應的服務器中存在,而文件所在的服務器并非浙江11选5任3遗漏集群的服務器,因此打算采用bash腳本進行。具體的方法如下(可直接看方法2,方法1效率較低):

2. 采用的方法

a. 方法1

原本打算使用如下腳本,進行簡單驗證:

!/bin/bash

count=0

cat oriTest.txt | while read data

do

count=$(( $count+1 ))

echo $count

dir=echo "$data" | awk -F "\t" '{print $5}'

if [ -e $dir ];then

echo "$data" >> exist.txt

else

echo "$data" >> noexist.txt

fi

done

原始數據格式如下:

name mark id dir

運行時發現處理5000行需要將近4、5分鐘的時間(機器為8核),果斷不行啊,隨后打算采用多進程的方法來執行,見方法2

b. 方法2

主要是通過將大文件分為小文件,然后對小文件進行后臺遍歷讀取,腳本如下:

!/bin/bash

source ~/.bashrc

判斷路徑是否存在

readdata(){

cat $1 | while read data

do

dir=echo "$data" | awk -F "\t" '{print $5}'

if [ -e $dir ];then

echo "$data" >> "exist_$1.txt"

else

echo "$data" >> "noexist_$1.txt"

fi

done

}

大文件切分為小文件,生成文件名為xaa,axb等(可以自己命名文件)

split -l 10000 oriTest.txt

declare -a files # 聲明數組

files=($(ls x*)) # 分割后的小文件名保存數組

遍歷,并后臺執行

for i in ${files[@]};do

echo $i

readdata $i &

done

以上就是小編今天為大家分享的關于浙江11选5任3遗漏人員你知道Linux中大文件快速處理小的方法有哪些嗎?的文章,希望本篇文章能夠對正在從事Linux相關工作的小伙伴們有所幫助。想要了解更多Linux相關知識記得關注浙江11选5任3遗漏官網。最后祝愿小伙伴們工作順利哦!

【免責聲明:本文圖片及文字信息均由小編轉載自網絡,旨在分享提供閱讀,版權歸原作者所有,如有侵權請聯系我們進行刪除?!?/p>

相關新聞

聯系我們

400-080-6560

在線咨詢:點擊這里給我發消息

郵件:[email protected]

工作時間:周一至周日,09:00-18:30

QR code