LINUX中如何不經過排序刪除檔案中重複的行(相同行,只保留

2021-07-12 12:05:48 字數 1782 閱讀 8396

1樓:匿名使用者

樓上 uniq必須是連續的重複才行把

用awk肯定行

這是一個cu的精華帖,差不多,對於你的問題你給稍等我修改一下。(ps感謝紅袖添香大姐)

cu精華 經典回顧

#假設我有如下檔案:

#cat aa

#123 def1 456

#345 def2 812

#123 def3 563

#322 def4 684

#123 def5 879

#......................

#現在我想把第一列中欄位相同的合併,第一列不相同的則保留,合併的原則就是保留第一個出現的前兩個欄位,第三個欄位則把結果相加,以上面的示例為例:

##就是對於123開頭的需要合併,合併後應該成為如下:

#cat aa

#123 def1 1898

#345 def2 812

#322 def4 684

#用shell如何實現?

#希望各位幫助,,謝謝,,

#要求總結:

#1 合併相同的第一列資料,並且計算第三列和

#2 第二列只保留第一次出現

#3 第一列順序不變

覺得這個問題很經典,所以從cu論壇轉過來了。

請大家一起學習

我們站在巨人的肩膀上。

問題補充:

看不太懂實現可以講一下思路嗎?

a[$1]+=$3

if(length(b[$1])==0)b[$1]=$2

我是這樣做的

--------------------------2

謝謝你的補充, 已經明白了你對split的適用技巧,是用split(a[$1],tmp)在碰到匹配的$1時取出以前的統計結然後再用$3加上以前的結果是吧,很巧妙。謝謝

但是有2個問題:

1不滿足 第二列保留第一次出現記錄(現在是保留最後一次出現)

2不滿足 第一列按照原來檔案順序出現

看看這個

awk 'being

end' filename

#######################

#######################

#######################

這樣就行了

#,/bin/bash

awk 'begin

end' data

前提是你的資料檔案裡面每行沒有空格,如果有用-f設定一個沒有的字元作分隔符就。

2樓:匿名使用者

cat file_a | uniq > file_b

linux檔案行排序去重結果不同sort和uniq

3樓:匿名使用者

uniq命令的幫助bai:

-u, --unique:only print unique lines

第一個方du法中,你加上-u選項導致zhi了daouniq只輸出唯一存專在的行屬

,有重複的行被過濾掉了

所以,問題出在你的地一種方法上

解決方法:uniq中不適用-u選項

linux中passwd檔案中每一行以:為分隔符,提取出每行的最後一列,排序去重,要求去重後顯示重複欄位的個數

4樓:叉燒帝

# cat /etc/passwd |cut -d':' -f7|sort|uniq -c

在linux中如何安裝軟體,linux怎麼安裝軟體

安裝軟體有三種,1是原始檔安裝,就是你說這種,情況複雜而且麻煩,2是軟體管理器安裝,比如ubuntu的apt和dpkg喝fedora的yum和rpm,3是安裝檔案安裝,比如stardict的大語音包有install檔案,後兩者最簡單,但是軟體不一定支援。不過第二種已經有很多了,比如gcc完全可以用這...

ecel中如何統計和排序,Excel中如何統計和排序

1 在復g2單元格輸入 sum e e 得到e列的總和制。2 方法一bai 選擇e列,在 資料 du選項下zhi的 降序 排序中,擴充套件dao選定區域 排序 即可。方法二 選擇a f列,在 資料 選項下的 排序 中,以e列為主要關鍵字,降序排序,確定,即可。在g2中輸入 sum e e 至於排序,...

如何在linux的終端中開啟軟體

gnome power manager 基本上用gnome做gui的都可以用這個命令的,我的是ubuntu 如何在linux中的終端快速啟動程式 20 你在終端裡直接打個firefox試試,如果有程式不行的話就用別名,比如。alias ll ls l 你可以用。alias program path ...