成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

Linux基礎命令介紹八：文本分析awk

作者：vvpale
系統 Linux
awk是一種模式掃描和處理語言，在對數據進行分析處理時，是十分強大的工具。awk的工作過程是這樣的：按行讀取輸入(標準輸入或文件)，對于符合模式pattern的行，執行action。當pattern省略時表示匹配任何字符串;當action省略時表示執行'{print}';它們不可以同時省略。

[[179646]] 

awk是一種模式掃描和處理語言，在對數據進行分析處理時，是十分強大的工具。

 

  1. awk [options] 'pattern {action}' file... 

awk的工作過程是這樣的：按行讀取輸入(標準輸入或文件)，對于符合模式pattern的行，執行action。當pattern省略時表示匹配任何字符串;當action省略時表示執行'{print}';它們不可以同時省略。

每一行輸入，對awk來說都是一條記錄(record)，awk使用$0來引用當前記錄：

  1. [root@centos7 ~]# head -1 /etc/passwd | awk '{print $0}' 
  2. root:x:0:0:root:/root:/bin/bash 

 

例子中將命令head -1 /etc/passwd作為awk的輸入，awk省略了pattern，action為print $0，意為打印當前記錄。

對于每條記錄，awk使用分隔符將其分割成列，***列用$1表示，第二列用$2表示...***一列用$NF表示

選項-F表示指定分隔符

如輸出文件/etc/passwd***行***列(用戶名)和***一列(登錄shell)：

  1. [root@centos7 ~]# head -1 /etc/passwd | awk -F: '{print $1,$NF}' 
  2. root /bin/bash 

 

當沒有指定分隔符時，使用一到多個blank(空白字符，由空格鍵或TAB鍵產生)作為分隔符。輸出的分隔符默認為空格。

如輸出命令ls -l *的結果中，文件大小和文件名：

  1. [root@centos7 temp]# ls -l * | awk '{print $5,$NF}' 
  2. 13 b.txt 
  3. 58 c.txt 
  4. 12 d.txt 
  5. 0 e.txt 
  6. 0 f.txt 
  7. 24 test.sh 
  8. [root@centos7 temp]#  

 

還可以對任意列進行過濾：

  1. [root@centos7 temp]# ls -l *|awk '$5>20 && $NF ~ /txt$/' 
  2. -rw-r--r-- 1 nobody nobody 58 11月 16 16:34 c.txt 

 

其中$5>20表示第五列的值大于20;&&表示邏輯與;$NF ~ /txt$/中，~表示匹配，符號//內部是正則表達式。這里省略了action，整條awk語句表示打印文件大小大于20字節并且文件名以txt結尾的行。

awk用NR表示行號

  1. [root@centos7 temp]# awk '/^root/ || NR==2' /etc/passwd 
  2. root:x:0:0:root:/root:/bin/bash 
  3. bin:x:1:1:bin:/bin:/sbin/nologin 
  4. [root@centos7 temp]# 

 

例子中||表示邏輯或，語句表示：輸出文件/etc/passwd中以root開頭的行或者第二行。

在一些情況下，使用awk過濾甚至比使用grep更靈活

如獲得ifconfig的輸出中網卡名及其對應的mtu值

  1. [root@idc-v-71253 ~]# ifconfig|awk '/^\S/{print $1"\t"$NF}' 
  2. ens32:  1500 
  3. ens33:  1500 
  4. lo:     65536 
  5. [root@idc-v-71253 ~]#  
  6. #這里的正則表示不以空白字符開頭的行，輸出內容中使用\t進行了格式化。 

 

#這里的正則表示不以空白字符開頭的行，輸出內容中使用\t進行了格式化。

以上所說的NR、NF等都是awk的內建變量，下面列出部分常用內置變量

  1. $0          當前記錄（這個變量中存放著整個行的內容） 
  2. $1~$n       當前記錄的第n個字段，字段間由FS分隔 
  3. FS          輸入字段分隔符 默認是空格或Tab 
  4. NF          當前記錄中的字段個數，就是有多少列 
  5. NR          行號，從1開始，如果有多個文件話，這個值也不斷累加。 
  6. FNR         輸入文件行號 
  7. RS          輸入的記錄分隔符， 默認為換行符 
  8. OFS         輸出字段分隔符， 默認也是空格 
  9. ORS         輸出的記錄分隔符，默認為換行符 
  10. FILENAME    當前輸入文件的名字 

 

awk中還可以使用自定義變量，如將網卡名賦值給變量a，然后輸出網卡名及其對應的RX bytes的值(注意不同模式匹配及其action的寫法)：

  1. [root@idc-v-71253 ~]# ifconfig|awk '/^\S/{a=$1}/RX p/{print a,$5}' 
  2. ens32: 999477100 
  3. ens33: 1663197120 
  4. lo: 0 

 

awk中有兩個特殊的pattern：BEGIN和END;它們不會對輸入文本進行匹配，BEGIN對應的action部分組合成一個代碼塊，在任何輸入開始之前執行;END對應的action部分組合成一個代碼塊，在所有輸入處理完成之后執行。

  1. #注意類似于C語言的賦值及print函數用法 
  2. [root@centos7 temp]# ls -l *|awk 'BEGIN{print "size name\n---------"}$5>20{x+=$5;print $5,$NF}END{print "---------\ntotal",x}' 
  3. size name 
  4. --------- 
  5. 58 c.txt 
  6. 24 test.sh 
  7. --------- 
  8. total 82 
  9. [root@centos7 temp]# 

 

awk還支持數組，數組的索引都被視為字符串(即關聯數組)，可以使用for循環遍歷數組元素

如輸出文件/etc/passwd中各種登錄shell及其總數量

  1. #注意數組賦值及for循環遍歷數組的寫法 
  2. [root@centos7 temp]# awk -F ':' '{a[$NF]++}END{for(i in a) print i,a[i]}' /etc/passwd 
  3. /bin/sync 1 
  4. /bin/bash 2 
  5. /sbin/nologin 19 
  6. /sbin/halt 1 
  7. /sbin/shutdown 1 
  8. [root@centos7 temp]#  

 

當然也有if分支語句

  1. #注意大括號是如何界定action塊的 
  2. [root@centos7 temp]# netstat -antp|awk '{if($6=="LISTEN"){x++}else{y++}}END{print x,y}' 
  3. 6 3 
  4. [root@centos7 temp]#  

 

pattern之間可以用逗號分隔，表示從匹配***個模式開始直到匹配第二個模式

  1. [root@centos7 ~]# awk '/^root/,/^adm/' /etc/passwd        
  2. root:x:0:0:root:/root:/bin/bash 
  3. bin:x:1:1:bin:/bin:/sbin/nologin 
  4. daemon:x:2:2:daemon:/sbin:/sbin/nologin 
  5. adm:x:3:4:adm:/var/adm:/sbin/nologin 

 

還支持三目操作符pattern1 ? pattern2 : pattern3，表示判斷pattern1是否匹配，true則匹配pattern2，false則匹配pattern3，pattern也可以是類似C語言的表達式。

如判斷文件/etc/passwd中UID大于500的登錄shell是否為/bin/bash，是則輸出整行，否則輸出UID為0的行：

  1. #注意為避免混淆對目錄分隔符進行了轉義 
  2. [root@centos7 ~]# awk -F: '$3>500?/\/bin\/bash$/:$3==0 {print $0}' /etc/passwd          
  3. root:x:0:0:root:/root:/bin/bash 
  4. learner:x:1000:1000::/home/learner:/bin/bash 
  5. #三目運算符也可以嵌套，例子略 

 

選項-f file表示從file中讀取awk指令

  1. #打印斐波那契數列前十項 
  2. [root@centos7 temp]# cat test.awk  
  3. BEGIN{ 
  4.     $1=1 
  5.     $2=1 
  6.     OFS="," 
  7.     for(i=3;i<=10;i++) 
  8.     { 
  9.         $i=$(i-2)+$(i-1) 
  10.     } 
  11.     print 
  12. } 
  13. [root@centos7 temp]# awk -f test.awk  
  14. 1,1,2,3,5,8,13,21,34,55 
  15. [root@centos7 temp]#  

 

選項-F指定列分隔符

 

  1. #多個字符作為分隔符時 
  2. [root@centos7 temp]# echo 1.2,3:4 5|awk -F '[., :]' '{print $2,$NF}' 
  3. 2 5 
  4. [root@centos7 temp]# 
  5. #這里-F后單引號中的內容也是正則表達式 

 

選項-v var=val設定變量

  1. #這里printf函數用法類似C語言同名函數 
  2. [root@centos7 ~]# awk -v n=5 'BEGIN{for(i=0;i<n;i++) printf "%02d\n",i}'   
  3. 00 
  4. 01 
  5. 02 
  6. 03 
  7. 04 
  8. [root@centos7 ~]#  

 

print等函數還支持使用重定向符>和>>將輸出保存至文件

  1. #如按***列(IP)分類拆分文件access.log，并保存至ip.txt文件中 
  2. [root@centos7 temp]# awk '{print > $1".txt"}' access.log  
  3. [root@centos7 temp]# ls -l 172.20.71.* 
  4. -rw-r--r-- 1 root root 5297 11月 22 21:33 172.20.71.38.txt 
  5. -rw-r--r-- 1 root root 1236 11月 22 21:33 172.20.71.39.txt 
  6. -rw-r--r-- 1 root root 4533 11月 22 21:33 172.20.71.84.txt 
  7. -rw-r--r-- 1 root root 2328 11月 22 21:33 172.20.71.85.txt 

 

內建函數

length()獲得字符串長度

 

  1. [root@centos7 temp]# awk -F: '{if(length($1)>=16)print}' /etc/passwd  
  2. systemd-bus-proxy:x:999:997:systemd Bus Proxy:/:/sbin/nologin 
  3. [root@centos7 temp]# 

 

split()將字符串按分隔符分隔，并保存至數組

  1. [root@centos7 temp]# head -1 /etc/passwd|awk '{split($0,arr,/:/);for(i=1;i<=length(arr);i++) print arr[i]}' 
  2. root 
  3. x 
  4. 0 
  5. 0 
  6. root 
  7. /root 
  8. /bin/bash 
  9. [root@centos7 temp]#  

 

getline從輸入(可以是管道、另一個文件或當前文件的下一行)中獲得記錄，賦值給變量或重置某些環境變量

  1. #從shell命令date中通過管道獲得當前的小時數 
  2. [root@centos7 temp]# awk 'BEGIN{"date"|getline;split($5,arr,/:/);print arr[1]}' 
  3. 09 
  4. #從文件中獲取，此時會覆蓋當前的$0。(注意逐行處理b.txt的同時也在逐行從c.txt中獲得記錄并覆蓋$0，當getline先遇到eof時<即c.txt文件行數較少>將輸出空行) 
  5. [root@centos7 temp]# awk '{getline <"c.txt";print $4}' b.txt  
  6. "https://segmentfault.com/blog/learnning" 
  7. [root@centos7 temp]#  
  8. #賦值給變量 
  9. [root@centos7 temp]# awk '{getline blog <"c.txt";print $0"\n"blog}' b.txt  
  10. aasdasdadsad 
  11. BLOG ADDRESS IS "https://segmentfault.com/blog/learnning" 
  12. [root@centos7 temp]#  
  13. #讀取下一行(也會覆蓋當前$0) 
  14. [root@centos7 temp]# cat file 
  15. anny 
  16. 100 
  17. bob 
  18. 150 
  19. cindy 
  20. 120 
  21. [root@centos7 temp]# awk '{getline;total+=$0}END{print total}' file 
  22. 370 
  23. #此時表示只對偶數行進行處理 

 

next作用和getline類似，也是讀取下一行并覆蓋$0，區別是next執行后，其后的命令不再執行，而是讀取下一行從頭再執行。

  1. #跳過以a-s開頭的行，統計行數，打印最終結果 
  2. [root@centos7 temp]# awk '/^[a-s]/{next}{count++}END{print count}' /etc/passwd 
  3. 2 
  4. [root@centos7 temp]#  
  5. #又如合并相同列的兩個文件 
  6. [root@centos7 temp]# cat f.txt  
  7. 學號 分值 
  8. 00001 80 
  9. 00002 75 
  10. 00003 90 
  11. [root@centos7 temp]# cat e.txt  
  12. 姓名 學號 
  13. 張三 00001 
  14. 李四 00002 
  15. 王五 00003 
  16. [root@centos7 temp]# awk 'NR==FNR{a[$1]=$2;next}{print $0,a[$2]}' f.txt e.txt    
  17. 姓名 學號 分值 
  18. 張三 00001 80 
  19. 李四 00002 75 
  20. 王五 00003 90 
  21. #這里當讀***個文件時NR==FNR成立，執行a[$1]=$2，然后next忽略后面的。讀取第二個文件時，NR==FNR不成立，執行后面的打印命令 

 

sub(regex,substr,string)替換字符串string(省略時為$0)中***出現匹配正則regex的子串substr

  1. [root@centos7 temp]# echo 178278 world|awk 'sub(/[0-9]+/,"hello")' 
  2. hello world 
  3. [root@centos7 temp]# 

 

gsub(regex,substr,string)與sub()類似，但不止替換***個，而是全局替換

  1. [root@centos7 temp]# head -n5 /etc/passwd|awk '{gsub(/[0-9]+/,"----");print $0}'      
  2. root:x:----:----:root:/root:/bin/bash 
  3. bin:x:----:----:bin:/bin:/sbin/nologin 
  4. daemon:x:----:----:daemon:/sbin:/sbin/nologin 
  5. adm:x:----:----:adm:/var/adm:/sbin/nologin 
  6. lp:x:----:----:lp:/var/spool/lpd:/sbin/nologin 

 

substr(str,n,m)切割字符串str，從第n個字符開始，切割m個。如果m省略，則到結尾

  1. [root@centos7 temp]# echo "hello,世界！"|awk '{print substr($0,8,1)}' 
  2. 界 
  3. [root@centos7 temp]# 

 

tolower(str)和toupper(str)表示大小寫轉換

  1. [root@centos7 temp]# echo "hello,世界！"|awk '{A=toupper($0);print A}' 
  2. HELLO,世界！ 
  3. [root@centos7 temp]# 

 

system(cmd)執行shell命令cmd，返回執行結果，執行成功為0，失敗為非0

  1. #此處if語句判斷和C語言一致，0為false，非0為true 
  2. [root@centos7 temp]# awk 'BEGIN{if(!system("date>/dev/null"))print "success"}' 
  3. success 
  4. [root@centos7 temp]#  

 

match(str,regex)返回字符串str中匹配正則regex的位置

  1. [root@centos7 temp]# awk 'BEGIN{A=match("abc.f.11.12.1.98",/[0-9]{1,3}\./);print A}' 
  2. 7 
  3. [root@centos7 temp]#  

 

awk作為一個編程語言可以處理各種各樣的問題，甚至于編寫應用軟件，但它更常用的地方是命令行下的文本分析，生成報表等，這些場景下awk工作的很好。工作中如經常有文本分析的需求，那么掌握這個命令的用法將為你節省大量的時間。

責任編輯：龐桂玉 來源： segmentfault
linuxshellawk
相關推薦

2019-03-21 14:30:15

Linux文本分析命令

2019-11-06 16:40:31

awkLinux文本分析工具

2021-03-06 07:00:00

awk文本分析工具Linux

2016-12-07 18:22:23

shelllinuxgrep

2016-12-23 13:07:11

shelllinuxsed

2016-11-15 15:50:22

linux基礎命令vim

2016-12-08 22:26:28

2010-03-05 13:19:23

2016-12-27 19:10:38

Linux命令啟動流程

2016-12-29 11:13:30

shellbashlinux

2020-07-07 10:50:19

Python丄則表達文本

2017-08-04 14:00:32

Linuxawk變量

2016-12-23 12:46:41

Linux命令進程與內存

2016-12-27 19:29:14

Linux命令定時任務

2023-06-28 11:49:56

Linux命令

2025-06-10 08:25:00

Python文本分析數據分析

2017-04-27 08:54:54

Python文本分析網絡

2010-01-05 16:55:44

JSON 文本

2025-02-17 15:06:07

2016-12-14 19:24:41

點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板： 成人国产精品一级毛片视频毛片 | 神马久久久久久久久久 | 亚洲在线电影 | 国产日韩精品在线 | 免费福利视频一区二区三区 | 男女羞羞的网站 | 一本一道久久a久久精品蜜桃 | 亚欧精品一区 | 欧美精品一区二区三区视频 | 国产亚洲第一页 | 久久成人精品视频 | 天天爽天天操 | 天天射美女 | 久久国产精品99久久久大便 | 天堂资源| 国产精品永久免费视频 | 精品乱码一区二区三四区视频 | 欧美一级www片免费观看 | 成人99| 亚洲视频在线一区 | 国产高清在线观看 | 午夜视频免费在线观看 | 色综合99| 亚洲欧美中文日韩在线v日本 | 国产精品不卡 | 久草免费在线视频 | 欧美视频二区 | 成人h电影在线观看 | 中文字幕一区二区三区精彩视频 | 日韩欧美亚洲综合 | 日韩一区精品 | 中文字幕一区二区三区精彩视频 | 亚洲黄色av | 欧美综合一区二区 | 精品亚洲一区二区三区 | 国产欧美精品一区二区色综合朱莉 | 手机av免费在线 | 日韩精品免费看 | 国产精品久久久久久婷婷天堂 | 91在线电影| 美人の美乳で授乳プレイ |