好程序員大數據學習路線分享AWK詳解

　　好程序員大數據學習路線分享AWK怎詳解，awk是一個強大的文本分析工具，相對于grep的查找，sed的編輯，awk在其對數據分析并生成報告時，顯得尤為強大。簡單來說awk就是把文件逐行的讀入，以空格為默認分隔符將每行切片，切開的部分再進行各種分析處理。

　　awk是在文件或者字符串中基于指定規則瀏覽和抽取信息，awk抽取信息后，才能進行其他文本操作。完整的awk腳本通常用來格式化文本文件中的信息。

　　通常，awk是以文件的一行為處理單位的。awk每接收文件的一行，然后執行相應的命令，來處理文本。

awk操作

有三種方式調用awk

1.?命令行方式

　　awk [-F ?field-separator] ?'commands' ?input-file(s)

其中，commands 是真正awk命令，[-F域分隔符]是可選的。 input-file(s) 是待處理的文件。在awk中，文件的每一行中，由域分隔符分開的每一項稱為一個域。通常，在不指名-F域分隔符的情況下，默認的域分隔符是空格。

2.shell腳本方式

　　將所有的awk命令插入一個文件，并使awk程序可執行，然后awk命令解釋器作為腳本的首行，一遍通過鍵入腳本名稱來調用。

　　相當于shell腳本首行的：#!/bin/sh

　　可以換成：#!/bin/awk

3.將所有的awk命令插入一個單獨文件，然后調用：awk -f awk-script-file input-file(s)

　　其中，-f選項加載awk-script-file中的awk腳本，input-file(s)跟上面的是一樣的。

?

awk語法

1、awk命令格式

(1) awk [-F 分隔域] 'command' input-file(s)

(2) awk -f awk-script-file input-file(s)

?

模擬文件：

cat employee.txt

100 ?Thomas ?Manager Sales 5000

200 ?Jason ??Developer ?Technology ?5500

300 ?Sanjay ?Sysadmin ??Technology ?7000

400 ?Nisha ??Manager ???Marketing ??9500

500 ?Randy ??DBA ???????Technology ?60002

?

2.awk操作

?

1.輸出文件的每一行：

　　awk '{print $0}' ./employee.txt

2.輸出/etc/passwd第一個字段

　　?awk ?-F ":" '{print $1}' /etc/passwd

?

3.打印文件的全部內容

　　awk '{print $0}' employee.txt

?

4.抽取文件test中的第一列

　　awk '{print $1}' employee.txt ?

　　或者

　　awk -F ' ' '{print $1}' employee.txt

5.列出所有的用戶名和登陸的shell名

　　awk -F ':' '{print $1,$6}' /etc/passwd

　　當分隔符為多個符號時，如：

　　a , b , c , d

　　a1 , b1 , c1 , d1

　　awk -F ' , ' '{print $1,$2}' 文件名

?

?

6.打印用戶名為root的那一行

　　awk -F ':' '$1=="root" {print $0}' /etc/passwd

　　或者

　　awk -F ':' '$1=="keke" {print $1}' /etc/passwd

　　說明:$1=="root"和$1=="keke"都是屬于判斷條件 ?

?

?

awk工作流程是這樣的：讀入有'\n'換行符分割的一條記錄，然后將記錄按指定的域分隔符劃分域，填充域，$0則表示所有域,$1表示第一個域,$n表示第n個域。默認域分隔符是"空白鍵" 或 "[tab]鍵"。

?

?

7.給輸出信息加上表頭

awk -F ":" 'BEGIN {print "name\tshell\n--------------------------------"}

　　{print $1"\t"$6}' /etc/passwd

8.給輸出信息加上表頭和末尾

awk -F : 'BEGIN {print "name\tshell\n--------------------------------"} {print $1"\t"$6}

　　END {print "end-of-report"}' /etc/passwd

awk -F ":" 'BEGIN {print"--BEGIN--"}

???????????$1=="root" { print $1}

???END{print"----END------"}' /etc/passwd

???

awk -F ":" 'BEGIN {print"--BEGIN--"} {if( $1=="root") print $1}

　　END{print"----END------"}' /etc/passwd

?

awk工作流程是這樣的：先執行BEGING，然后讀取文件，讀入有/n換行符分割的一條記錄，然后將記錄按指定的域分隔符劃分域，填充域，$0則表示所有域,$1表示第一個域,$n表示第n個域,隨后開始執行模式所對應的動作action。接著開始讀入第二條記錄······直到所有的記錄都讀完，最后執行END操作。

?

awk與mapreduce區別

?

1.?awk主要用于單機版文件的操作

2.?mapreduce則可以用于分布式文件系統，可用于對大量數據的操作，缺點是編程比awk復雜，不過在框架的支持下，編寫mapreducce程序只需要負責業務邏輯即可。