Shell脚本怎么写?Linux命令之awk上期(awk是一门语言概述)

同学们好啊，今天周末，昨天加了一天班，今天才腾出手来，给大家讲讲linux 里功能可能是最强大的命令，awk。

awk 可谓是一个小型化的编程语言，看着像是一个命令而已，其实内里乾坤那可是真的大，不知道今天这篇文章是否能给大家完全讲清楚，如果一节课讲不清楚的话，我们可能还得增加一次。

好的，按照惯例，我们先回顾一下之前学习的内容，如果你想不起来之前的内容的话，请点击下面链接跳转回忆一下：

Shell脚本怎么写？（0）

Shell脚本怎么写？（1）——Shell 变量类型和定义

Shell脚本怎么写？（1-2）——Shell 变量的高级用法

Shell脚本怎么写？之 Shell脚本中的流程控制（1）

Shell脚本怎么写？之 Shell脚本中的流程控制（2）

Shell脚本怎么写？之简单Shell 脚本编写实践

Shell脚本怎么写？之简单Shell 脚本函数和模块

Shell脚本怎么写？Linux命令三剑客之sed命令

好了，废话不多说，我们开始今天的内容吧。

按照上节课讲过的，我们想了解一个新的linux 命令时，先找一下男人，执行一把 man awk。

结果如下：

先贴一段awk 的概览描述如下：

awk 是一种处理文本文件的语言，是一个强大的文本分析工具。

awk 通过提供编程语言的功能，如变量、数学运算、字符串处理等，使得对文本文件的分析和操作变得非常灵活和高效。

我们经常使用awk 处理以行为粒度的数据，大家一定要记着这个，这是我们在做脚本编程时，有那么多工具命令，具体选择什么工具和命令才能简洁的实现我们想要的功能的基础。

下面先看一个示例，了解一下awk 的强大：

场景如下：

我们有一个score.txt 的文件，具体内容如下：

我们有个需求，假设这个文件的来源是某个程序生成的日志数据文件，当前格式的可读性很差，我们想自动化的处理以上日志文件的数据，并生成一个可读格式的报表。

此时我们就可以使用awk来简单的实现这个功能，而不需要借助任何除了linux 之外的工具和其它语言（如python等）。

那怎么实现呢？

请看下面的内容：

可以看到，我们的score.txt 的日志文件，分别有五列，awk 以行为粒度进行处理。

我们通过简单的awk 脚本语言，把数据进行整理，格式化，求和和平均值等操作后，进行格式化输出。

先看下处理后的运行结果，然后我们再详细解读下以上脚本的每个部分的具体含义。（写到这里的时候，我感觉今天一篇文章估计是介绍不完了，下一篇将继续介绍awk在Linux上的额使用，今天能把awk的语法介绍清楚就不错了）。

我们怎么使用上面的cal.awk 脚本处理score.txt 文件呢？

命令如下：

awk -f cal.awk score.txt
// -f 后跟awk脚本文件名
// 最后跟要处理的文件名即可

执行结果如下：

看到了吧，awk 语言真的强大，可以做变量的保存，分支流程控制，加减乘除计算，格式化输入输出等，它就是一门小型的完备的编程语言。

好的，下面我们来细致的介绍一下awk 的语法和脚本的含义。

我们以每行注释的形式解释一下上面的代码。

#!/bin/awk -f
// 说明是awk脚本，用awk -f 解释的文本

#before running
BEGIN {
        math = 0
        english = 0
        computer = 0

        printf "Name    No.   Math    English    Computer    Total\n"
        printf "--------------------------------------------------\n"
}
/* 
1. BEGIN 包裹的部分，整个
awk处理流程中只会执行一次，
就是在程序开始执行时，

2. 在BEGIN中，我们做了一些
初始化操作，定义了 math，
english， computer 这三个
变量的值。

3. 并打印了格式化头的内容
注意awk 的printf 语法没有
括号其它的跟shell的printf
基本一致，也跟c语言的差不
多
*/

#running main // 这是注释
{
        math += $3
    english += $4
        computer += $5
        printf "%-6s %-6s %4d %8d %8d %8d\n", $1,$2,$3,$4,$5,$3+$4+$5
}
/*
这个大括号里的内容，我们讲过，
awk是以行为粒度进行文本处理
的，所有这个大括号内的内容，
每处理一行，就会调用一次

有多少行文本内容待处理，
就会调用多少次，相当于
一个隐式的for 循环，循环
次数是行数

在这里，我们进行了变量
的递增处理

$1--$5 代表的每一列的数据
awk中默认使用FS=' ' 空格
来进行分列。
score.txt 的内容按照空格
可以分为五列
因此入参$1 - $5 分别代表
某一特定行的某一特定列
的内容
*/

#after running
END {
        printf "--------------------------------------------------\n"
        printf "Total:%10d %8d %8d \n", math, english, computer
        printf "AVERAGE:%10.2f %8.2f %8.2f\n", math/NR, english/NR, computer/NR
}

/*
最后是END 括起来的部分，
只会在最终处理完成后，
执行收尾工作，仅执行一次

在此，我们打印了变量的汇总
结果

其中NR 是awk 的内置变量，
代表总行数

math/NR 即为数学成绩的
平均值
其它同理
*/

好了，以上就是我们通过注释的形式，解释了一下上面的脚本各个部分的含义，相信大家仔细阅读我写的注释部分，一定会对awk 脚本命令有个初步的了解，至少在awk 脚本执行分为几个部分，每个部分的执行特征， 一些简单的awk 内置变量，变量的定义和使用，格式化输出等方面有个初步的了解。

鉴于这篇文章已经过长了，信息量有点大了，我们的awk命令讲解将再有一期下期，详细介绍awk 内置的其它变量和awk 的流程控制语句以及再linux 脚本中，我们结合top ，ls 等命令查到的结果如何经过awk 进行进一步加工处理等内容。

欲看后事如何，请听下回分解。。。如果你觉得我写的还行的话，别忘了关注哟。