linux文本命令awk linux文本处理常用命令

linux里awk是做什么的,请详细说明

awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。

为乌海海南等地区用户提供了全套网页设计制作服务，及乌海海南网站建设行业解决方案。主营业务为做网站、成都网站制作、乌海海南网站设计，以传统方式定制建设网站，并提供域名空间备案等一条龙服务，秉承以专业、用心的态度为用户提供真诚的服务。我们深信只要达到每一位用户的要求，就会得到认可，从而选择与我们长期合作。这样，我们也可以走得更远！

awk有三个不同的版本：awk、nawk和gawk，未作特别说明，一般指gawk，gawk是awk的GNU版本。

之所以叫awk是因为其取了三位创始人Alfred Aho，Peter Weinberger,和Brian Kernighan的Family Name

的首字符。

使用方法：

awk'{pattern+action}'{filenames}

尽管操作可能会很复杂，但语法总是这样，其中pattern表示awk在数据中查找的内容，而action是在找到匹配内容时所执行的一系列命令。花括号({})不需要在程序中始终出现，但它们用于根据特定的模式对一系列指令进行分组。pattern就是要表示的正则表达式，用斜杠括起来。

awk语言的最基本功能是在文件或者字符串中基于指定规则浏览和抽取信息，awk抽取信息后，才能进行其他文本操作。完整的awk脚本通常用来格式化文本文件中的信息。

通常，awk是以文件的一行为处理单位的。awk每接收文件的一行，然后执行相应的命令，来处理文本。

调用awk的三种方式

1、命令行方式

awk[-F field-separator]'commands'input-file(s)

其中，commands是真正awk命令，[-F域分隔符]是可选的。input-file(s)是待处理的文件。

在awk中，文件的每一行中，由域分隔符分开的每一项称为一个域。通常，在不指名-F域分隔符的情况下，默认的域分隔符是空格。

2、shell脚本方式

将所有的awk命令插入一个文件，并使awk程序可执行，然后awk命令解释器作为脚本的首行，一遍通过键入脚本名称来调用。

相当于shell脚本首行的：#!/bin/sh

可以换成：#!/bin/awk

3、将所有的awk命令插入一个单独文件，然后调用：

awk-f awk-script-file input-file(s)

其中，-f选项加载awk-script-file中的awk脚本，input-file(s)跟上面的是一样的。

每日一条linux 命令 ： awk

一次读取一行文本，按输入分隔符进行切片，切成多个组成部分，将每片直接保存在内建的变量中，$1,$2,$3....，引用指定的变量，可以显示指定段，或者多个段。如果需要显示全部的，需要使用$0来引用。可以对单个片段进行判断，也可以对所有段进行循环判断。

其默认分隔符为空格

awk [options] 'program' FILE......

[options]说明

主要有两种模式

1、 awk [options] 'scripts' file1,file2.....

在这种模式中，scripts主要是命令的堆砌，命令之间用 分号 分割；对输入的文本行进行处理，通过命令 print,printf 或是输出重定向的方式显示出来，这里经常用到的知识点是：awk的内置变量，以及命令print和printf的使用

2、 awk [options] 'PATTERN{action}' file,file2.....

在这种模式中，最重要的是5种模式和5种action的使用，以及awk的数组的使用和内置函数

其格式化输出： printf FORMAT,item1,item2....

例子： awk '{printf "%-8s %-8s %-8s %-18s %-22s %-15s\n",$1,$2,$3,$4,$5,$6}' netstat.txt

格式符

修饰符

输出重定向

awk [option] 'PATTERN{action}' file1,file2....

Linux入门系列——awk命令详解

awk是一个强大的文本分析工具，与grep、sed相比，awk在对数据分析并生成报告时，显得有很大的优势。

awk有三个不同的版本：awk、nawk和gawk，在没有做特殊说时的时候默认的就是gawk，gawk是awk的GNU版本。

其中command是真正的awk命令，-F表示域的分隔符，是个可选项。Filename是等待处理的文件

将所有的awk命令写入到一个文件，并使用该文件有X权限，然后awk命令解释器作为脚本的首行，也就是说可以把脚本最开始的 #!/bin/bash 换成 #!/bin/awk

最后直接执行这个脚本文件就行了。

-f 指定要加载的awk脚本，是一个文件。Filename是等待处理的文件

awk的工作流程是这样的：读入一行后(最后面带有” ”的)，就按-F指定的分隔符来将该行划分成N个区域，$0表示所有的区域，$1表示第一个域，$2表示第二个域，依此类推，$n表示第n个域。

总结：awk先执行BEGIN内的命令，然后再读入文件中的行，接着就是按照指定的分隔符将该行分成N个区域，然后再来执行模式所对应的动作action。然后，再来读入第二行。。再重复执行action，直到所有的行都处理完成。最后再执行END中的命令。

注意：' // '之间是支持正则表达式的，如果此处只有pattern,而没有action，那么awk默认会把匹配到的行打印出来。

awk中的print还可以使用C语言中的printf来替代。在输出格式比较复杂的时候使用printf函数会比print函数要更直观一些，如下：

还可以使用-v key=value来自定义变量。如下：

awk中的条件语句是从C中借鉴过来的

语法：if (condition) {then-body} else {else-body}

例如使用awk来统计某个目录下的普通文件的大小，不包括子目录的，并过滤掉目录。

循环语句也和C中的一样，支持while、do/while、for、continue、break等关键字。

break和continue常用于循环中；

在awk中，数组的下标可以是数字或字母。一般awk中的数组的作用是从记录中收集信息，用于计算总和、统计单词等。

在awk中要删除一个元素的时候使用 delete array[index]

更多请参见awk官方文档[]

Linux：使用awk进行高级文本处理

awk由三部分组成，BEGIN，END，和带模式匹配选项的常见语句块，这三部分都是可选项

NR:表示记录数量，在执行过程中对应于当前的行号

NF:表示字段数量，在执行过程中对应于当前行的字段数

将外部变量值传递给awk

用getline读取行

AWK通常默认读取一个文件的所有行，如果只想读取某一行，可以使用getline函数

语法：getline var

使用过滤模式对awk处理的行进行过滤

设置字段界定符 ，默认字段是空格

模式：-F "delimiter"

Linux 简单使用awk命令

我使用awk命令时，用的次数最多的是 从stdin或文件里选取几列输出 。

awk的print语句:

很久之前，在python celery文档里见过下面的这个命令，正是因为当时看不懂这个命令，才开始浅学awk和xargs。