shell之三剑客awk（基础用法）-程序员宅基地

技术标签：运维 linux 服务器正则表达式 Shell脚本

文章目录

一、awk概述
- 1、awk工作原理
二、awk的格式
三、内置变量演示
四、总结

一、awk概述

AWK是一种处理文本文件的语言，是一个强大的文件分析工具。

它是专门为文本处理设计的编程语言，也是行处理软件，通常用于扫描，过滤，统计汇总等工作，数据可以来自标准输入也可以是管道或文件。

1、awk工作原理

当读到第一行时，匹配条件，然后执行指定动作，在接着读取第二行数据处理，不会默认输出。
如果没有定义匹配条件，则是默认匹配所有数据行，awk隐含循环，条件匹配多少次，动作就会执行多少次。
逐行读取文本，默认以空格或tab键为分割符进行分割，将分割所得的各个字段，保存到内建变量中，并按模式或或条件执行编辑命令。

与sed工作原理相比：

sed命令常用于一整行的处理。而awk比较倾向于将一行分成多个 “ 字段 ” 然后再进行处理。awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。在使用awk命令的过程中，可以使用逻辑操作符。（&&“表示"与”、“||表示"或”、"!“表示非”;还可以进行简单的数学运算，如+、一、*、/、%、^分别表示加、减、乘、除、取余和乘方。）

二、awk的格式

格式1:  awk  【选项】 '模式或条件{操作} '    文件名

格式2: awk  -f  脚本文件   文件名

1、awk包含几个特殊的内建变量（可直接用）如下所示

内置变量	功能
NF	当前处理的行的字段个数（就是：有多少列）
NR	当前处理的行的行号（就是：有多少行）
FNR	读取文件的记录数（行号），从1开始，新的文件重新从1开始计数
$0	当前处理的行的整行内容（就是：表示一行的内容）
$n	当前处理行的第n个字段（就是：第n列）
FILENAME	被处理的文件名
FS	指定每行的字段分隔符，默认为空格或制表位（相当于选项 -F ）
OFS	输出字段的分隔符，默认也是空格
RS	行分割符。awk从文件上读取资料时，将根据Rs的定义把资料切割成许多条记录，而awk一次仅读取一条记录，预设值是“\n“
ORS	输出分割符，默认也是换行符

三、内置变量演示

1、【$n】进行演示

n为数字，数字为及就表示第几列

案例1：结合print进行输出，默认分隔符。

在这里插入图片描述

案例2：设定分割符号

在这里插入图片描述

案例3：输出时，显示列的空格

在这里插入图片描述

案例4：两列之间插入制表符

在这里插入图片描述

案例5：设置多个分割符

在这里插入图片描述

2、【$0】的演示

$0表示整行

在这里插入图片描述

3、【NF】(多少列) 和【NR】(多少行)的演示

NR：表示该处理的行序号是多少

NF：表示该处理的行，有多少列

案例1：打印每一行的列数

在这里插入图片描述

案例2：显示行号

在这里插入图片描述

案例3：显示行号，并显示每一行的内容

在这里插入图片描述

案例4：打印第二行，不加print也一样，默认就是打印

在这里插入图片描述

案例5：打印第二行的第一列

在这里插入图片描述

案例6：打印最后一列

在这里插入图片描述

案例7：打印总行数

在这里插入图片描述

案例8：打印文件最后一行

在这里插入图片描述

案例9：加上文字描述行数和列数

在这里插入图片描述

4、面试题

案例1：查看本机的ip地址多少，截取出来

在这里插入图片描述

案例2：查看本机流量有多少字节

在这里插入图片描述

案例3：查看根分区的可用量

在这里插入图片描述

5、BEGIN开始和END结尾

逐行执行开始之前执行什么任务，结束之后再执行什么任务，用BEGIN、END。

BEGIN：一般用来做初始化操作，仅在读取数据记录之前执行一次
END：一般用来做汇总操作，仅在读取完数据记录之后执行一次

在这里插入图片描述

案例1：在打印之前定义字段分割符为冒号

在这里插入图片描述

案例2：OFS定义了输出时以什么分隔，$1$2中间要用逗号分隔，因为逗号默认被映射为OFS变量，而这个变量默认是空格

在这里插入图片描述

案例2：可以看到当有多个文件时，序号会分别标好每一个文件内容的行号，不同文件会从头开始。（NR会连续在一起）

在这里插入图片描述

案例3：RS:指定以什么为换行符，这里指定是冒号，你指定的必须是原文里存在的字符

在这里插入图片描述

案例4：把多行合并成一行输出，输出的时候自定义以空格分隔每行，本来默认的是回车键

在这里插入图片描述

6、模糊匹配

精确匹配： 可以将要匹配的内容加上双引号。

用~表示包含，用!~表示不包含

在这里插入图片描述

7、关于数值与字符串的比较

在这里插入图片描述

加上逻辑运算： && ||

在这里插入图片描述

案例：打印1-200之间所有能被7整除并且包含数字7的整数数字

在这里插入图片描述

四、总结

awk常用操作是提取转换文本文件内容，awk功能十分强大，几乎其它文本处理命令能做的，awk都能做。

此处主要介绍awk的几种内置变量。

$n：表示截取哪一列，通常和print一起使用
$0：表示整行内容
NF：表示该行有多少列
NR：表示该行的行号
FNR：表示读取两个文件时，序号会分别从0开始标
FS：表示读取文件的分隔符（默认空格）
OFS：表示输入的内容以什么为分割符（默认空格）
RS：表示读取文件的以什么为换行符（默认\n）
ORS：表示输出的内容以什么为换行符（默认\n）
~：表示包含
！~：表示不包含

本文链接：https://blog.csdn.net/m0_57515995/article/details/125713566

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

QT基于RFID管理系统（可应用于大多数RFID管理系统）_rfid读卡qt设计-程序员宅基地

文章浏览阅读1.5k次，点赞3次，收藏16次。本系统由QT编译，可应用于大多数基于RFID的管理系统，可进行端口设置，进出系统物品查询等基本功能！系统实现:将RFID技术引入柜台贵重物品管理系统，为贵重的柜台商品绑定RFID标签，结合安装在柜台上的RFID识别设备用来监测、控制和跟踪贴标的贵重物品，实现快速盘点、实时跟踪及销售的智能管理。从而对柜台贵重物品产品的进出和销售过程进行全方位的跟踪和记录，用自动化和准确高效的新方法取代了繁琐和低效的人工管理和条码扫描模式。并能做到短距离离开柜台（3~5米）报警，未能取得授权情况下，破坏或解除RFID标签与贵重_rfid读卡qt设计

具体数学递归问题1.1 从河内塔/汉诺塔开始_任意起始的汉诺塔问题:共有m()根柱子可以用来移动盘子。起始时,在m根柱子上总-程序员宅基地

文章浏览阅读652次。河内塔问题在经典河内塔问题中，有3根柱子和N个不同大小的穿孔圆盘，盘子可以滑入任意一根柱子。一开始，所有盘子自上而下按从大到小依次套在一根柱子上，现在想将所有的圆盘按照原来的位置从一根柱子移动到另一根柱子上，移动过程需要遵守一些规则：1.每次只能移动一个盘子2.盘子只能从柱子顶端滑出移动到下一根柱子3.盘子只能叠在没有盘子的柱子或者比它大的盘子上聚焦河内塔问题。河内塔的规则，限定了较大的圆盘要先转移到目标柱子（选择的任意一根柱子）上，这时直接转移是不可行的，一定要利用其他柱子。问题中只有3根柱_任意起始的汉诺塔问题:共有m()根柱子可以用来移动盘子。起始时,在m根柱子上总

学习MSP432M0手册——第一节GPIO输出功能_mspm0是干什么用的-程序员宅基地

文章浏览阅读419次，点赞5次，收藏5次。利用寄存器编程编程，实现如下功能：通过寄存器编程，实现PB22控制G3507开发板蓝灯的亮灭控制_mspm0是干什么用的

服务Service的基本用法_用服务-程序员宅基地

文章浏览阅读6.4k次，点赞2次，收藏2次。作为 Android四大组件之一，服务也少不了有很多非常重要的知识点，那自然要从最基本的用法开始学习了。定义一个服务：public class MyService extends Service { /** * onBind是继承Service后唯一的一个抽象方法所以必须要重写的一个方法 */ @Override public IBinder onBin_用服务

java学习总纲-程序员宅基地

文章浏览阅读2.5k次。一、java基础 1、String类为什么是final的。从设计安全上讲：1）确保它们不会在子类中改变语义。String类是final类，这意味着不允许任何人定义String的子类。换言之，如果有一个String的引用，它应用的一定是一个String对象，而不可能是其他类的对象。2）String一旦被创建是不能被修改的，因为java设计者将String为可以共享的。从效率上讲：1）设计成fina...

raw data_raw data rate csdn-程序员宅基地

文章浏览阅读453次。1. posterization any 'histgram stretch'may produce posterization because the limited levels has to fill abroader range than origin. Some empty bins will be created. mostlythe posterization happe_raw data rate csdn

随便推点

不是python中用于开发用户界面的第三方库-Python计算生态习题(50题)-程序员宅基地

文章浏览阅读6k次，点赞3次，收藏36次。1、Python网络爬虫方向的第三方库是A. requestB. jiebaC.itchatD.time答案：A2、Python网络爬虫方向的第三方库是A、numpyB、scrapyC、ArcadeD、FGMK答案：B3、Python数据分析方向的第三方库是A、BokehB、dataswimC、scipyD、Gleam答案：C4、Python数据分析方向的第三方库是A、PlotlyB、PyQtDa..._python第三方库习题

线程的状态-Thread的状态包括：New、Runnable、Blocked、Waiting、Timed Waiting和Terminated_thread terminated-程序员宅基地

文章浏览阅读544次。在Java程序中，一个线程对象只能调用一次start()方法启动新线程，并在新线程中执行run()方法。一旦run()方法执行完毕，线程就结束了。因此，Java线程的状态有以下几种：New：新创建的线程，尚未执行； Runnable：运行中的线程，正在执行run()方法的Java代码； Blocked：运行中的线程，因为某些操作被阻塞而挂起； Waiting：运行中的线程，因为某些操作在等待中； Timed Waiting：运行中的线程，因为执行sleep()方法正在计时等待； Termina_thread terminated

【AI视野·今日CV 计算机视觉论文速览第259期】Tue, 3 Oct 2023_humannorm: learning normal diffusion model for hig-程序员宅基地

文章浏览阅读543次。AI视野·今日CS.CV 计算机视觉论文速览Tue, 3 Oct 2023 (showing first 100 of 167 entries)Totally 100 papers上期速览更多精彩请移步主页Daily Computer Vision PapersGPT-Driver: Learning to Drive with GPT Authors Jiageng Mao, Yuxi Qian, Hang Zhao, Yue Wang我们提出了一种简单而有效的方法，可以将 O_humannorm: learning normal diffusion model for high-quality and realistic 3d