引言

awk 是一种处理文本文件的语言，是一个强大的文本分析工具。之所以叫 awk是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符。

sed 命令是利用脚本来处理文本文件。sed 可依照脚本的指令来处理、编辑文本文件。sed 主要用来自动编辑一个或多个文件、简化对文件的反复操作、编写转换程序等。当然我个人用的最多的是增删改。

awk

awk语法

awk [选项参数] 'script' var=value file(s)
或
awk [选项参数] -f scriptfile var=value file(s)

选项参数说明

  • -F fs or --field-separator fs
    指定输入文件折分隔符，fs是一个字符串或者是一个正则表达式，如-F:。
  • -v var=value or --asign var=value
    赋值一个用户定义变量。
  • -f scripfile or --file scriptfile
    从脚本文件中读取awk命令。
  • -mf nnn and -mr nnn
    对nnn值设置内在限制，-mf选项限制分配给nnn的最大块数目；-mr选项限制记录的最大数目。这两个功能是Bell实验室版awk的扩展功能，在标准awk中不适用。
  • -W compact or --compat, -W traditional or --traditional
    在兼容模式下运行awk。所以gawk的行为和标准的awk完全一样，所有的awk扩展都被忽略。
  • -W copyleft or --copyleft, -W copyright or --copyright
    打印简短的版权信息。
  • -W help or --help, -W usage or --usage
    打印全部awk选项和每个选项的简短说明。
  • -W lint or --lint
    打印不能向传统unix平台移植的结构的警告。
  • -W lint-old or --lint-old
    打印关于不能向传统unix平台移植的结构的警告。
  • -W posix
    打开兼容模式。但有以下限制，不识别：/x、函数关键字、func、换码序列以及当fs是一个空格时，将新行作为一个域分隔符；操作符**和**=不能代替^和^=；fflush无效。
  • -W re-interval or --re-inerval
    允许间隔正则表达式的使用，参考(grep中的Posix字符类)，如括号表达式[[:alpha:]]。
  • -W source program-text or --source program-text
    使用program-text作为源代码，可与-f命令混用。
  • -W version or --version

用法示例

   查看/etc/passwd/下的内容  ==>  展开 / 收起 
打印出/etc/passwd目录中普通用户和家目录
[root@master1 centos]# awk -F ":" '$3>1000{print $1,$(NF-1)}' /etc/passwd
nfsnobody /var/lib/nfs

sed

sed语法

sed [-hnV][-e<script>][-f<script文件>][文本文件]

sed参数说明

  • -e多点编辑 让一条sed可以执行多条指令
  • -f<script文件>或--file=<script文件> 以选项中指定的script文件来处理输入的文本文件。
  • -h或--help 显示帮助。
  • -n或--quiet或--silent 仅显示script处理后的结果。
  • -V或--version 显示版本信息。
  • -i直接修改读取的档案内容，而不是由屏幕输出。

sed动作说明

  • a ：新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～
  • c ：取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！
  • d ：删除，因为是删除啊，所以 d 后面通常不接任何东东；
  • i ：插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；
  • p ：打印，亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行～
  • s ：取代，可以直接进行取代的工作哩！通常这个 s 的动作可以搭配正则表达式！例如 1,20s/old/new/g 就是啦！

用法示例

先创建一个文件003.txt
apple apple apple 
banana banana banana
fruit fruit fruit
book book book
book book book
将每一行中第一个出现的book替换成books
#sed 's/book/books/' 003.txt
apple apple apple 
banana banana banana
fruit fruit fruit
books book book
books book book

总结

  • 如果文件是格式化的，即由分隔符分为多个域的，优先使用awk
  • awk适合按列（域）操作，sed适合按行操作
  • awk适合对文件的抽取整理，sed适合对文件的编辑，即增删改。