首页 > 学院 > 操作系统 > 正文

基本shell编程【3】- 常用的工具awk/sed/sort/uniq/od

2024-06-28 13:19:36
字体:
来源:转载
供稿:网友
基本shell编程【3】- 常用的工具awk/sed/sort/uniq/odawk

awk是个很好用的东西,大量使用在linux系统分析的结果展示处理上。并且可以使用管道, input | awk '' | output1.首先要知道形式awk 'command' file 如 awk '{PRint $0}' a.txt b.txt (后面可以跟一个或多个文件)2.command学习。command是awk的精髓,其结构为 '条件 {动作} 条件2 {动作2} ……'2.1关键字学习:变量名 含义ARGC 命令行变元个数ARGV 命令行变元数组FILENAME 当前输入文件名FNR 当前文件中的记录号FS 输入域分隔符,默认为一个空格RS 输入记录分隔符NF 当前记录里域个数NR 到目前为止记录数OFS 输出域分隔符ORS 输出记录分隔符2.2条件动作。条件包括: BEGIN END 特殊的两个,代表初始化和扫尾 判断:如$1 == "abc" $NR == 5 /^tcp/(表示正则匹配) 也可不写条件,则表示“全匹配”。从这个角度来讲 条件本质上是一种筛选规则。动作: {printNR,NF,$1,$NF,} {if(xxx) xxx; else xxx;} {for(key in array) xxx}3.实例学习:查看机器建立的各连接数netstat-n|awk'/^tcp/{++state[$NF]}END{for(keyinstate)printkey,"/t",state[key]}'看每个连接的占用内存byte数---apacheps aux|grep -v grep|awk '/httpd/ {sum+=$6;n++};END{print sum/n}'根据逗号对abc文件的每一行进行split,然后按照第二列进行排序,结果输出到abc-sort中awk -F, '{print $1}' abc | sort -n -k 2 -t: -r > abc-sortsort命令解释:-n 是按照数字排序-k 是按照第二列排-t: 是以:为分隔符-r 是倒叙git查看本次需要提交中变更的内容git diff master HEAD --stat | awk '{printf "%s/n",$1}' |grep domain | awk -F'/' '{printf "%s/n",$NF}' | sort批量重命名ls *需要替换* | awk '{org=$0;gsub("需要替换","替换为");system("echo "org" "$0)}'sed

sed用法很多,但是根据上节之中,用来做内容替换最多。

sed -i -e 's/^dubbo_provider_version=.*[^e]$/&-pre/' /home/wuji/webroot-xxx/WEB-INF/classes/biz.properties该命令作用是把biz.properties中的dubbo_provider_version=1.0.0 替换为dubbo_provider_version=1.0.0-pre替换的格式为 sed -e ’s/abc/def’ file.txt 把abc替换为def。其中第一部分的正则在第二部分可以被&取到。注意取到的是从dubbo开头的全部,而不是.*部分,这是正则表达式的知识。并且s可以扩展为举例2:去掉所有html标签$ sed -e 's/<[^>]*>//g' myfile.htmlg的作用:不加只替换第一个匹配,加了会替换所有匹配sed -i 直接替换文件而不是在屏幕上输出学习过vim的朋友们可以轻易的联想到vim的命令模式,也有:s/abc/def的写法,所以linux下的知识很多都可以触类旁通。uniq

uniq可以去除重复行或者做group by的统计文件file:aabbbsort file | uniq :absort file | uniq -c:2 a3 b之所以和sort组合是要把所有的a弄到一起,防止b后面有a的情况。uniq -d 只显示重复的 ,-c只显示不重复的,两者互斥。uniq -dc 只显示重复并统计sort 功能说明:将文本文件内容加以排序。语  法:sort [-bcdfimMnr][-o<输出文件>][-t<分隔字符>][+<起始栏位>-<结束栏位>][--help][--verison][文件]补充说明:sort可针对文本文件的内容,以行为单位来排序。实例:以第一个关键列的第二个字母开始进行排序:$ sort -k 1.2 file.txt以关键列第一列的第二个字母进行排序,如果第二个字母相同则根据第三列以数值的标准进行降序排列。$ sort -k 1.2,1.2 -k 3,3nr file.txt-k 排序字段,按照-t 分隔符来区分的,从0开始。-n 以数字格式排序。默认string方式比较的话,20和9比较是后者大。-r 反序-d 排序时,处理英文字母、数字及空格字符外,忽略其他的字符。-b 忽略每行前面开始出的空格字符。-u 去除重复行。(可以利用这个来去重sort选项没特别需要讲的,需要注意的就是-k。-k选项的具体语法格式如下:[ FStart [ .CStart ] ] [ Modifier ] [ , [ FEnd [ .CEnd ] ][ Modifier ] ]这个语法格式可以被其中的逗号(“,”)分为两大部分,Start部分和End部分。如果不设定End部分,那么就认为End被设定为行尾。Start部分也由三部分组成,其中的Modifier部分就是我们之前说过的类似n和r的选项部分。我们重点说说Start部分的FStart和C.Start。C.Start也是可以省略的,省略的话就表示从本域的开头部分开始。之前例子中的-k 2和-k 3就是省略了C.Start的例子喽。FStart.CStart,其中FStart就是表示使用的域,而CStart则表示在FStart域中从第几个字符开始算“排序首字符”。同理,在End部分中,你可以设定FEnd.CEnd,如果你省略.CEnd,则表示结尾到“域尾”,即本域的最后一个字符。或者,如果你将CEnd设定为0(零),也是表示结尾到“域尾”。od

od命令是分析文件内容的工具,很多时候不知道文件的内容编码,此时用od命令看文件内部的字节构成是最直接的方式,使用方法:od-Ax-tcx4 file 。可以用于分析字符编码 是否utf-8 ,是否LE,BE至于如何分辨,还需要了解每种编码的规则,譬如utf-8一般以三个字节来显示中文,而gbk则是两个。
发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表