读书笔记-在线日志分析的常用命令

2024-06-28 13:20:52

字体：大中小

来源：转载

供稿：网友

读书笔记-在线日志分析的常用命令

摘自《大型分布式网站架构设计与实践》 4.1在线日志分析

1.基础命令

操作	命令	说明
查看文件的内容	cat-naccess.log	-n显示行号
分页显示文件	moreaccess.log	Enter下一行，空格下一页，F下一屏，B上一屏
分页显示文件	lessaccess.log	输入/字符串可查找并高亮
显示文件尾	tail-n2-faccess.log	-n2显示最后2行，-f继续监听不退出
内容排序	sort-k2-t''-naccess.log	-k指定排序列，-t指定列分隔符，-n按数字顺序
字符统计	wc-laccess.log	-l统计行数，-c字符数，-L最长行长度，-w单词数
查看重复出现的行	sorttestfile\|uniq-c-d	uniq去重，-c统计重复次数，-d只显示重复的
字符串查找	grep'G.*T'access.log	查找G开头T结尾的字符串
文件查找	find/home/java-nameaccess.log	递归/home/java的子目录找名为access.log
表达式求值	exPR10/*3	计算103，其中/表示转义*不解读为通配符
表达式求值	exprlength"thisisatest"	计算长度
归档文件	tar-cfaaa.tarf1f2	-c创建，-f指定包名
归档文件	tar-xfaaa.tar	-x解压
URL访问	curlwww.google.com	不带参返回响应体，-i返回带响应头，-I仅返回响应头
查看CPU的load	uptime
查看CPU使用率	top\|grepCpu	按1查看每个核，按shift+H按线程查看
查看CPU使用率	top-p2864	查看指定进程
磁盘剩余空间	df-h
磁盘剩余空间	du-d1-h/home/java	分析目录的磁盘使用。-d设置递归深度
网络traffic	sar-nDEV11	DEV查看各个网卡，1秒抽样，1总共取一次
磁盘I/O	iostat-d-k
内存使用	free-m	通常是看“-/+buffers/cache”对应的used和free
内存使用	vmstat	查看swapI/O

2.sed编辑器

操作	命令	说明
文本替换	sed's/xxx/yahoo/'access.log\|head-10	不会修改原文件
输出指定的行	sed-n'2,6p'access.log	输出2-6行
删除行	sed'/QQ/d'access.log	/d排除含关键字qq的行
整行替换	sed-e'/google/c/hello'access.log\|head-10	/c替换的是整个匹配的行
多个命令合并	sed-n'1,5p;1,5='access.log	边打印行边打印行号

3.awk程序

操作	命令
筛选行，打印指定列	awk'/google/{print$0,$6}'access.log\|head-10
按条件打印	awk'length($0)>40{print$3}'access.log\|head-10
格式化输出	awk'{line=sprintf("method:%s,response:%s",$3,$7);printline}'access.log\|head-10

4.实用例子

操作	命令	说明
查看请求访问量
访问量前10的ip	cataccess.log\|cut-f1-d""\|sort\|uniq-c\|sort-k1-n-r\|head-10	cut部分表示取第1列即IP列，取第4列则为URL的访问量
查看最耗时的页面	cataccess.log\|sort-k2-n-r\|head-10	按第2列响应时间逆序排序
统计404请求的占比
总请求数	exporttotal_line=`wc-laccess.log\|cut-f1-d""`
404请求数	exportnot_found_line=`awk'$6=='404'{print$6}'access.log\|wc-l`
占比	expr$not_found_line/*100/$total_line	&&或;可合并为一行。