linux中shell脚本统计apache日志中页面访问量

apache日志是可以记录到网站的各种访问与状态了,那么我们生成的日志一个个查看是非常的困难的,下面一起来看一个中shell脚本统计apache日志中页面访问量的例子,希望文章可以帮助到大家.

需求:在程序中有两个页面,用于某种用途,现需要统计这两个页面在每分钟内的访问量,包括总访问次数,成功次数(状态码200),失败次数,然后写入到mysql中.

mysql字段:id(自增长)、time(实际统计时间)、year、month、day、hour、visit(总访问量)、success、fail、target(目标).

1. #!/bin/bash 
2. #Desc       : analysis apache log for witch pages with one minutes 
3. #install bc packages with yum install -y bc if not found bc command 
4.  
5. logdir=/var/log/httpd/80/access 
6. logfile=$logdir/$(date +%Y%m%d)_access_log 
7.  
8. month=$(date|awk '{print$2}') 
9. day=$(date|awk '{print$3}') 
10. year=$(date|awk '{print$6}') 
11. hour=$(date|awk '{print$4}'|cut -d: -f1) 
12. min=$(date|awk '{print$4}'|cut -d: -f2) 
13.  
14. # get current system times to /tmp 
15. echo $month > /tmp/month.txt 
16. echo $day > /tmp/day.txt 
17. echo $year > /tmp/year.txt 
18. echo $hour > /tmp/hour.txt 
19. echo $min > /tmp/min.txt 
20.  
21. # compute run minute 
22. if [ "$min" == "00" ]; then 
23.         RUN_MINUTE=59 
24.         else 
25.                 if [ "$(awk -F '' '{print$(NF-1)}' /tmp/min.txt)" == "0" ]; then 
26.             echo $(awk -F '' '{print$NF}' /tmp/min.txt) > /tmp/min2.txt 
27.                         echo $(cat /tmp/min2.txt) -1|bc > /tmp/run_minute.txt 
28.  
29.                 if [ "cat /tmp/run_minute.txt" == "0" ]; then 
30.                                     RUN_MINUTE=00 
31.                 else 
32.                     RUN_MINUTE=0$(cat /tmp/run_minute.txt) 
33.                                 fi 
34.  
35.                 else 
36.  
37.                          echo $(cat /tmp/min.txt) -1|bc > /tmp/run_minute.txt 
38.                 if [ "$(cat /tmp/run_minute.txt)" == "9" ]; then 
39.                     RUN_MINUTE=09 
40.                 else 
41.                                 RUN_MINUTE=$(cat /tmp/run_minute.txt) 
42.                 fi 
43.                 fi 
44.  
45. fi 
46.  
47. # compute run hour 
48. if [ "$hour" == "00" ]; then 
49.         if [ "$min" == "00" ]; then 
50.         RUN_HOUR=23 
51.     else 
52.         RUN_HOUR=$hour 
53.         fi 
54.     else 
55.         if [ "$min" == "00" ]; then 
56.             if [ "$(awk -F '' '{print$(NF-1)}' /tmp/hour.txt)" == "0" ]; then 
57.             echo $(awk -F '' '{print$NF}' /tmp/hour.txt) > /tmp/hour2.txt 
58.             echo $(cat /tmp/hour2.txt) -1|bc >/tmp/run_hour.txt 
59.                 if [ "$(cat /tmp/run_hour.txt)" == "0" ]; then 
60.                     RUN_HOUR=00 
61.                               else 
62.                                     RUN_HOUR=0$(cat /tmp/run_hour.txt) 
63.                 fi 
64.             else 
65.                 echo $(cat /tmp/hour.txt) -1|bc >/tmp/run_hour.txt 
66.                 RUN_HOUR=$(cat /tmp/run_hour.txt) 
67.             fi 
68.         else 
69.             RUN_HOUR=$hour 
70.         fi 
71. fi 
72.  
73. # get run log file 
74. if [ "$hour" == "00" ]; then 
75.     if [ "$min" == "00" ]; then 
76.     RUN_LOG=$logdir/$(date -d last-day +%Y%m%d_access_log) 
77.         else 
78.         RUN_LOG=$logfile 
79.     fi 
80.     else 
81.         RUN_LOG=$logfile 
82. fi 
83.  
84. # begin log analysis 
85. p1=cnbpush.php 
86. p2=jlpush.php 
87.  
88. if [ "$hour" == "00" ]; then 
89.     if [ "$min" == "00" ]; then 
90.         INSERT_TIME=$(date -d '-1 hours' +%Y%m%d |cut -c 3-8)$RUN_HOUR$RUN_MINUTE 
91.         else 
92.         INSERT_TIME=$(date +%Y%m%d |cut -c 3-8)$RUN_HOUR$RUN_MINUTE 
93.     fi 
94.     else 
95.         INSERT_TIME=$(date +%Y%m%d |cut -c 3-8)$RUN_HOUR$RUN_MINUTE 
96.  
97. fi 
98.  
99. echo $INSERT_TIME | cut -c 1-2 > /tmp/IY 
100. echo $INSERT_TIME | cut -c 3-4 > /tmp/IM 
101. echo $INSERT_TIME | cut -c 5-6 > /tmp/ID 
102. echo $INSERT_TIME | cut -c 7-8 > /tmp/IH 
103. INSERT_YEAR=20$(cat /tmp/IY) 
104. INSERT_MONTH=$(cat /tmp/IM) 
105. INSERT_DAY=$(cat /tmp/ID) 
106. INSERT_HOUR=$(cat /tmp/IH) 
107.  
108. CN_TOTAL_ACCESS=$(cat $RUN_LOG | grep "$p1" | awk -F ':' '{print$2$3}'| grep "$RUN_HOUR$RUN_MINUTE" | wc -l) 
109. CN_SUCC_ACCESS=$(cat $RUN_LOG | grep "$p1" | grep "200" | awk -F ':' '{print$2$3}'| grep "$RUN_HOUR$RUN_MINUTE" | wc -l) 
110. CN_FAIL_ACCESS=$(cat $RUN_LOG | grep "$p1" | grep -v "200" | awk -F ':' '{print$2$3}'| grep "$RUN_HOUR$RUN_MINUTE" | wc -l) 
111.  
112. JL_TOTAL_ACCESS=$(cat $RUN_LOG | grep "$p2" | awk -F ':' '{print$2$3}'| grep "$RUN_HOUR$RUN_MINUTE" | wc -l) 
113. JL_SUCC_ACCESS=$(cat $RUN_LOG | grep "$p2" | grep "200" | awk -F ':' '{print$2$3}'| grep "$RUN_HOUR$RUN_MINUTE" | wc -l) 
114. JL_FAIL_ACCESS=$(cat $RUN_LOG | grep "$p2" | grep -v "200" | awk -F ':' '{print$2$3}'| grep "$RUN_HOUR$RUN_MINUTE" | wc -l) 
115.  
116. DB_NAME=shell_log 
117. DB_USER=root 
118. DB_PASS=root 
119. DB_TAB=log 
120.  
121. mysql -u$DB_USER -p$DB_PASS $DB_NAME -e "INSERT INTO $DB_TAB(time,year,month,day,hour,visit,success,fail,target) VALUES ('$INSERT_TIME', '$INSERT_YEAR', '$INSERT_MONTH', '$INSERT_DAY', '$INSERT_HOUR', '$CN_TOTAL_ACCESS', '$CN_SUCC_ACCESS', '$CN_FAIL_ACCESS', 'cnbpush');" 
122. mysql -u$DB_USER -p$DB_PASS $DB_NAME -e "INSERT INTO $DB_TAB(time,year,month,day,hour,visit,success,fail,target) VALUES ('$INSERT_TIME', '$INSERT_YEAR', '$INSERT_MONTH', '$INSERT_DAY', '$INSERT_HOUR', '$JL_TOTAL_ACCESS', '$JL_SUCC_ACCESS', '$JL_FAIL_ACCESS', 'jlpush');" --Vevb.com 
123.  
124. exit 

放到任务计划,一分钟一执行.