go语言实现通过FTP库自动上传web日志

这篇文章主要介绍了go语言实现通过FTP库自动上传web日志，非常简单实用，需要的小伙伴快来参考下吧。

因为平时管理的web服务器都是VM服务器，为节省硬盘空间，一般给虚拟机分配的硬盘空间都比较小，只有8G，因为，保存不了多少日志，所以每天都需要把每台WEB日志转移到一个硬盘比较大的服务器上，然后再使用NBU集中备份，本程序主要使用go语言实现实现将web日志通过FTP自动上传FTP服务器，使用了filepath.Walk遍历日志目录及第三方纯go库“github.com/jlaffaye/ftp”，而日志VM本地存储路径格式是 /var/log/weblog/www.domainName.com/month/20140616.access.log，

1. // uploadlog 
2. /* 
3. 1.本程序主要是实现linux下上传web日志使用， 
4. 2.使用方法是 uploadlog logfile_dir 
5. 程序只上传当前时间点的日志文件， 
6. */ 
7. package main 
8. import ( 
9. "fmt" 
10. ftp "github.com/jlaffaye/ftp" 
11. "log" 
12. "net" 
13. "os" 
14. "path/filepath" 
15. "strconv" 
16. "strings" 
17. "time" 
18. ) 
19. func main() { 
20. fmt.Println("Hello World!") 
21. if len(os.Args) != 2 { 
22. log.Fatal("Usage:" + filepath.Base(os.Args[0]) + " log_dir ") 
23. os.Exit(1) 
24. } 
25. //logFileName是将要分析的日志 
26. logFileName, _, _ := getLogFileName() 
27. serverIp := getLocalIpAddr() 
28. //serverName, _ := os.Hostname() 
29. time.Sleep(time.Duration(90) * time.Second) 
30. dir := os.Args[1] 
31. filepath.Walk(dir, func(path string, f os.FileInfo, err error) error { 
32. if f == nil { 
33. return err 
34. } 
35. if f.IsDir() { 
36. return nil 
37. } 
38. if f.Name() == logFileName { 
39. fmt.Println(path) 
40. //pathFields的作用是将日志path解析成一个数据，从而可以得到日志的域名,注意，如果是linux系统，要用“/” 
41. pathFields := strings.Split(path, "/") 
42. var domainName string 
43. if len(pathFields) > 3 { 
44. domainName = pathFields[len(pathFields)-3] 
45. } 
46. fmt.Println(time.Now()) 
47. ftpUploadFile("ftp-server-ip:21", "logftpuser", "ftp-password", path, domainName, serverIp+"_"+logFileName) 
48. fmt.Println(time.Now()) 
49. } 
50. return nil 
51. }) 
52. } 
53. func getLogFileName() (string, string, string) { 
54. MonthTOstr := map[string]string{"January": "01", 
55. "February": "02", 
56. "March": "03", 
57. "April": "04", 
58. "May": "05", 
59. "June": "06", 
60. "July": "07", 
61. "August": "08", 
62. "September": "09", 
63. "October": "10", 
64. "November": "11", 
65. "December": "12"} 
66. timenow := time.Now() 
67. year, month, day := timenow.Date() 
68. //monthStr := month.String() 
69. hour, _, _ := timenow.Clock() 
70. yearStr := strings.TrimLeft(strconv.Itoa(year), "20") //去掉前面的四位数年份如"2014"年的“20” 
71. dayStr, hourStr := strconv.Itoa(day), strconv.Itoa(hour) 
72. if day < 10 { 
73. dayStr = "0" + dayStr 
74. } 
75. if hour < 10 { 
76. hourStr = "0" + hourStr 
77. } 
78. fileName := "ex" + yearStr + MonthTOstr[month.String()] + dayStr + hourStr + ".log" 
79. logDay := yearStr + MonthTOstr[month.String()] + dayStr 
80. logMonth := yearStr + MonthTOstr[month.String()] 
81. //monthSrt := strconv.Itoa(timenow.Month()) 
82. //fmt.Println(fileName, logDay) 
83. return fileName, logDay, logMonth 
84. //fmt.Println(fileName) 
85. } 
86. func getLocalIpAddr() string { 
87. //这里使用一个合法的IP就行了，端口随便，即使没有打开也行，也许因为使用UDP，如果用TCP的话，对端不打开就会有问题 
88. conn, err := net.Dial("udp", "192.168.8.51:80") 
89. if err != nil { 
90. //fmt.Println(err.Error()) 
91. return "127.0.0.1" 
92. } 
93. defer conn.Close() 
94. //fmt.Println(conn.LocalAddr().String()) 
95. //conn. 
96. //fmt.Println(strings.Split(conn.LocalAddr().String(), ":")[0]) 
97. return strings.Split(conn.LocalAddr().String(), ":")[0] 
98. } 
99. func ftpUploadFile(ftpserver, ftpuser, pw, localFile, remoteSavePath, saveName string) { 
100. ftp, err := ftp.Connect(ftpserver) 
101. if err != nil { 
102. fmt.Println(err) 
103. } 
104. err = ftp.Login(ftpuser, pw) 
105. if err != nil { 
106. fmt.Println(err) 
107. } 
108. //注意是 pub/log，不能带“/”开头 
109. ftp.ChangeDir("pub/log") 
110. dir, err := ftp.CurrentDir() 
111. fmt.Println(dir) 
112. ftp.MakeDir(remoteSavePath) 
113. ftp.ChangeDir(remoteSavePath) 
114. dir, _ = ftp.CurrentDir() 
115. fmt.Println(dir) 
116. file, err := os.Open(localFile) 
117. if err != nil { 
118. fmt.Println(err) 
119. } 
120. defer file.Close() 
121. err = ftp.Stor(saveName, file) 
122. if err != nil { 
123. fmt.Println(err) 
124. } 
125. ftp.Logout() 
126. ftp.Quit() 
127. fmt.Println("success upload file:", localFile) 
128. } 

以上所述就是本文的全部内容了，希望大家能够喜欢。