GO语言利用K近邻算法实现小说鉴黄

本文给大家分享的是一段GO语言利用K近邻算法实现小说鉴黄的方法，本方法的鉴别的关键是关键是向量点的选择和阈值的判定，推荐给大家，有需要的小伙伴可以参考下。

Usuage:

go run kNN.go --file="data.txt"

关键是向量点的选择和阈值的判定

样本数据来自国家新闻出版总署发布通知公布的《40部淫秽色情网络小说名单》

1. package main 
2.  
3. import ( 
4. "bufio" 
5. "flag" 
6. "fmt" 
7. "io" 
8. "log" 
9. "math" 
10. "os" 
11. "path" 
12. "path/filepath" 
13. ) 
14.  
15. var debug bool = false 
16. var data_dir string = "./moyan" //文件存放目录 
17. var limen float64 = 0.1159203888322267 //阈值 
18.  
19. const ( 
20. MIN_HANZI rune = 0x3400 
21. MAX_HANZI rune = 0x9fbb 
22. ) 
23.  
24. var labels []rune = []rune{ 
25. 0x817f, 0x80f8, 0x4e73, 0x81c0, 
26. 0x5c41, 0x80a1, 0x88f8, 0x6deb, 
27. } 
28.  
29. func errHandle(err error) { 
30. if err != nil { 
31. log.Fatal(err) 
32. } 
33. } 
34.  
35. func load(name string) (m map[rune]int, err error) { 
36. f, err := os.Open(name) 
37. if err != nil { 
38. return nil, err 
39. } 
40. defer f.Close() 
41. buf := bufio.NewReader(f) 
42. m = make(map[rune]int) 
43. var r rune 
44. for { 
45. r, _, err = buf.ReadRune() 
46. if err != nil { 
47. if err == io.EOF { 
48. break 
49. } 
50. return nil, err 
51. } 
52. if r >= MIN_HANZI && r <= MAX_HANZI { 
53. m[r] += 1 
54. } 
55. } 
56. return m, nil 
57. } 
58. func classify(m map[rune]int) (idv []float64, dis float64) { 
59. len_m := len(m) 
60. for i, v := range labels { 
61. if debug { 
62. fmt.Println(i, m[v], string(v), float64(m[v])/float64(len_m)) 
63. } 
64. idv = append(idv, float64(m[v])/float64(len_m)) 
65. } 
66. for _, v := range idv { 
67. dis += math.Pow(v, 2) 
68. } 
69. dis = math.Sqrt(dis) 
70. return 
71. } 
72. func check(fp string, dis float64) { 
73. switch { 
74. case dis >= limen: 
75. fmt.Println(fp, dis, "涉黄") 
76. case dis == 1.0: 
77. fmt.Println(fp, dis, "你在作弊吗") 
78. case dis == 0: 
79. fmt.Println(fp, dis, "检查一下文件字符编码是不是utf8格式吧") 
80. default: 
81. fmt.Println(fp, dis, "正常") 
82. } 
83. } 
84.  
85. func walkFunc(fp string, info os.FileInfo, err error) error { 
86. if path.Ext(fp) == ".txt" { 
87. m, err := load(fp) 
88. errHandle(err) 
89. _, dis := classify(m) 
90. check(fp, dis) 
91. } 
92. return err 
93. } 
94.  
95. var file string 
96.  
97. func init() { 
98. _, err := os.Stat(data_dir) 
99. if err != nil { 
100. err = os.Mkdir(data_dir, os.ModePerm) 
101. errHandle(err) 
102. } 
103. flag.StringVar(&file, "file", "", "file read in,if you don't give the file read in,"+ 
104. "it will create a data dictionary,just pust your files in it") 
105. } 
106.  
107. func main() { 
108. flag.Parse() 
109. if file == "" { 
110. filepath.Walk(data_dir, walkFunc) 
111. return 
112. } 
113. m, err := load(file) 
114. errHandle(err) 
115. _, dis := classify(m) 
116. check(file, dis) 
117.  
118. } 

以上所述就是本文的全部内容了，希望大家能够喜欢。