phpcms中使用sphinx全文索引教程

Sphinx是一个基于SQL的全文检索引擎，可以结合MySQL,PostgreSQL做全文搜索，它可以提供比数据库本身更专业的搜索功能，使得应用程序更容易实现专业化的全文检索。Sphinx特别为一些脚本语言设计搜索API接口，如PHP,Python,Perl,Ruby等，同时为MySQL也设计了一个存储引擎插件

phpcms sphinx全文索引教程

英文介绍:http://www.sphinxsearch.com/docs/manual-0.9.9.html

一、首先需要在服务器上安装sphinx

在Windows上安装sphinx

1.下载支持mysql的包 http://www.sphinxsearch.com/downloads/sphinx-0.9.9-win32.zip

2.解压缩 sphinx-0.9.9-win32.zip 到 D:＼sphinx

3.安装sphinx服务,在命令行执行命令

D:＼sphinx＼searchd –install –config d:＼sphinx＼sphinx.conf –servicename SphinxSearch

英文参照:http://www.sphinxsearch.com/docs … #installing-windows

1.下载源码包 http://www.sphinxsearch.com/downloads/sphinx-0.9.9.tar.gz

1. $ tar xzvf sphinx-0.9.8.tar.gz 
2. $ cd sphinx 
3. $ ./configure –prefix=/usr/local/sphinx –with-mysql=/usr/local/mysql 
4. $ make 
5. $ make install 

常见问题1

1. /usr/local/sphinx-0.9.9/src/sphinx.cpp:20060: undefined reference to libiconv_open' 
2. /usr/local/sphinx-0.9.9/src/sphinx.cpp:20078: undefined reference to libiconv‘  //开源软件:Vevb.com 
3. /usr/local/sphinx-0.9.9/src/sphinx.cpp:20084: undefined reference to libiconv_close' 
4. collect2: ld returned 1 exit status 
5. make[2]: *** [indexer] Error 1 
6. make[2]: Leaving directory /home/jling/sphinx-0.9.9/src’ 
7. make[1]: *** [all] Error 2 
8. make[1]: Leaving directory `/home/jling/sphinx-0.9.9/src‘ 
9. make: *** [all-recursive] Error 1 

解决办法:打开configure文件,找到“#define USE_LIBICONV 1”,将注释去掉,并将1改成0.

常见问题2

error while loading shared libraries: libmysqlclient.so.16: cannot open shared object file: No such file or directory

解决办法:

64位系统ln -s /usr/local/webserver/mysql/lib/mysql/libmysqlclient.so.16.0.0 /usr/lib64/libmysqlclient.so.16

32位系统ln -s /usr/local/webserver/mysql/lib/mysql/libmysqlclient.so.16.0.0 /usr/lib/libmysqlclient.so.16

sphinx.conf样例

1. source main 
2. { 
3. type     = mysql    #数据库类型 
4. sql_host    = 10.228.134.211 #数据库ip 
5. sql_user    = admin    #数据库用户名 
6. sql_pass    = admin    #数据库密码 
7. sql_db     = phpcms_v9   #数据库名 
8. sql_port    = 3306    # 数据库端口 
9.   sql_query_pre = SET NAMES utf8 
10. sql_query_pre = REPLACE INTO v9_sphinx_counter SELECT 1, MAX(searchid) FROM v9_search 
11. sql_query = SELECT searchid, adddate, siteid, typeid, id, data FROM v9_search ＼ 
12. WHERE searchid>=$start AND searchid<=$end 
13. sql_query_range  = SELECT 1,max_doc_id FROM v9_sphinx_counter WHERE counter_id=1 
14. sql_range_step = 5000 
15.   #字符串属性设置、需要过滤、排序的时候用到 
16. sql_attr_uint  = typeid 
17. sql_attr_uint  = siteid 
18. sql_attr_uint  = id 
19. sql_attr_timestamp  = adddate 
20. sql_query_info  = SELECT * FROM v9_search WHERE searchid=$id 
21. } 
22.  source delta 
23. { 
24. type     = mysql    #数据库类型 
25. sql_host    = 10.228.134.211 #数据库ip 
26. sql_user    = admin    #数据库用户名 
27. sql_pass    = admin    #数据库密码 
28. sql_db     = phpcms_v9   #数据库名 
29. sql_port    = 3306    # 数据库端口 
30.      sql_query_pre = SET NAMES utf8 
31. sql_query = SELECT searchid, adddate, siteid, typeid, id, data FROM v9_search ＼ 
32. WHERE searchid >( SELECT max_doc_id FROM v9_sphinx_counter WHERE counter_id=1 ) 
33. sql_query_post = REPLACE INTO v9_sphinx_counter SELECT 1, MAX(searchid) FROM v9_search 
34. #字符串属性设置、需要过滤、排序的时候用到 
35. sql_attr_uint  = typeid 
36. sql_attr_uint  = siteid 
37. sql_attr_uint  = id 
38. sql_attr_timestamp  = adddate 
39. sql_query_info  = SELECT * FROM v9_search WHERE searchid=$id 
40. } 
41.  #主索引 
42. index main 
43. { 
44. source = main 
45. # 放索引的目录 
46. path = D:＼sphinx＼data＼main 
47. # 编码 
48. charset_type = utf-8 
49. # 指定utf-8的编码表 
50. charset_table = 0..9, A..Z->a..z, _, a..z, U+410..U+42F->U+430..U+44F, U+430..U+44F 
51. # 简单分词，只支持0和1，如果要搜索中文，请指定为1 
52. ngram_len = 1 
53. # 需要分词的字符，如果要搜索中文，去掉前面的注释 
54. ngram_chars   = U+3000..U+2FA1F 
55. } 
56.  #增量索引 
57. index delta 
58. { 
59. source = delta 
60. path = D:＼sphinx＼data＼delta 
61. # 编码 
62. charset_type = utf-8 
63. # 指定utf-8的编码表 
64. charset_table = 0..9, A..Z->a..z, _, a..z, U+410..U+42F->U+430..U+44F, U+430..U+44F 
65. # 简单分词，只支持0和1，如果要搜索中文，请指定为1 
66. ngram_len = 1 
67. # 需要分词的字符，如果要搜索中文，去掉前面的注释 
68. ngram_chars   = U+3000..U+2FA1F 
69. } 
70.  indexer 
71. { 
72. mem_limit    = 128M 
73. } 
74.  searchd 
75. { 
76. port     = 9312 
77. log      = D:＼sphinx＼data＼phpcms＼searchd.log 
78. query_log    = D:＼sphinx＼data＼phpcms＼query.log 
79. read_timeout   = 5 
80. max_children   = 30 
81. pid_file    = D:＼sphinx＼data＼phpcms＼searchd.pid 
82. max_matches    = 2000 
83. seamless_rotate   = 0 
84. preopen_indexes   = 0 
85. unlink_old    = 1 
86. } 

附件:设置计划任务更新索引

1.windows下

需要设置计划任务

1. #凌晨4点合并索引，执行merge.bat 
2. #其余时间每分钟更新索引，执行delta.bat 
3. merge.bat 
4.  
5. @ECHO off 
6. D:＼sphinx＼bin＼indexer.exe –config D:＼sphinx＼sphinx.conf –merge main delta –rotate 
7. echo indexing, window will close when complete 
8.  
9. delta.bat 
10.  @ECHO off 
11. D:＼sphinx＼bin＼indexer.exe –config D:＼sphinx＼sphinx.conf delta –rotate 
12. echo indexing, window will close when complete 
13. 2.linux下编辑定时任务 crontab -e 
14.  
15. #凌晨4点合并索引，其余时间每分钟更新索引 
16. * 0-3 * * * /usr/local/sphinx/bin/indexer –config /usr/local/sphinx/etc/sphinx.conf delta –rotate 
17. * 6-23 * * * /usr/local/sphinx/bin/indexer –config /usr/local/sphinx/etc/sphinx.conf delta –rotate 
18. 0 4 * * * /usr/local/sphinx/bin/indexer –config /usr/local/sphinx/etc/sphinx.conf –merge main delta –rotate 

各种路径、权限需要应用所在服务器一致,如:

sphinx.conf 中需要配置

sql_host 数据库主机地址

sql_user 数据库用户名

sql_pass 数据库密码

sql_db 数据库名

sql_port 数据库端口

phpcms表前缀样例中为phpcms_

索引路径 D:＼sphinx＼data＼delta