sphinx安装与 api 学习笔记整理

Sphinx是一个基于SQL的全文检索引擎,可以结合MySQL,PostgreSQL做全文搜索,它可以提供比数据库本身更专业的搜索功能.

sphinx 安装

Sphinx在mysql上的应用有两种方式.

1.采用API调用,如使用PHP、java等的API函数或方法查询,优点是可不必对mysql重新编译，服务端进程“低耦合”,且程序可灵活、方便的调用,缺点是如已有搜索程序的条件下,需修改部分程序,推荐程序员使用.

2.使用插件方式（sphinxSE）把sphinx编译成一个mysql插件并使用特定的sql语句进行检索,其特点是,在sql端方便组合,且能直接返回数据给客户端,不必二次查询,在程序上仅需要修改对应的sql,但这对使用框架开发的程序很不方便,比如使用了ORM,另外还需要对mysql进行重新编译,且需要mysql-5.1以上版本支持插件存储.

这里的安装主要介绍的是第一种通过api调用的方式,Sphinx的安装如下:

1. #下载最新稳定版 
2. wget http://www.sphinxsearch.com/downloads/sphinx-0.9.9.tar.gz 
3. tar xzvf sphinx-0.9.9.tar.gz 
4. cd sphinx-0.9.9 
5. ./configure --prefix=/usr/local/sphinx/   --with-mysql  --enable-id64 
6.  
7. make 
8. make install 

注意:采用这种方式安装不支持中文分词.

三、Sphinx中文分词中文的全文检索和英文等latin系列不一样,后者是根据空格等特殊字符来断词,而中文是根据语义来分词,中文分词主要有2个插件.

1.Coreseek

Coreseek是现在用的最多的sphinx中文全文检索,它提供了为Sphinx设计的中文分词包LibMMSeg,是基于sphinx的基础上开发的.

2.sfc(Sphinx-for-chinese)

2.sfc(Sphinx-for-chinese)

sfc（sphinx-for-chinese）是由网友happy兄提供的另外一个中文分词插件,其中文词典采用的是xdict.

本节主要介绍Coreseek的安装方法

四、Coreseek(支持中文检索的sphinx)

安装1.安装升级autoconf

因为coreseek需要autoconf 2.64以上版本,因此需要升级autoconf,不然会报错从http://download.chinaunix.net/download.php?id=29328&ResourceID=648下载autoconf-2.64.tar.bz2,安装方法如下:

1. tar -jxvf autoconf-2.64.tar.bz2 
2. cd autoconf-2.64 
3. ./configure 
4. make 
5. make install 

2.下载coreseek

新版本的coreseek将词典和sphinx源程序放在了一个包中,因此只需要下载coreseek包就可以了.

wget http://www.wapm.cn/uploads/csft/3.2/coreseek-3.2.14.tar.gz

3.安装mmseg(coreseek所使用的词典),代码如下:

1. tar xzvf coreseek-3.2.14.tar.gz 
2. cd mmseg-3.2.14 
3. ./bootstrap    #输出的warning信息可以忽略，如果出现error则需要解决 
4. ./configure --prefix=/usr/local/mmseg3 
5. make && make install 
6. cd .. 

4.安装coreseek(sphinx),代码如下:

1. cd csft-3.2.14 
2. sh buildconf.sh    #输出的warning信息可以忽略，如果出现error则需要解决 
3. ./configure --prefix=/usr/local/coreseek  --without-unixodbc --with-mmseg --with-mmseg-includes=/usr/local/mmseg3/include/mmseg/ --with-mmseg-libs=/usr/local/mmseg3/lib/ --with-mysql 
4. make && make install 
5. cd .. 

5.测试mmseg分词和coreseek搜索.

备注:需要预先设置好字符集为zh_CN.UTF-8,确保正确显示中文,我的系统字符集为en_US.UTF-8也是可以的,代码如下:

1. cd testpack 
2. cat var/test/test.xml  #此时应该正确显示中文 
3. /usr/local/mmseg3/bin/mmseg -d /usr/local/mmseg3/etc var/test/test.xml 
4. /usr/local/coreseek/bin/indexer -c etc/csft.conf --all 
5. /usr/local/coreseek/bin/search -c etc/csft.conf 

网络搜索,此时正确的应该返回:

words:

1. '网络': 1 documents, 1 hits

2. '搜索': 2 documents, 5 hits

6.生成 mmseg词库及配置文件

新版本的已经自动生成.

sphinx api 的完整用法及重要属性,整理一下,以防忘记,代码如下:

1. $cl = new SphinxClient ();  
2. //安装的默认host：localhost  ，sphinx端口：3312  
3. $cl->SetServer ( "localhost", "3312");   
4. //可选，为每一个全文检索字段设置权重，主要根据你在sql_query中定义的字段的顺序，Sphinx系统以后会调整，可以按字段名称来设定权重.  可以参考SetFieldWeights(array ( 100, 1 ))   
5. $cl->SetWeights ( array ( 100, 1 ) );    
6.    
7.    
8. //查询的模式，总共有以下模式：SPH_MATCH_ALL,匹配所有查询词（and）（默认模式）SPH_MATCH_ANY, 匹配查询词中的任意一个（or）SPH_MATCH_PHRASE, 将整个查询看作一个词组，要求按顺序完整匹配SPH_MATCH_BOOLEAN, 将查询看作一个布尔表达式 SPH_MATCH_EXTENDED, 将查询看作一个 Sphinx 内部查询语言的表达式 。还有一个特殊的“完整扫描”模式，当如下条件满足时，该模式被自动激活：  
9. //1. 查询串是空的（即长度为零）  
10. //2.docinfo存储方式为 extern在完整扫描模式中，全部已索引的文档都被看作是匹配的。这类匹配仍然会被过滤、排序或分组，但是并不会做任何真正的全文检索。这种模式可以用来统一全文检索和非全文检索的代码，或者减轻SQL 服务器的负担（有些时候 Sphinx 扫描的速度要优于类似的 MySQL 查询）  
11. $cl->SetMatchMode ( "SPH_MATCH_ALL" );   
12.    
13.  //只搜索forum_id=1或3或7  如果$cl->SetFilter ( "forum_id", array ( 1,3,7 ) ,true); 表示只搜索forum_id!=1或!=2或!=7  
14. $cl->SetFilter ( "forum_id", array ( 1,3,7 ) );  
15.    
16. //SPH_GROUPBY_DAY，从时间戳中按 YYYYMMDD 格式抽取年、月、日   
17. //SPH_GROUPBY_WEEK，从时间戳中按 YYYYNNN 格式抽取年份和指定周数（自年初计起）的第一天   
18. //SPH_GROUPBY_MONTH，从时间戳中按 YYYYMM 格式抽取月份  
19. //SPH_GROUPBY_YEAR，从时间戳中按 YYYY 格式抽取年份  //最终的搜索结果中每组包含一个最佳匹配。分组函数值和每组的匹配数目分别以“虚拟”属性@group 和@count 的形式返回。  
20. //SPH_SORT_RELEVANCE忽略任何附加的参数，永远按相关度评分排序。所有其余的模式都要求额外的排序子句，子句的语法跟具体的模式有关。  
21. $cl->SetGroupBy ("UserName", SPH_GROUPBY_ATTR, $groupsort );  
22.    
23. $cl->SetGroupDistinct ( $distinct );  
24. /* Vevb.com 
25. $cl->SetGroupBy ( "category", SPH_GROUPBY_ATTR, "@count desc" );  
26. $cl->SetGroupDistinct ( "vendor" );  

相当于:

1. SELECT id, weight, all-attributes,  
2.     COUNT(DISTINCT vendor) AS @distinct,  
3.     COUNT(*) AS @count  
4. FROM products  
5. GROUP BY category  
6. ORDER BY @count DESC  

SPH_SORT_RELEVANCE 模式, 按相关度降序排列（最好的匹配排在最前面）

SPH_SORT_ATTR_DESC 模式, 按属性降序排列 （属性值越大的越是排在前面）

SPH_SORT_ATTR_ASC 模式, 按属性升序排列（属性值越小的越是排在前面）

SPH_SORT_TIME_SEGMENTS 模式, 先按时间段（最近一小时/天/周/月）降序，再按相关度降序SPH_SORT_EXTENDED 模式, 按一种类似 SQL 的方式将列组合起来，升序或降序排列。SPH_SORT_EXPR 模式，按某个算术表达式排序,代码如下:

1. $cl->SetSortMode ( SPH_SORT_EXTENDED, "post_date");  
2.    
3. //从第0个开始，取$limit 个，  第三个参数限制了最大偏移量不大于1000  
4. $cl->SetLimits ( 0, $limit, ( $limit>1000 ) ? $limit : 1000 );    

设置评分模式:* SPH_RANK_PROXIMITY_BM25,默认模式,同时使用词组评分和BM25评分，并且将二者结合。* SPH_RANK_BM25, 统计相关度计算模式,仅使用BM25评分计算,与大多数全文检索引擎相同,这个模式比较快,但是可能使包含多个词的查询的结果质量下降,* SPH_RANK_NONE,禁用评分的模式,这是最快的模式,实际上这种模式与布尔搜索相同。

所有的匹配项都被赋予权重1,* SPH_RANK_WORDCOUNT,根据关键词出现次数排序。这个排序器计算每个字段中关键字的出现次数,然后把计数与字段的权重相乘，最后将积求和,作为最终结果,* SPH_RANK_PROXIMITY,版本0.9.9-rc1新增，将原始的词组相似度作为结果返回.

在内部,这个模式被用来模拟SPH_MATCH_ALL的查询,* SPH_RANK_MATCHANY,版本0.9.9-rc1新增,返回之前在SPH_MATCH_ANY中计算的位次,在内部这个模式用于模拟SPH_MATCH_ANY的查询。* SPH_RANK_FIELDMASK, 版本0.9.9-rc2新增，返回一个32位掩码,其中第N位对应第N个全文字段,从0开始计数,如果某个字段中出现了满足查询的关键词,则对应的标志位被置1,代码如下:

连接到searchd服务器,根据服务器的当前设置执行给定的查询,取得并返回结果集。$query是查询字串,$index是包含一个或多个索引名的字符串,一旦发生一般错误,则返回假并设置GetLastError()信息,若成功则返回搜索的结果集,此外,$comment 将被发送到查询日志中搜索部分的前面,这对于调试是非常有用的,目前，注释的长度限制为128个字符以内.

$index的默认值是"*"，意思是对全部本地索引做查询,索引名中允许的字符包括拉丁字母（a-z）,数字（0-9）,减号（-）和下划线（_）,其他字符均视为分隔符,因此,下面的示例调用都是有效的,而且会搜索相同的两个索引,代码如下:

1. $res = $cl->Query ( $query, $index );  
2. /*  
3. $cl->Query ( "test query", "main delta" );  
4. $cl->Query ( "test query", "main;delta" );  
5. $cl->Query ( "test query", "main, delta" );  
6. */