首先了解一下sphinx全文索引的相关知识,考虑到Sphinx全文索引使用的实际需要,主要介绍Sphinx全文索引中文方面的支持。这里需要感谢李沫南同学对Sphinx全文索引中文支持的贡献! 官方
官方网站:http://www.sphinxsearch.com/
官方文档:http://www.sphinxsearch.com/docs/
中文支持:http://www.coreseek.cn/
中文使用手册下载:http://www.coreseek.cn/uploads/pdf/sphinx_doc_zhcn_0.9.pdf
中文在线手册:http://www.coreseek.cn/docs/coreseek_3.2-sphinx_0.9.9.html
1.Windows下安装Sphinx
1.1.开始前的准备工作
先从http://www.coreseek.cn/products/ft_down/下载Coreseek 3.2.13,这里我们就以Windows环境为例:
下载后直接解压coreseek-3.2.13-win32.zip,我们这里假设解压到:D:coreseek-3.2.13-win32.这里我们需要简单了解几个目录:
[D:coreseek-3.2.13-win32pi]API接口目录,其中包括了php,python,ruby等操作实例,其中test_coreseek.php是一个不错的中文检索的例子.
[D:****in]应用程序目录,其中包含以下几个文件
* indexer: 用于创建全文索引;
* search: 一个简单的命令行(CLI) 的测试程序,用于测试全文索引;
* searchd: 一个守护进程,其他软件可以通过这个守护进程进行全文检索;
* sphinxapi: 一系列searchd 的客户端API 库,用于流行的Web脚本开发语言(PHP, Python, Perl, Ruby, Java).
* spelldump: 一个简单的命令行工具,用于从 ispell 或 MySpell (OpenOffice内置绑定) 格式的字典中提取词条。当使用 wordforms 时可用这些词条对索引进行定制.
* indextool: 工具程序,用来转储关于索引的多项调试信息。 此工具是从版本Coreseek 3.1(Sphinx 0.9.9-rc2)开始加入的。
* mmseg: 工具程序和库,Coreseek用于提供中文分词和词典处理。
[D:****etc]sphinx配置目录
[D:****ar]sphinx变量&索引&日志存放目录
1.2.创建配置文件
由于dedecms使用的是mysql,所以我们需要来配置一个mysql的sphinx模板配置,可以复制csft_mysql.conf改名为:csft_dedecmsv57.conf,例如我们这里仅做文章的全文检索,我们需要做如下配置:
先在DedeCMS中创建一个统计表,方法可以在DedeCMS后台[系统]->[SQL命令行工具]中执行下列代码:
CREATE TABLE `dede_sphinx` (
`countid` int(11) unsigned NOT NULL,
`maxaid` int(11) unsigned NOT NULL,
PRIMARY KEY (`countid`)
) ENGINE=MyISAM DEFAULT CHARSET=gbk
这是一个sphinx内容统计表,为了适合数据量较大的情况下分批生成索引而使用的.
创建完数据表后,我们对sphinx的配置文件,即csft_dedecmsv57.conf修改,内容如下,其中包含注释:
--------------------------------------------------------------------------------------------
#源定义 source mysql { type = mysql # 数据库服务器基本配置信息 sql_host = 192.168.0.103 sql_user = dedev57 sql_pass = dedecms sql_db = dedecmsv57gbk sql_port = 3306 # 设定编码,这里我们是gbk编码,如果是utf-8,可以设置: # sql_query_pre = SET NAMES utf8 sql_query_pre = SET NAMES gbk # 数据检索增量 sql_range_step = 1000 #当前***新文档id数 sql_query_pre = REPLACE INTO dede_sphinx SELECT 1, MAX(id) FROM dede_archives #检索条件 sql_query = SELECT ARC.id,ARC.typeid,ARC.typeid2,ARC.sortrank,ARC.flag,ARC.channel,ARC.ismake,ARC.arcrank,ARC.click,ARC.title, ARC.shorttitle,ARC.color,ARC.writer,ARC.source,ARC.litpic,ARC.pubdate,ARC.senddate,ARC.mtype,ARC.description,ARC.badpost,ARC.goodpost,ARC.scores, ARC.lastpost,ARC.keywords,ARC.mid,ART.body FROM dede_archives AS ARC LEFT JOIN dede_addonarticle AS ART ON ARC.id = ART.aid WHERE ARC.id>=$start AND ARC.id<=$end #sql_query***列id需为整数 #title、body作为字符串/文本字段,被全文索引 # 获取当前***大检索id sql_query_range = SELECT 1,maxaid FROM dede_sphinx WHERE countid=1 sql_attr_uint = typeid #从SQL读取到的值必须为整数 sql_attr_uint = typeid2 sql_attr_uint = channel sql_attr_uint = click sql_attr_uint = badpost sql_attr_uint = goodpost sql_attr_uint = scores sql_attr_uint = mid sql_attr_timestamp = pubdate #从SQL读取到的值必须为整数,作为时间属性 sql_attr_timestamp = senddate sql_attr_timestamp = lastpost #命令行查询时,从数据库读取原始数据信息 sql_query_info = SELECT ARC.*,ART.body FROM dede_archives AS ARC LEFT JOIN dede_addonarticle AS ART ON ARC.id = ART.aid WHERE ARC.id=$id } source delta { type = mysql # 数据库服务器基本配置信息 sql_host = 192.168.0.103 sql_user = dedev57 sql_pass = dedecms sql_db = dedecmsv57gbk sql_port = 3306 sql_query_pre = SET NAMES gbk # 增量索引,从***大id开始 sql_query = SELECT ARC.id,ARC.typeid,ARC.typeid2,ARC.sortrank,ARC.flag,ARC.channel,ARC.ismake,ARC.arcrank,ARC.click,ARC.title, ARC.shorttitle,ARC.color,ARC.writer,ARC.source,ARC.litpic,ARC.pubdate,ARC.senddate,ARC.mtype,ARC.description,ARC.badpost,ARC.goodpost, ARC.scores,ARC.lastpost,ARC.keywords,ARC.mid,ART.body FROM dede_archives AS ARC LEFT JOIN dede_addonarticle AS ART ON ARC.id = ART.aid WHERE ARC.id > ( SELECT maxaid FROM dede_sphinx WHERE countid=1 ) #从SQL读取到的值必须为整数 sql_query_post = REPLACE INTO dede_sphinx SELECT 1, MAX(id) FROM dede_archives sql_attr_uint = typeid sql_attr_uint = typeid2 sql_attr_uint = channel sql_attr_uint = click sql_attr_uint = badpost sql_attr_uint = goodpost sql_attr_uint = scores sql_attr_uint = mid sql_attr_timestamp = pubdate #从SQL读取到的值必须为整数,作为时间属性 sql_attr_timestamp = senddate sql_attr_timestamp = lastpost #命令行查询时,从数据库读取原始数据信息 sql_query_info = SELECT ARC.*,ART.body FROM dede_archives AS ARC LEFT JOIN dede_addonarticle AS ART ON ARC.id = ART.aid WHERE ARC.id=$id } #index定义 index mysql { source = mysql #对应的source名称 path = D:/coreseek-3.2.13-win32/var/data/mysql docinfo = extern mlock = 0 morphology = none min_word_len = 1 html_strip = 0 #charset_dictpath = /usr/local/mmseg3/etc/ #BSD、Linux环境下设置,/符号结尾 charset_dictpath = D:/coreseek-3.2.13-win32/etc/ #Windows环境下设置,/符号结尾 charset_type = zh_cn.gbk } index delta : mysql { min_word_len = 1 source = delta path = D:/coreseek-3.2.13-win32/var/data/delta.new } #全局index定义 indexer { mem_limit = 128M } #searchd服务定义 searchd { listen = 9312 read_timeout = 5 max_children = 30 max_matches = 1000 seamless_rotate = 0 preopen_indexes = 0 unlink_old = 1 pid_file = D:/coreseek-3.2.13-win32/var/log/searchd_mysql.pid log = D:/coreseek-3.2.13-win32/var/log/searchd_mysql.log query_log = D:/coreseek-3.2.13-win32/var/log/query_mysql.log }