JAVA高级面试进阶训练营视频教程

admin

在PHP+MySQL构架的网站中，大数据量的全文检索一般都会用到MySQL的FULLTEXT全文索引，通过SELECT...MATCH...AGAINST语句来进行查找。

迄今为止，MySQL对中文全文索引无法正确支持，MySQL是不会识别中文词语的。参照MySQL识别英文单词机制，要建立中文全文索引，暂时的解决方案只有手动将中文分词（以空格的形式将中文词语分开），来将中文转换成MySQL认识的语言。

 

如今网上对于中文分词的解决方案有很多，有基于MySQL插件的，有谈论算法思想的。基于插件（如海量科技的MySQL--LinuxX86-Chinese+，hightman开发的mysql--ft-hightman）的方式主要通过对MySQL数据库安装一个别人提供好的插件，在建FULLTEXT索引的字段时后面加上WITH PARSER ×××（大多都是这样）的形式。而基于算法思想的则大部分工作都要自己完成，但他们的大体思想都差不多：

1. 对插入的要建全文索引的中文数据进行分词；

2. 将原始数据和分词后的数据都存入数据库中，并以某种方式建立联系；

3. 在存储分词数据的字段上建立FULLTEXT索引；

4. 查询时以SELECT...MATCH...AGAINST的方式在分词字段上搜索，将搜到的行通过前面建立的联系找到原始数据行并返回。

 

而我们在讨论解决方案时，考虑到使用开源插件的话可控性比价差，而且插件会对MySQL做一些改变，我们决定将分词存储的工作自己写代码完成，这样虽然工作量加大，但以后的维护成本却降低了很多。下面我们来看下大体实现。

 

 

一、首先，先建立数据库

要注意的是只有MyISAM表类型才能支持FULLTEXT，MyISAM与InnoDB各有优劣，我们决定将原始数据与索引分表存储，原始数据存入InnoDB表，同时建立MyISAM表存入作为检索的字段和用于关联的字段id。这里我建立了两张表questions和questions_idx：

其中，title和detail是要建立全文索引的字段，而id则是建立两张表的联系。值得注意的是，MyISAM是不支持事务和外键的，因此对于两张表数据的同步还要靠额外代码逻辑来实现。

还有就是索引字段有可能需要比原始数据更大的空间，这里我分配了2倍（这个是我随意想的，有可能需要更多）。

 

二、接着，讨论中文分词

网上流传的分词方法有很多，主要有基于算法的（比如二元分词算法，字节交叉切分算法）和基于词库的。基于算法是不必要维护词库的，而词库法则必须维护词库，有可能跟不上词汇的发展。实际上现在很多著名的搜索引擎都使用了多种分词的办法，比如“正向最大匹配”+“逆向最大匹配”，基于统计学的新词识别，自动维护词库等技术。

我们采用的是基于词库的，并且使用了hightman的scws的php扩展模块方式。参考http://www.ftphp.com/scws/ 。这个开源分词系统这里不多说，总之利用的是词库来分词，而且最新版的是支持自定义词库的，这对于我们的内部网站来说，词库的维护问题变得简单了，因为新增词汇不会像外部网站那么大，也不需要维护太多。

 

下面定义了类CWS，方法get_idx将输入中文数据，输出分词并编码后的数据：

 

class CWS {
　　//对输入字符串使用scws进行分词，去重复项，进行urlencode编码
　　public static function get_idx($input) {
　　　　//--------分词-----------
　　　　$so = scws_new();
　　　　$so->set_charset('utf8');
　　　　$so->set_ignore(true);
　　　　$output = '';
　　　　$so->send_text($input);
　　　　while ($tmp = $so->get_result()) {
　　　　　　foreach ($tmp as $item) {
　　　　　　　　$output .= $item['word'] . ' ';
　　　　　　}
　　　　}
　　　　$so->close();
　　　　//--------编码-----------
　　　　$data = array_filter(explode(" ",$output)); //删除数组空项
　　　　$data = array_flip(array_flip($data));      //删除重复项
　　　　//对分词结果进行urlcode编码
　　　　foreach ($data as $ss) {
　　　　　　if (strlen($ss) > 1) {
　　　　　　　　$data_code .= str_replace('%','',urlencode($ss)) . ' ';
　　　　　　}
　　　　}
　　　　return $data_code;
　　}
}

 

对于scws的那段代码请参照scws使用手册。

而对于为什么要进行编码，网上大都解释是：MySQL系统自变量规定了全文检索被编入索引单词的最小长度和最大长度(ft_min_word_len和ft_max_word_len)，默认的最小值为4个字符，默认的最大值取决于使用的 MySQL 版本。 参考http://dev.mysql.com/doc/refman/4.1/en/server-system-variables.html#sysvar_ft_min_word_len 

为了不改变这个默认值同时也是兼考虑这个值对于英文的意义，则需要通过编码将中文词变长。

 

而对于编码，网上流传的方式也有很多，比如base64编码、urlencode编码等，甚至还有汉字转拼音。这里我尝试了urlencode编码，需要注意的是urlencode会产生很多’%’，这在MySQL中是通配符，要去掉。

 

三、插入数据

插入数据的时候我们就要调用以上的函数了：

public function add($title, $detail, $askerid) {
　　$date = NOW;
　　$sql = 'INSERT INTO questions ' .
　　　　　　'(title, detail, askerid, date) ' .
　　　　　　'values ' .
　　　　　　"('$title', '$detail', $askerid, '$date')";
　　$result = $this->db->query($sql);
　　$id = $this->db->lastId();
　　//scws分词存储
　　$title_idx = CWS::get_idx($title);
　　//使用strip_tags函数过滤掉富文本编辑器产生的标签
　　$detail_idx = CWS::get_idx(strip_tags($detail));
　　$sql = 'INSERT INTO questions_idx ' .
　　　　　　'(id, title, detail) ' .
　　　　　　'values ' .
　　　　　　"($id, '$title_idx', '$detail_idx')";
　　$this->db->query($sql);
　　return $result;
}

 

四、搜索数据

搜索的时候，从输入框获取问题，当然如果你输入的是关键词，那就直接搜就是了，但我们是要用户输入的一个完整的问题，因此也要分词，否则MySQL还是检索不到：

public function search($word, $limit) {
    $word = CWS::get_idx($word);
    $sql = "SELECT A.title, A.detail, askerid, date " .
           "FROM questions as A, questions_idx as B " .
           "WHERE A.id = B.id " .
           "AND MATCH (B.title, B.detail) AGAINST ('$word')";
    $result = $this->db->getAll($sql, $limit);
    return $result;
}     

相关资料：

SCWS：http://www.ftphp.com/scws/download.php