在 Xunsearch 使用 SCWS

为了便于用户在安装完 Xunsearch 后可以通过服务端内置的 scws[1] 实现分词,而不需要另外再安装 scws 的 php 扩展。从 1.3.1 版本起,Xunsearch 的 PHP-SDK 中加入 XSTokenizerScws 类,可通过搜索服务端执行分词功能。1. 用法简单说明这儿只做简单介绍和示范,更多详细的用法请点击阅读类参考手册 XSTokenizerScws

创建分词对象

  1. $xs = new XS(...); // 必须先创建一个 xs 实例,否则会抛出异常
  2. $tokenizer = new XSTokenizerScws; // 直接创建实例

获取分词结果

调用 XSTokenizerScws::getResult 对参数指定的文本字符串执行分词,并返回词汇数组,每个词汇包含 3 个元素,其中:

  • off 表示这个词汇在源参数文本 $text 中的起始偏移位置
  • attr 这个词汇的词性,使用北大标注
  • word 分好的词条
  1. $text = '迅搜(xunsearch)是优秀的开源全文检索解决方案';
  2. $words = $tokenizer->getResult($text);
  3. print_r($words);

提取重要词汇

调用 XSToenizerScws::getTops 可以简单提取重要词汇,它支持三个参数,返回的词汇数组元素和分词结果类似,只是把 off 替换为 times 表示这个词在文本中出现的总次数。

  1. $text = '迅搜(xunsearch)是优秀的开源全文检索解决方案';
  2. // 提取前 5 个重要词,要求词性必须是 n 或v 或 vn
  3. $tops = $tokenizer->getTops($text, 5, 'n,v,vn');
  4. print_r($tops);

判断是否包含指定词性的词汇

这项功能通过 XSTokenizerScws::hasWord 完成,主要目的是用于类似黑词判断。您可以自制一个词典,并将黑词统一设置为一个独特的属性,比如 "@",那么就可以用该功能判断一段文本是否包含黑词。

  1. $text = '...';
  2. if ($tokenizer->hasWord($text, '@')) {
  3. // 包含词性为 '@' 的词
  4. }
  5. else {
  6. // 为包含词性为 '@' 的词
  7. }

2. 使用注意事项

  • 这个分词类底层实现是与搜索服务端通讯完成的,因此在使用前必须先初始化一个 XS 对象

  • 这个分词器虽然实现了 XSTokenizer::getTokens,但不推荐直接指定到配置文件的tokenizer 选项中,因为这样做只会让性能更低。