分类: LINUX
2010-10-28 12:51:34
SCWS 是 Simple Chinese Words Segmentation 的缩写,即简易中文分词系统。
这是一套基于词频词典的机械中文分词引擎,它能将一整段的汉字基本正确的切分成词。词是汉语的基本语素单位,而书写的时候不像英语会在词之间用空格分开,所以如何准确而又快速的分词一直是中文分词的攻关难点。
SCWS 在概念上并无创新成分,采用的是自行采集的词频词典,并辅以一定程度上的专有名称、人名、地名、数字年代等规则集,经小范围测试大概准确率在 90% ~ 95% 之间,已能基本满足一些中小型搜索引擎、关键字提取等场合运用。 SCWS 采用纯 C 代码开发,以 Unix-Like OS 为主要平台环境,提供共享函数库,方便植入各种现有软件系统。此外它支持 GBK,UTF-8,BIG5 等汉字编码,切词效率高。
下载地址:
wget //源码包
wget //utf8词典,
wget
[root@localhost src]# tar xjvf scws-1.1.3.tar.bz2
[root@localhost src]# cd scws-1.1.3
编译scws:
[root@localhost scws-1.1.3]# ./configure --prefix=/usr/local/scws
[root@localhost scws-1.1.3]# make
[root@localhost scws-1.1.3]# make install
[root@localhost scws-1.1.3]# ls -al /usr/local/scws/lib/libscws.la //看看有没有这个文件,如果有就说明安装成功了。
[root@localhost scws-1.1.3]# /usr/local/scws/bin/scws -h //这个也是看看安装成功了没有,如果看到下面输出,也说明安装成功。
scws (scws-cli/1.1.3)
Simple Chinese Word Segmentation - Command line usage.
Copyright (C)2007 by hightman.
安装中文分词的php扩展:
安装此扩展要求您的 php 和系统环境安装了相应的 autoconf automake 工具及 phpize 。
[root@localhost src]# tar xjvf scws-dict-chs-utf8.tar.bz2 -C /usr/local/scws/etc //把utf8词典安装到scws指定的目录下。
1).进入源码目录的 phpext/ 目录
[root@localhostcd ~]# cd /usr/local/src/scws-1.1.3/phpext/
2).执行 phpize (在PHP安装目录的bin/目录下)
[root@localhost phpext]# /usr/local/php/bin/phpize
#Configuring for:
#PHP Api Version: 20090626
#Zend Module Api No: 20090626
#Zend Extension Api No: 220090626
3).进行编译
[root@localhost phpext]# ./configure --with-scws=/usr/local/scws --with-php-config=/usr/local/php/bin/php-config
[root@localhost phpext]# make
[root@localhost phpext]# make install
4). 找到php.ini的位置,并修改和加入内容
[root@localhost phpext]# vi /usr/local/php/etc/php.ini
找到extension_dir = "./"
修改成extension_dir = ""
在文件的最后面加上
[scws]
extension = scws.so
extension_dir = /usr/local/php/lib/php/extensions/no-debug-non-zts-20060613/
scws.default.charset = utf8
scws.default.fpath = /usr/local/scws/etc
[root@localhost phpext]# /usr/local/php/bin/php -m //执行 php -m 就能看到 scws 了或者在 phpinfo() 中 scws 的相关部分
重启Apache
OK! 查看phpinfo 看看是否有scws ,如果有这个扩展就ok了。