Chinaunix首页 | 论坛 | 博客
  • 博客访问: 1653584
  • 博文数量: 135
  • 博客积分: 2820
  • 博客等级: 少校
  • 技术积分: 2544
  • 用 户 组: 普通用户
  • 注册时间: 2010-09-16 13:33
文章分类

全部博文(135)

文章存档

2015年(1)

2014年(8)

2013年(16)

2012年(43)

2011年(56)

2010年(11)

分类: PHP

2010-10-26 18:15:50

SCWS 是 Simple Chinese Words Segmentation 的缩写,即简易中文分词系统。

这是一套基于词频词典的机械中文分词引擎,它能将一整段的汉字基本正确的切分成词。词是汉语的基本语素单位,而书写的时候不像英语会在词之间用空格分开,所以如何准确而又快速的分词一直是中文分词的攻关难点。

  SCWS 在概念上并无创新成分,采用的是自行采集的词频词典,并辅以一定程度上的专有名称、人名、地名、数字年代等规则集,经小范围测试大概准确率在 90% ~ 95% 之间,已能基本满足一些中小型搜索引擎、关键字提取等场合运用。 SCWS 采用纯 C 代码开发,以 Unix-Like OS 为主要平台环境,提供共享函数库,方便植入各种现有软件系统。此外它支持 GBK,UTF-8,BIG5 等汉字编码,切词效率高。

下载地址:
 wget
   //源码包
 wget
  //utf8词典,
 wget

[root@localhost src]# tar xjvf scws-1.1.3.tar.bz2
[root@localhost src]# cd scws-1.1.3

编译scws:
[root@localhost scws-1.1.3]# ./configure --prefix=/usr/local/scws
[root@localhost scws-1.1.3]# make
[root@localhost scws-1.1.3]# make install

[root@localhost scws-1.1.3]# ls -al /usr/local/scws/lib/libscws.la  //看看有没有这个文件,如果有就说明安装成功了。
[root@localhost scws-1.1.3]# /usr/local/scws/bin/scws -h  //这个也是看看安装成功了没有,如果看到下面输出,也说明安装成功。
scws (scws-cli/1.1.3)
Simple Chinese Word Segmentation - Command line usage.
Copyright (C)2007 by hightman.

安装中文分词的php扩展:
安装此扩展要求您的 php 和系统环境安装了相应的 autoconf automake 工具及 phpize 。

[root@localhost src]# tar xjvf scws-dict-chs-utf8.tar.bz2 -C /usr/local/scws/etc //把utf8词典安装到scws指定的目录下。
1).进入源码目录的 phpext/ 目录
[root@localhostcd ~]# cd /usr/local/src/scws-1.1.3/phpext/
2).执行 phpize (在PHP安装目录的bin/目录下)
[root@localhost phpext]# /usr/local/php/bin/phpize
 #Configuring for: 
 #PHP Api Version:         20090626 
 #Zend Module Api No:      20090626 
 #Zend Extension Api No:   220090626 
3).进行编译
[root@localhost phpext]# ./configure --with-scws=/usr/local/scws --with-php-config=/usr/local/php/bin/php-config
[root@localhost phpext]# make
[root@localhost phpext]# make install
4). 找到php.ini的位置,并修改和加入内容
[root@localhost phpext]# vi /usr/local/php/etc/php.ini
找到extension_dir = "./"

修改成extension_dir = ""

在文件的最后面加上
[scws]
extension = scws.so
extension_dir = /usr/local/php/lib/php/extensions/no-debug-non-zts-20060613/
scws.default.charset = utf8
scws.default.fpath   = /usr/local/scws/etc

[root@localhost phpext]# /usr/local/php/bin/php -m  //执行 php -m 就能看到 scws 了或者在 phpinfo() 中 scws 的相关部分
重启Apache
OK!   查看phpinfo 看看是否有scws ,如果有这个扩展就ok了。

阅读(1822) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~