Chinaunix首页 | 论坛 | 博客
  • 博客访问: 2593963
  • 博文数量: 2110
  • 博客积分: 18861
  • 博客等级: 上将
  • 技术积分: 24420
  • 用 户 组: 普通用户
  • 注册时间: 2008-04-05 18:23
文章分类

全部博文(2110)

文章存档

2011年(139)

2010年(1971)

我的朋友

分类: LINUX

2010-10-28 12:51:34

 SCWS 是 Simple Chinese Words Segmentation 的缩写,即简易中文分词系统。

  这是一套基于词频词典的机械中文分词引擎,它能将一整段的汉字基本正确的切分成词。词是汉语的基本语素单位,而书写的时候不像英语会在词之间用空格分开,所以如何准确而又快速的分词一直是中文分词的攻关难点。

  SCWS 在概念上并无创新成分,采用的是自行采集的词频词典,并辅以一定程度上的专有名称、人名、地名、数字年代等规则集,经小范围测试大概准确率在 90% ~ 95% 之间,已能基本满足一些中小型搜索引擎、关键字提取等场合运用。 SCWS 采用纯 C 代码开发,以 Unix-Like OS 为主要平台环境,提供共享函数库,方便植入各种现有软件系统。此外它支持 GBK,UTF-8,BIG5 等汉字编码,切词效率高。

  下载地址:

  wget    //源码包

  wget   //utf8词典,

  wget

  [root@localhost src]# tar xjvf scws-1.1.3.tar.bz2

  [root@localhost src]# cd scws-1.1.3

  编译scws:

  [root@localhost scws-1.1.3]# ./configure --prefix=/usr/local/scws

  [root@localhost scws-1.1.3]# make

  [root@localhost scws-1.1.3]# make install

  [root@localhost scws-1.1.3]# ls -al /usr/local/scws/lib/libscws.la  //看看有没有这个文件,如果有就说明安装成功了。

  [root@localhost scws-1.1.3]# /usr/local/scws/bin/scws -h  //这个也是看看安装成功了没有,如果看到下面输出,也说明安装成功。

  scws (scws-cli/1.1.3)

  Simple Chinese Word Segmentation - Command line usage.

  Copyright (C)2007 by hightman.

  安装中文分词的php扩展:

  安装此扩展要求您的 php 和系统环境安装了相应的 autoconf automake 工具及 phpize 。

  [root@localhost src]# tar xjvf scws-dict-chs-utf8.tar.bz2 -C /usr/local/scws/etc //把utf8词典安装到scws指定的目录下。

  1).进入源码目录的 phpext/ 目录

  [root@localhostcd ~]# cd /usr/local/src/scws-1.1.3/phpext/

  2).执行 phpize (在PHP安装目录的bin/目录下)

  [root@localhost phpext]# /usr/local/php/bin/phpize

  #Configuring for:

  #PHP Api Version:         20090626

  #Zend Module Api No:      20090626

  #Zend Extension Api No:   220090626

  3).进行编译

  [root@localhost phpext]# ./configure --with-scws=/usr/local/scws --with-php-config=/usr/local/php/bin/php-config

  [root@localhost phpext]# make

  [root@localhost phpext]# make install

  4). 找到php.ini的位置,并修改和加入内容

  [root@localhost phpext]# vi /usr/local/php/etc/php.ini

  找到extension_dir = "./"

  修改成extension_dir = ""

  在文件的最后面加上

  [scws]

  extension = scws.so

  extension_dir = /usr/local/php/lib/php/extensions/no-debug-non-zts-20060613/

  scws.default.charset = utf8

  scws.default.fpath   = /usr/local/scws/etc

  [root@localhost phpext]# /usr/local/php/bin/php -m  //执行 php -m 就能看到 scws 了或者在 phpinfo() 中 scws 的相关部分

  重启Apache

  OK!   查看phpinfo 看看是否有scws ,如果有这个扩展就ok了。

阅读(379) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~