Chinaunix首页 | 论坛 | 博客

离不开大数据的社会计算lk.blog.chinaunix.net

首页　| 　博文目录　| 　关于我

五岳之巅

  • 博客访问： 4052153
  • 博文数量： 272
  • 博客积分： 7846
  • 博客等级： 少将
  • 技术积分： 6476
  • 用 户 组： 普通用户
  • 注册时间： 2009-08-25 16:27
文章分类

全部博文（272）

我的朋友
最近访客
推荐博文
相关博文
[长篇/原创]为XX总署开发行业OO全文检索数据库（持续进行中）

分类： 系统运维

2011-11-05 21:58:37



    这是知名XX的一个国家级OO，我提供技术支持。需要搜集所有与XX业有关的法律法规，并制作成一个数据库，并留出接口，有可能在官方网站提供该服务。

    中华人民共和国XXXX总署网站使用jsp编写，估计整站架构在J2EE上。对于那个庞大的系统而言，我个人只是个游击队员，做好我的事情，让他们iframe去吧。

    我打算使用Mysql（高于5的版本）+PHP完成。虽说Mysql内部已经支持FullText检索，但对于大量汉字而言，还是很不理想，如果数据量巨大，等待时间会很长。所以在网上搜寻解决方案。看到了Xunsearch的开源项目，看了他们的API，头有点大了，于是再找，所有线索都指向SCWS这个东东。最后突然发现：SCWS就是Xunsearch的爷爷。所以硬着头皮还是自己认真再搞吧。这是项目历史：

  1.     在 Xungle 项目的运作过程中，我们发现还有大量的用户出于各种原因，不得不自行解决搜索技术。此外， 我们发现了国外一个优秀的开源搜索引擎基础库 Xapian，它采用 C/C++ 开发，并且性能卓越，久经考验。 但是并没有整合中文分词，并且开发难度、复杂度也较大。于是我们下决心整合 Xapian 和 Scws，并在此基础上 提供更多、更常用的搜索功能。这就是 Xunsearch ，目前版本发布正在准备中，代码也已托管到 github 中。
    接着看看项目的许可协议，很好，很给力GPL。
  1.     Xunsearch (包含 SDK 在内) 是一个免费开源的全文搜索软件，在以下描述的 GPL 通用许可证的条款下发布。

    首先，我使用的是Win7（32Bit），Xunsearch需要Linux运行环境，正好是我的强项。下载Virtualbox（Opensource的，鄙视日常使用盗版VM）。
    网址是：virtualbox.org
    
    然后去下载CentOS，登陆mirrors.sohu.com，选择合适的版本，我用的可是精简版哦。
    ok，一边下着ISO一边安装并新建一个3G的虚拟机，我不是财迷只分3G空间，我用的是固态硬盘，一共才30个G。再说也没必要弄那么大，我估计2个G就够。建好后如下图：


    接下来就是安装CentOS6。呵呵，固态硬盘真是给力，笔记本2分钟搞定系统安装，真的只有2分钟啊。系统重启，然后就是LAMP罗：
  1.   yum install mysql-server php php-mysql ntsysv
    在YUM的时候错了，闹出了一些小插曲，首先是虚拟机没IP，不知怎么回事，编辑几个文件，设定好。然后设置mirrors.sohu.com的yum源，把mirrors打成了mirror，让我好半天才找到这个错误。

    接着yum install wget，下载xunsearch-full-latest.tar.bz2稳定包，放到/opt下解压。
    郁闷的事来了，告诉我先是没有g++，我就装。又是没有make，我又装。后来告诉我没有c++的编译器。。。晕了，gcc不就能编译c++了么。。。怎么回事，又上网搜。最后找到一个gcc-c++软件包。安装，再次回来执行
  1.     sh setup.sh
    又出问题了，提示我zlib.h没找到。需要安装zlib1g-dev或者zlib-devel包。麻烦的，zlib1g-dev库里没有，安装的是zlib-devel。接着继续编译。千万别在error了，拜托。过了很久、很久，终于装好了。%>_<%

    看来用最小化的CentOS包下载简单，稍复杂点使用的时候就麻烦了。
    使用/opt/bin/xs-ctl.sh start/restart/stop可以开始、重启和关闭。
    按照安装建议，编辑/etc/rc.local文件加入/opt/bin/xs-ctl.sh start。

    后来发现问题，httpd启动了但从WIN7下访问不到。两天后我又重做了系统，按xunsearch的默认目录安装，还是访问不到。弄了半天，才发现Iptalbes给拒绝了。所以关闭iptables。就ok罗。

    现在可以做测试了。vi index.php
    
    结果是这样的：

    看来符合要求。

    后来才发现，在Linux下直接把这个PHP文件当作命令即可：
  1. [root@sm ~]# cd /usr/local/xunsearch/
  2. [root@sm xunsearch]# ls
  3. bin data etc include lib sdk share tmp
  4. [root@sm xunsearch]# ./sdk/php/util/
  5. Indexer.php Quest.php SearchSkel.php XSDataSource.class.php
  6. IniWizzard.php RequiredCheck.php skel/ XSUtil.class.php
  7. [root@sm xunsearch]# ./sdk/php/util/RequiredCheck.php
  8. Xunsearch PHP-SDK 运行需求检查
  9. ==============================

  11. 检查内容
  12. --------

  14. 本程序用于确认您的服务器配置是否能满足运行 Xunsearch PHP-SDK 的要求。
  15. 它将检查服务器所运行的 PHP 版本，查看是否安装了合适的PHP扩展模块，以及
  16. 确认 php.ini 文件是否正确设置。

  18. +------------+------------+--------------------------+--------------------------------+
  19. | 项目 | 结果 | 用于 | 备注 |
  20. +------------+------------+--------------------------+--------------------------------+
  21. | PHP 版本 | 5.3.8 | XS(core) | PHP 5.2.0 或更高版本是必须的。 |
  22. | SPL 扩展 | OK | XS(core) | SPL 扩展用于自动加载和对象戏法 |
  23. | PCRE 扩展 | OK | XSDocument, XSSearch | 用于字符串切割、判断 |
  24. | 编码转换 | mbstring | XSDocument, XSSearch | 用于支持非 UTF-8 字符集 |
  25. | 缓存模块 | WARNING | XS | 用于缓存项目配置文件的解析结果 |
  26. | JSON 扩展 | OK | util.Quest, util.Indexer | 用于读取或输出 JSON 格式的数据 |
  27. | XML 扩展 | OK | util.Indexer | 用于读取导入 XML 格式的数据 |
  28. | MySQL 扩展 | mysql | util.Indexer | 用于读取导入 MySQL 的数据库 |
  29. | SQLite 扩 | sqlite | util.Indexer | 用于读取导入 SQLite 的数据库 |
  30. +------------+------------+--------------------------+--------------------------------+

  32. 检查结果
  33. --------

  35. 共计 8 项通过，1 项警告，0 项错误。

  37. 您的服务器配置符合 Xunsearch/PHP-SDK 的最低要求。
  38. 如果您需要使用特定的功能，请关注上述的 WARNING 项。
  39. [root@sm xunsearch]# ls
  40. bin data etc include lib sdk share tmp
  41. [root@sm xunsearch]# ./bin/xs-ctl.sh restart
  42. INFO: stopping server[xs-indexd] (BIND:127.0.0.1:8383) .... [OK]
  43. INFO: re-starting server[xs-indexd] ... (BIND:127.0.0.1:8383)
  44. INFO: stopping server[xs-searchd] (BIND:127.0.0.1:8384) .... [OK]
  45. INFO: re-starting server[xs-searchd] ... (BIND:127.0.0.1:8384)
  46. ./bin/xs-ctl.sh: line 71: 5576 段错误 bin/xs-searchd -l tmp/searchd.log -b $bsearch -k $cmd
  47. [root@sm xunsearch]# ls
  48. bin data etc include lib sdk share tmp
  49. [root@sm xunsearch]# ll
  50. 总计 32
  51. drwxr-xr-x 2 root root 4096 12-01 21:46 bin
  52. drwxr-xr-x 2 root root 4096 12-01 21:46 data
  53. drwxr-xr-x 2 root root 4096 12-01 21:45 etc
  54. drwxr-xr-x 4 root root 4096 12-01 21:45 include
  55. drwxr-xr-x 3 root root 4096 12-01 21:45 lib
  56. drwxr-xr-x 3 root root 4096 12-01 21:46 sdk
  57. drwxr-xr-x 5 root root 4096 12-01 21:44 share
  58. drwxr-xr-x 2 root root 4096 12-01 22:13 tmp
  59. [root@sm xunsearch]# ls data/
  60. [root@sm xunsearch]# ls tmp/
  61. indexd.log pid.127_0_0_1_8383 pid.127_0_0_1_8384 searchd.log
  62. [root@sm xunsearch]# cat tmp/searchd.log
  63. 2011-12-01 22:13:48 searchd[26192] caught system exceptional signal[11], terminate immediately
  64. 2011-12-01 22:13:48 searchd[26194] bind() or listen() failed, error: Address already in use(#98)
  65. 2011-12-01 22:13:48 searchd[26194] socket server listen/bind failed
  66. 2011-12-01 22:17:06 searchd[5103] caught system exceptional signal[11], terminate immediately
  67. 2011-12-01 22:17:06 searchd[5105] succesful to spawn child worker[1] process (PID:5106)
  68. 2011-12-01 22:17:06 searchd[5105] succesful to spawn child worker[2] process (PID:5107)
  69. 2011-12-01 22:17:06 searchd[5105] succesful to spawn child worker[3] process (PID:5108)
  70. 2011-12-01 22:17:06 ~master[5105] search server is ready for waiting system signal (WORKER_NUM:3)
  71. 2011-12-01 22:17:06 worker1[5106] I came, happy to meet you
  72. 2011-12-01 22:17:06 worker1[5106] init the thread pool
  73. 2011-12-01 22:17:06 worker2[5107] I came, happy to meet you
  74. 2011-12-01 22:17:06 worker2[5107] init the thread pool
  75. 2011-12-01 22:17:06 worker3[5108] I came, happy to meet you
  76. 2011-12-01 22:17:06 worker3[5108] init the thread pool
  77. 2011-12-01 22:17:06 worker1[5106] event server start (FLAG:0x0004)
  78. 2011-12-01 22:17:06 worker2[5107] event server start (FLAG:0x0004)
  79. 2011-12-01 22:17:06 worker3[5108] event server start (FLAG:0x0004)
  80. 2011-12-01 22:21:07 ~master[5105] caught SIGINT, shutdown gracefully
  81. 2011-12-01 22:21:07 ~master[5105] broadcast exit signal[2] to all worker processes
  82. 2011-12-01 22:21:07 worker1[5106] caught SIGINT, shutdown gracefully
  83. 2011-12-01 22:21:07 worker1[5106] NULL connection pointer received, server quit gracefully
  84. 2011-12-01 22:21:07 worker1[5106] event server end
  85. 2011-12-01 22:21:07 worker1[5106] deinit the thread pool
  86. 2011-12-01 22:21:07 worker2[5107] caught SIGINT, shutdown gracefully
  87. 2011-12-01 22:21:07 worker2[5107] NULL connection pointer received, server quit gracefully
  88. 2011-12-01 22:21:07 worker2[5107] event server end
  89. 2011-12-01 22:21:07 worker2[5107] deinit the thread pool
  90. 2011-12-01 22:21:07 worker3[5108] caught SIGINT, shutdown gracefully
  91. 2011-12-01 22:21:07 worker3[5108] NULL connection pointer received, server quit gracefully
  92. 2011-12-01 22:21:07 worker3[5108] event server end
  93. 2011-12-01 22:21:07 worker3[5108] deinit the thread pool
  94. 2011-12-01 22:21:07 ~master[5105] child process worker[2] exit (PID:5107, STATUS:0)
  95. 2011-12-01 22:21:07 ~master[5105] child process worker[1] exit (PID:5106, STATUS:0)
  96. 2011-12-01 22:21:07 ~master[5105] child process worker[3] exit (PID:5108, STATUS:0)
  97. 2011-12-01 22:21:07 ~master[5105] byebye, I should exit now
  98. 2011-12-01 22:21:08 searchd[5576] caught system exceptional signal[11], terminate immediately
  99. 2011-12-01 22:21:08 searchd[5578] succesful to spawn child worker[1] process (PID:5579)
  100. 2011-12-01 22:21:08 searchd[5578] succesful to spawn child worker[2] process (PID:5580)
  101. 2011-12-01 22:21:08 searchd[5578] succesful to spawn child worker[3] process (PID:5581)
  102. 2011-12-01 22:21:08 ~master[5578] search server is ready for waiting system signal (WORKER_NUM:3)
  103. 2011-12-01 22:21:08 worker1[5579] I came, happy to meet you
  104. 2011-12-01 22:21:08 worker1[5579] init the thread pool
  105. 2011-12-01 22:21:08 worker1[5579] event server start (FLAG:0x0004)
  106. 2011-12-01 22:21:08 worker2[5580] I came, happy to meet you
  107. 2011-12-01 22:21:08 worker2[5580] init the thread pool
  108. 2011-12-01 22:21:08 worker3[5581] I came, happy to meet you
  109. 2011-12-01 22:21:08 worker3[5581] init the thread pool
  110. 2011-12-01 22:21:08 worker2[5580] event server start (FLAG:0x0004)
  111. 2011-12-01 22:21:08 worker3[5581] event server start (FLAG:0x0004)
  112. [root@sm xunsearch]# ./bin/xs-ctl.sh restart
  113. INFO: stopping server[xs-indexd] (BIND:127.0.0.1:8383) .... [OK]
  114. INFO: re-starting server[xs-indexd] ... (BIND:127.0.0.1:8383)
  115. INFO: stopping server[xs-searchd] (BIND:127.0.0.1:8384) .... [OK]
  116. INFO: re-starting server[xs-searchd] ... (BIND:127.0.0.1:8384)
  117. [root@sm xunsearch]# ls
  118. bin data etc include lib sdk share tmp
  119. [root@sm xunsearch]# ./sdk/php/util/Indexer.php --source=csv --clean demo
  120. 清空现有索引数据 ...
  121. 初始化数据源 ... csv
  122. WARNING: input file not specified, read data from <STDIN>
  123. 开始批量导入数据 (请直接输入数据) ...
  124. 1,关于 xunsearch 的 DEMO 项目测试,项目测试是一个很有意思的行为！,1314336158
  125. 2,测试第二篇,这里是第二篇文章的内容,1314336160
  126. 3,项目测试第三篇,俗话说，无三不成礼，所以就有了第三篇,1314336168
  127. INFO: reach end of file or error occured, total lines: 3
  128. 完成索引导入：成功 3 条，失败 0 条
  129. 刷新索引提交 ...
  130. [root@sm xunsearch]#
    接着做测试：
  1. [root@sm xunsearch]# ./sdk/php/util/Quest.php demo 项目
  2. 在 3 条数据中，大约有 2 条包含 项目 ，第 1-2 条，用时：0.0307 秒。

  4. 1. 项目测试第三篇 #3# [100%]
  5. 俗话说，无三不成礼，所以就有了第三篇
  6. Chrono:1.31434e+09

  8. 2. 关于 xunsearch 的 DEMO 项目测试 #1# [98%]
  9. 项目测试是一个很有意思的行为！
  10. Chrono:1.31434e+09

  12. [root@sm xunsearch]# ./sdk/php/util/Quest.php demo 测试
  13. 在 3 条数据中，大约有 3 条包含 测试 ，第 1-3 条，用时：0.0071 秒。

  15. 1. 测试第二篇 #2# [100%]
  16. 这里是第二篇文章的内容
  17. Chrono:1.31434e+09

  19. 2. 项目测试第三篇 #3# [97%]
  20. 俗话说，无三不成礼，所以就有了第三篇
  21. Chrono:1.31434e+09

  23. 3. 关于 xunsearch 的 DEMO 项目测试 #1# [96%]
  24. 项目测试是一个很有意思的行为！
  25. Chrono:1.31434e+09

  27. [root@sm xunsearch]#
    其实，已经能够看到返回结果了。效果还不错。这个Demo展示了xunsearch的主要功能。最后看一下这个Demo的ini配置文件：
  1. [root@sm xunsearch]# cat ./sdk/php/app/demo.ini
  2. project.name = demo
  3. project.default_charset = utf-8
  4. server.index = 8383
  5. server.search = 8384

  7. [pid]
  8. type = id

  10. [subject]
  11. type = title

  13. [message]
  14. type = body

  16. [chrono]
  17. type = numeric

  19. [root@sm xunsearch]#
    其中8383是索引服务端口，8384是搜索服务端口。这两个端口一定都得正常运行才能提供有效服务。
    接下来，测试字段和布尔搜索功能：

  1. [root@sm xunsearch]# ./sdk/php/util/Indexer.php --flush-log demo
  2. 刷新搜索日志 ...
  3. 成功，注意：后台更新需要一些时间，并不是真正立即完成。
  4. [root@sm xunsearch]# ./sdk/php/util/Quest.php demo subject:测试
  5. 在 3 条数据中，大约有 3 条包含 subject:测试 ，第 1-3 条，用时：0.0095 秒。

  7. 1. 测试第二篇 #2# [100%]
  8. 这里是第二篇文章的内容
  9. Chrono:1.31434e+09

  11. 2. 项目测试第三篇 #3# [97%]
  12. 俗话说，无三不成礼，所以就有了第三篇
  13. Chrono:1.31434e+09

  15. 3. 关于 xunsearch 的 DEMO 项目测试 #1# [93%]
  16. 项目测试是一个很有意思的行为！
  17. Chrono:1.31434e+09

  19. [root@sm xunsearch]# ./sdk/php/util/Quest.php demo pid:2
  20. 在 3 条数据中，大约有 1 条包含 pid:2 ，第 1-1 条，用时：0.0060 秒。

  22. 1. 测试第二篇 #2# [100%]
  23. 这里是第二篇文章的内容
  24. Chrono:1.31434e+09

  26. [root@sm xunsearch]# ./sdk/php/util/Quest.php demo "第三篇 OR pid:1"
  27. 在 3 条数据中，大约有 2 条包含 第三篇 OR pid:1 ，第 1-2 条，用时：0.0066 秒。

  29. 1. 项目测试第三篇 #3# [100%]
  30. 俗话说，无三不成礼，所以就有了第三篇
  31. Chrono:1.31434e+09

  33. 2. 关于 xunsearch 的 DEMO 项目测试 #1# [0%]
  34. 项目测试是一个很有意思的行为！
  35. Chrono:1.31434e+09

  37. 相关搜索：第三

  39. [root@sm xunsearch]# ./sdk/php/util/Quest.php demo "第三篇 or pid:1"
  40. 在 3 条数据中，大约有 0 条包含 第三篇 or pid:1 ，第 0-0 条，用时：0.0056 秒。

  42. 相关搜索：第三

  44. [root@sm xunsearch]#
    这是再测试一下日志相关的搜索情况，其中 --suggest 是搜索建议，当用户敲入少许汉字或字母时给出相应的关键词建议（常用于搜索输入框下拉自动提示），而 --related 表示相关搜索、--hot 表示热门搜索、 --correct 表示搜索纠错。

    现在还暂时不涉及到编程，估计下一步就开始做开发了。但毕竟弄懂原理是第一位的。











阅读(3534) | 评论(0) | 转发(0) |
0

上一篇：[有图有真相]写在三十岁生日之际：技术人的非技术之惑

下一篇：正在看《老狐狸米卢》

给主人留下些什么吧！~~
关于我们 | 关于IT168 | 联系方式 | 广告合作 | 法律声明 | 免费注册

Copyright 2001-2010 ChinaUnix.net All Rights Reserved 北京皓辰网域网络信息技术有限公司. 版权所有

感谢所有关心和支持过ChinaUnix的朋友们

16024965号-6