Chinaunix首页 | 论坛 | 博客
  • 博客访问: 694094
  • 博文数量: 463
  • 博客积分: 40000
  • 博客等级: 大将
  • 技术积分: 4580
  • 用 户 组: 普通用户
  • 注册时间: 2008-10-15 16:47
文章分类

全部博文(463)

文章存档

2011年(1)

2008年(462)

我的朋友

分类:

2008-10-15 16:52:13

       

Oracle text使用标准的sql语言索引、查找、分析存储在oracle数据库、文件或者网络里的文本及文档。 Oracle text能进行关于文档的语言分析,使用多种方法查找文档,包括关键字、上下文查询、逻辑操作、模式匹配、混合主题查询、HTML/XML段落查找等方法。Oracle text在包含文本和结构化的关系属性的混合查询方面具有优越性。

现有文档表ZYCONTENT_TABLE为上载文件的存储表,二进制文件以BLOB类型存储在BLOB_CONTENT列中,oracle text技术提供为BLOB列中的二进制文本文件建立索引的方法,细节如下:

一、准备工作

文档表的模式为ZYFILEUP,文档表为ZYCONTENT_TABLE。文档表定义为:

CREATE TABLE ZYCONTENT_TABLE(
 NAME VARCHAR(128) UNIQUE NOT NULL,
 MIME_TYPE VARCHAR(128),
 DOC_SIZE NUMBER,
 DAD_CHARSET VARCHAR(128),
 LAST_UPDATED DATE,
 CONTENT_TYPE VARCHAR(128),
 CONTENT LONG RAW,
 BLOB_CONTENT BLOB 
);

二、为拥有文档表的模式建立文本索引授权

以system用户连接数据库,为ZYFILEUP授权。

GRANT "CTXAPP" TO "ZYFILEUP";
ALTER USER "ZYFILEUP" DEFAULT ROLE ALL;
GRANT EXECUTE ON "CTXSYS"."CTX_ADM" TO "ZYFILEUP";
GRANT EXECUTE ON "CTXSYS"."CTX_CATSEARCH" TO "ZYFILEUP";
GRANT EXECUTE ON "CTXSYS"."CTX_CONTAINS" TO "ZYFILEUP";
GRANT EXECUTE ON "CTXSYS"."CTX_DDL" TO "ZYFILEUP";
GRANT EXECUTE ON "CTXSYS"."CTX_DOC" TO "ZYFILEUP";
GRANT EXECUTE ON "CTXSYS"."CTX_QUERY" TO "ZYFILEUP";
GRANT EXECUTE ON "CTXSYS"."CTX_ULEXER" TO "ZYFILEUP";
GRANT EXECUTE ON "CTXSYS"."CTX_XPCONTAINS" TO "ZYFILEUP";

三、建立文档表在BLOB_CONTENT列上的索引

以ZYFILEUP用户连接数据库,建立文本索引参考项

begin
ctx_ddl.create_preference(´mylex´,´BASIC_LEXER´);
ctx_ddl.set_attribute(´mylex´,´printjoins´,´_-´);
ctx_ddl.create_preference(´mywordlist´, ´BASIC_WORDLIST´);
ctx_ddl.set_attribute(´mywordlist´,´PREFIX_INDEX´,´TRUE´);
ctx_ddl.set_attribute(´mywordlist´,´PREFIX_MIN_LENGTH´,1);
ctx_ddl.set_attribute(´mywordlist´,´PREFIX_MAX_LENGTH´, 5);
ctx_ddl.set_attribute(´mywordlist´,´SUBSTRING_INDEX´, ´YES´);
end;
begin
ctx_ddl.create_preference(´cnlex´,´CHINESE_LEXER´);
end;

建立索引

drop index i_zycontent_table force;
create index i_zycontent_table 
on zycontent_table(blob_content) 
indextype is ctxsys.context 
parameters (´DATASTORE CTXSYS.DIRECT_DATASTORE 
FILTER CTXSYS.INSO_FILTER 
LEXER ZYFILEUP.CNLEX 
WORDLIST ZYFILEUP.MYWORDLIST´);

 

四、索引同步和删除

同步索引的两种方法:

ALTER INDEX i_zycontent_table REBUILD 
PARAMETERS(´resume memory 20M´); 和
exec ctx_ddl.sync_index
(´i_zycontent_table´, ´20M´); 
删除索引的方法:
drop index i_zycontent_table force;

五、索引功能介绍

1.索引的文件类型

Oracle text可以过滤以及从不同格式的文档里提取内容,它支持150多种文档格式,最常见的MS OFFICE文档、PDF文档等都可由Oracle text来检索。

2.过滤器介绍

对于纯文本文件格式,如TXT、HTML、XML等文件,使用空过滤器,即NULL_FILTER,对于二进制文件,使用INSO_FILTER过滤器,如果文档表的BLOB列中含有二进制文件和纯文本文件,也要用INSO_FILTER过滤器,但最好是把纯文本和二进制文件分开存储和索引。Oracle text还提供包来从二进制文件中提取文本到纯文本文件中。

3.词典

可以定制不同语言的词典,该词典含有同意词和词的级别关系。Oracle text可以提供多语言的最优特性以支持跨越西方语言、日语、朝鲜语、传统和简体中文所写的文档查找。

六、文本查询语句格式

select name from zycontent_table
where contains(blob_content,´教育信息化´,1)>0
order by name;

contains函数提供强大的查询功能,"与"、"或"关系,相近(near ;)和排除(not ~)等功能,更方便的是它还可以根据某一关键词查询不同语种的文本,当然,这要事先设定词典。

七、实际应用中的问题

在我的实际应用中,最常用的是使用Oracle text对Word、Excel、PowerPoint、HTML、PDF等格式的中文文档进行索引,但我发现,无论使用INSO_FILTER还是NULL_FILTER,无论使用BASIC_LEXER还是CHINESE_LEXER,都不能检索RTF格式的文本文档,我在win2000,XP下试验,都没成功,不知什么原因。总体来说,Oracle text的文本检索功能还是相当出色的,它甚至不需要文本文件存储在数据库里,即使存储在操作系统的文件目录里,Oracle text也能在数据库里为文件建立索引



--------------------next---------------------

阅读(295) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~