Chinaunix首页 | 论坛 | 博客

进步每一天pamire.blog.chinaunix.net

首页　| 　博文目录　| 　关于我

pamire

  • 博客访问： 2708328
  • 博文数量： 416
  • 博客积分： 10220
  • 博客等级： 上将
  • 技术积分： 4193
  • 用 户 组： 普通用户
  • 注册时间： 2006-12-15 09:47
文章分类

全部博文（416）

文章存档

2022年（1）

2021年（1）

2020年（1）

2019年（5）

2018年（7）

2017年（6）

2016年（7）

2015年（11）

2014年（1）

2012年（5）

2011年（7）

2010年（35）

2009年（64）

2008年（48）

2007年（177）

2006年（40）

我的朋友
最近访客
推荐博文
(转载)ICTCLAS中数据结构

分类：

2006-12-15 10:22:55

struct tagWordResult{

  char sWord[WORD_MAXLENGTH];

  int nHandle;

  double  dValue;

};

typedef struct tagWordResult WORD_RESULT,*PWORD_RESULT;

struct tagWordItem{

     int nWordLen;

     char *sWord;

     int nHandle;

     int  nFrequency;

};

typedef struct tagWordItem WORD_ITEM,*PWORD_ITEM;

struct tagIndexTable{

    int nCount;

    PWORD_ITEM pWordItemHead;

    

};

typedef struct tagIndexTable INDEX_TABLE;

struct tagWordChain{

       WORD_ITEM data;

       struct tagWordChain *next;

};

typedef struct tagWordChain WORD_CHAIN,*PWORD_CHAIN;

struct tagModifyTable{

    int nCount;

     int nDelete;

     PWORD_CHAIN pWordItemHead;

};

typedef struct tagModifyTable MODIFY_TABLE,*PMODIFY_TABLE;

struct tagQueueElem{

    unsigned int nParent;

     unsigned int nIndex;//在父结点中的索引值

     ELEMENT_TYPE eWeight;

    struct tagQueueElem *next;

};

typedef struct tagQueueElem QUEUE_ELEMENT,*PQUEUE_ELEMENT;

struct tagArrayChain{

     unsigned int col,row;

    ELEMENT_TYPE value;

     int nPOS;

     int nWordLen;

     char *sWord;

    struct tagArrayChain *next;

};

typedef struct tagArrayChain ARRAY_CHAIN,*PARRAY_CHAIN;

struct tagContext{

     int nKey;

     int **aContextArray;

     int *aTagFreq;

     int nTotalFreq;

     struct tagContext *next;

};

typedef struct tagContext MYCONTEXT,*PMYCONTEXT;

 

将ICTCLAS中的coreDict.dct词典文件导出,可以看到如下格式:(仅仅摘录一个小片断,我对原来的词典进行了一部分说明性加工,目的仅仅在于了解其构造格式)

Block 0 啊 (176,161)
  WordTtem Count:4
                             Frequency:   3  Handle:  25856  WordLen:  0
                             Frequency:  69  Handle:  30976  WordLen:  0
                         呀  Frequency:   0  Handle:  25856  WordLen:  2
                         哟  Frequency:   0  Handle:  25856  WordLen:  2
_____________________________________________________________________________
Block 1 阿 (176,162)
  WordTtem Count:133
                             Frequency:   0  Handle:  26624  WordLen:  0
                             Frequency:  94  Handle:  27136  WordLen:  0
                       巴鸟  Frequency:   0  Handle:  28160  WordLen:  4
                         坝  Frequency:   0  Handle:  28275  WordLen:  2
                         爸  Frequency:   0  Handle:  28160  WordLen:  2
                       比让  Frequency:   6  Handle:  28275  WordLen:  4
                     比让市  Frequency:   1  Handle:  28275  WordLen:  6
                       比托  Frequency:   4  Handle:  28275  WordLen:  4
                       波罗  Frequency:   1  Handle:  28274  WordLen:  4
                       波罗  Frequency:   1  Handle:  28282  WordLen:  4
                       伯丁  Frequency:   0  Handle:  28160  WordLen:  4
                     布迪斯  Frequency:   0  Handle:  28275  WordLen:  6
                     布哈兹  Frequency:  20  Handle:  28275  WordLen:  6
                       布贾  Frequency:   0  Handle:  28275  WordLen:  4
                   布穆萨岛  Frequency:   0  Handle:  28275  WordLen:  8
                     布扎比  Frequency:   1  Handle:  28274  WordLen:  6
                     布扎比  Frequency:   4  Handle:  28275  WordLen:  6
                         部  Frequency:   0  Handle:  28274  WordLen:  2
                       昌族  Frequency:   1  Handle:  28282  WordLen:  4
                         城  Frequency:   0  Handle:  28275  WordLen:  2
                       城市  Frequency:   0  Handle:  28275  WordLen:  4
                       达纳  Frequency:   0  Handle:  28275  WordLen:  4
                     德莱德  Frequency:   0  Handle:  28275  WordLen:  6
                     迪达斯  Frequency:   4  Handle:  28282  WordLen:  6
                         弟  Frequency:   0  Handle:  28160  WordLen:  2
                         爹  Frequency:   0  Handle:  28160  WordLen:  2
                         斗  Frequency:   0  Handle:  28160  WordLen:  2
                         斗  Frequency:   0  Handle:  28274  WordLen:  2
                   尔巴尼亚  Frequency:  19  Handle:  28275  WordLen:  8
                 尔巴尼亚族  Frequency:   1  Handle:  28282  WordLen: 10
                     尔卑斯  Frequency:   0  Handle:  28275  WordLen:  6
                   尔卑斯山  Frequency:   0  Handle:  28275  WordLen:  8
                   尔卑斯省  Frequency:   0  Handle:  28275  WordLen:  8
                     尔贝德  Frequency:   0  Handle:  28282  WordLen:  6
                   尔贝维尔  Frequency:   1  Handle:  28275  WordLen:  8
                 尔德亚迪纳  Frequency:   0  Handle:  28275  WordLen: 10
                       尔法  Frequency:   0  Handle:  28274  WordLen:  4
                       尔法  Frequency:   1  Handle:  28282  WordLen:  4
                   尔法粒子  Frequency:   2  Handle:  28160  WordLen:  8
                     尔及尔  Frequency:  12  Handle:  28275  WordLen:  6
                   尔及利亚  Frequency:  57  Handle:  28275  WordLen:  8
                       尔派  Frequency:   0  Handle:  28282  WordLen:  4
                     尔萨斯  Frequency:   0  Handle:  28275  WordLen:  6
                       尔山  Frequency:   0  Handle:  28275  WordLen:  4
                     尔托夫  Frequency:   0  Handle:  28160  WordLen:  6
                         方  Frequency:   3  Handle:  28160  WordLen:  2
                         方  Frequency:   0  Handle:  28274  WordLen:  2
                       房宫  Frequency:   0  Handle:  28275  WordLen:  4
                         飞  Frequency:   0  Handle:  28160  WordLen:  2
                       富汗  Frequency:  14  Handle:  28275  WordLen:  4
                         哥  Frequency:   1  Handle:  28160  WordLen:  2
                       根廷  Frequency:  37  Handle:  28275  WordLen:  4
                 根廷共和国  Frequency:   0  Handle:  28275  WordLen: 10
                     根廷湖  Frequency:   0  Handle:  28275  WordLen:  6
                         胶  Frequency:   0  Handle:  28160  WordLen:  2
                         姐  Frequency:   0  Handle:  28160  WordLen:  2
                     科松博  Frequency:   0  Handle:  28275  WordLen:  6
                       克拉  Frequency:   0  Handle:  28275  WordLen:  4
                     克莫拉  Frequency:   5  Handle:  28275  WordLen:  6
                       克苏  Frequency:   0  Handle:  28275  WordLen:  4
                     克苏河  Frequency:   0  Handle:  28275  WordLen:  6
                       肯色  Frequency:   0  Handle:  28275  WordLen:  4
                     肯色州  Frequency:   0  Handle:  28275  WordLen:  6
                       拉伯  Frequency:  86  Handle:  28275  WordLen:  4
                       拉伯  Frequency:   0  Handle:  28282  WordLen:  4
             拉伯埃及共和国  Frequency:   0  Handle:  28275  WordLen: 14
                     拉伯胶  Frequency:   0  Handle:  28160  WordLen:  6
                     拉伯文  Frequency:   0  Handle:  28282  WordLen:  6
           拉伯叙利亚共和国  Frequency:   0  Handle:  28275  WordLen: 16
                     拉伯语  Frequency:   0  Handle:  28282  WordLen:  6
                 拉胡埃拉湖  Frequency:   0  Handle:  28275  WordLen: 10
                     拉木图  Frequency:  13  Handle:  28275  WordLen:  6
                   拉木图市  Frequency:   0  Handle:  28275  WordLen:  8
                       拉善  Frequency:   1  Handle:  28275  WordLen:  4
                     拉善盟  Frequency:   0  Handle:  28275  WordLen:  6
                     拉斯加  Frequency:   0  Handle:  28275  WordLen:  6
                       劳龟  Frequency:   0  Handle:  28160  WordLen:  4
                       勒泰  Frequency:   0  Handle:  28275  WordLen:  4
                         里  Frequency:   9  Handle:  28275  WordLen:  2
                       里安  Frequency:   2  Handle:  28282  WordLen:  4
                       里山  Frequency:   0  Handle:  28275  WordLen:  4
                       联酋  Frequency:   6  Handle:  28275  WordLen:  4
                       鲁巴  Frequency:   0  Handle:  28275  WordLen:  4
                     鲁巴岛  Frequency:   0  Handle:  28275  WordLen:  6
                       鲁沙  Frequency:   0  Handle:  28275  WordLen:  4
                     鲁沙省  Frequency:   0  Handle:  28275  WordLen:  6
                         妈  Frequency:   1  Handle:  28160  WordLen:  2
                         曼  Frequency:   0  Handle:  28275  WordLen:  2
                   曼苏丹国  Frequency:   0  Handle:  28275  WordLen:  8
                       曼湾  Frequency:   0  Handle:  28160  WordLen:  4
                     美利加  Frequency:   0  Handle:  28160  WordLen:  6
                         妹  Frequency:   0  Handle:  28160  WordLen:  2
                         盟  Frequency:  15  Handle:  27136  WordLen:  2
                         盟  Frequency:   1  Handle:  28275  WordLen:  2
                         盟  Frequency:   1  Handle:  28282  WordLen:  2
                     弥陀佛  Frequency:   0  Handle:  28160  WordLen:  6
                       米巴  Frequency:   0  Handle:  28160  WordLen:  4
                     摩尼亚  Frequency:   0  Handle:  28160  WordLen:  6
                   姆斯特丹  Frequency:   1  Handle:  28275  WordLen:  8
                     纳多卢  Frequency:   0  Handle:  28282  WordLen:  6
                       皮亚  Frequency:   0  Handle:  28160  WordLen:  4
                       片肽  Frequency:   2  Handle:  28282  WordLen:  4
                         婆  Frequency:   1  Handle:  28160  WordLen:  2
                   其克谷地  Frequency:   3  Handle:  28275  WordLen:  8
                       萨伊  Frequency:   0  Handle:  28282  WordLen:  4
                     萨伊果  Frequency:   0  Handle:  28160  WordLen:  6
                     塞拜疆  Frequency:   4  Handle:  28275  WordLen:  6
               塞拜疆共和国  Frequency:   0  Handle:  28275  WordLen: 12
                       瑟港  Frequency:   0  Handle:  28275  WordLen:  4
                   什哈巴德  Frequency:   3  Handle:  28275  WordLen:  8
                         式  Frequency:   2  Handle:  25088  WordLen:  2
                       是穴  Frequency:   0  Handle:  28160  WordLen:  4
                     斯马拉  Frequency:   0  Handle:  28275  WordLen:  6
                     斯匹林  Frequency:   0  Handle:  28160  WordLen:  6
                     斯塔纳  Frequency:   0  Handle:  28275  WordLen:  6
                       斯旺  Frequency:   0  Handle:  28275  WordLen:  4
                     司匹林  Frequency:   0  Handle:  28160  WordLen:  6
                         嚏  Frequency:   0  Handle:  28416  WordLen:  2
                       通社  Frequency:   2  Handle:  27136  WordLen:  4
                       通社  Frequency:   0  Handle:  28276  WordLen:  4
                       图什  Frequency:   0  Handle:  28160  WordLen:  4
                       托品  Frequency:   0  Handle:  28160  WordLen:  4
                     维亚诺  Frequency:   0  Handle:  28275  WordLen:  6
                         姨  Frequency:   5  Handle:  28160  WordLen:  2
                       尤恩  Frequency:   0  Handle:  28160  WordLen:  4
                         约  Frequency:   0  Handle:  27136  WordLen:  2
                     扎尼亚  Frequency:   0  Handle:  28160  WordLen:  6
                         族  Frequency:   0  Handle:  27136  WordLen:  2
                         族  Frequency:   0  Handle:  28282  WordLen:  2
                         訇  Frequency:   0  Handle:  28160  WordLen:  2
                     谀逢迎  Frequency:   0  Handle:  26880  WordLen:  6
                     谀奉承  Frequency:   0  Handle:  26880  WordLen:  6
                         囡  Frequency:   0  Handle:  28160  WordLen:  2
_____________________________________________________________________________
Block 2 埃 (176,163)
  WordTtem Count:19
                             Frequency:   4  Handle:  27136  WordLen:  0
                             Frequency:   0  Handle:  28928  WordLen:  0
                         镑  Frequency:   4  Handle:  28160  WordLen:  2
                         镑  Frequency:   9  Handle:  28928  WordLen:  2
                       菲尔  Frequency:   0  Handle:  28282  WordLen:  4
                         及  Frequency:  56  Handle:  28275  WordLen:  2
                       克森  Frequency:   1  Handle:  28282  WordLen:  4
                     拉特湾  Frequency:   0  Handle:  28275  WordLen:  6
                       里温  Frequency:   0  Handle:  28275  WordLen:  4
                     默鲁市  Frequency:   0  Handle:  28275  WordLen:  6
                         塞  Frequency:   0  Handle:  27136  WordLen:  2
                   塞俄比亚  Frequency:   2  Handle:  28275  WordLen:  8
     塞俄比亚联邦民主共和国  Frequency:   0  Handle:  28275  WordLen: 22
                       塞萨  Frequency:   0  Handle:  28282  WordLen:  4
                       舍德  Frequency:   0  Handle:  28275  WordLen:  4
                     斯特角  Frequency:   0  Handle:  28275  WordLen:  6
                       松省  Frequency:   0  Handle:  28275  WordLen:  4
                       特纳  Frequency:   3  Handle:  28275  WordLen:  4
                     因霍温  Frequency:   0  Handle:  28275  WordLen:  6
_____________________________________________________________________________
Block 3 挨 (176,164)
  WordTtem Count:16
                             Frequency:   8  Handle:  30208  WordLen:  0
                         次  Frequency:   0  Handle:  25600  WordLen:  2
                         打  Frequency:   2  Handle:  30208  WordLen:  2
                         冻  Frequency:   1  Handle:  30208  WordLen:  2
                         斗  Frequency:   0  Handle:  30208  WordLen:  2
                         饿  Frequency:   1  Handle:  30208  WordLen:  2
                         个  Frequency:   0  Handle:  25600  WordLen:  2
                       个儿  Frequency:   1  Handle:  25600  WordLen:  4
                     家挨户  Frequency:   5  Handle:  26880  WordLen:  6
                         近  Frequency:   0  Handle:  30208  WordLen:  2
                         骂  Frequency:   0  Handle:  30208  WordLen:  2
                     门挨户  Frequency:   0  Handle:  25600  WordLen:  6
                         批  Frequency:   0  Handle:  30208  WordLen:  2
                         整  Frequency:   0  Handle:  30208  WordLen:  2
                         着  Frequency:   2  Handle:  30208  WordLen:  2
                         揍  Frequency:   0  Handle:  30208  WordLen:  2
_____________________________________________________________________________
Block 4 哎 (176,165)
  WordTtem Count:3
                             Frequency:   4  Handle:  25856  WordLen:  0
                         呀  Frequency:   0  Handle:  25856  WordLen:  2
                         哟  Frequency:   0  Handle:  25856  WordLen:  2
_____________________________________________________________________________


Trackback: http://tb.blog.csdn.net/TrackBack.aspx?PostId=1054435

阅读(1896) | 评论(0) | 转发(0) |
0

上一篇：(转载)ICTCLAS 中科院分词系统 代码 注释 中文分词 词性标注

下一篇：unicode、utf-8、ansi的故事

给主人留下些什么吧！~~
关于我们 | 关于IT168 | 联系方式 | 广告合作 | 法律声明 | 免费注册

Copyright 2001-2010 ChinaUnix.net All Rights Reserved 北京皓辰网域网络信息技术有限公司. 版权所有

感谢所有关心和支持过ChinaUnix的朋友们

16024965号-6