知识 - 我的文章

博客首页注册建议与交流排行榜加入友情链接

推荐投诉搜索：帮助

MANIAC

逝去的时光，奔腾的流水，放浪的生涯，燃烧的梦想，繁繁茫茫的人海，漂泊流浪的我...

maniac.cublog.cn

关于作者

小时候一直以为我跟别人不一样,原来长大以后,每个人都一样.要么忙着活,要么忙着死,只有这两种选择.

QQ    396002399
MSN   00ahui@gmail.com
EMAIL 00ahui@gmail.com

\|\|	<<	>>	\|\|

我的分类

	文章列表 - 知识

	缓存机制的使用
	缓存机制在很多地方都接触的到，最经典的是CPU的高速缓存和OS分页内存管理中的多级页表，使用缓存机制的目的是加快处理速度，减少资源的频繁访问。在做网页排重程序的过程中，需要保存大量的词语和其特征向量的对应关系，最开始我使用HashMap(程序采用Java开发)将其保存在内存中，由于随着程序不断的运行会有新的词语加进来，而我们需要处理数据量又比较大，程序运行一段时间就会内存溢出，给jvm分配最大内存(1.5G)仍然会发生内存溢出，无奈只能将这些对应关系保存到数据库中，可是新的问题有出现了，每个网页的正文在分词后会得到数百……
查看全文
	发表于:2007-12-16 ┆ 阅读(309) ┆ 评论(0)

	网页排重 -- 简单易行的Charikar算法
	最近在做网页排重(排除重复，deduplicate)，使用的是Moses S. Charikar在其论文<a href="http://blogimg.chinaunix.net/blog/upfile2/071216125647.pdf" target="_blank">Similarity Estimation Techniques from Rounding Algorithm</a>中提到的随机映射(Random Projection)算法，算法本身很简单，先给每个词语(Token)生成随机的特征向量，保存为一个集合，然后对网页正文进行分词，得到一系列的词语，从词语的特征向量集合中取出这些词语的特征向量(如果词语不在在集合中，那么给词语生成一个随机的特征向量，将其加入集合)，将这些特……
查看全文
	发表于:2007-12-16 ┆ 阅读(364) ┆ 评论(0)

	A Big Bug in Heritrix ?
	I tested ARCWriter & ARCReader of Heritrix, and I got a big problem when reading chinese content from ARC file.<br><br> I defined page and http-header : <br><br> final String PAGE = "<HTML><HEAD></HEAD><BODY> TEST test 测试中文 </BODY></HTML>"; <br> final String CONTENT = "HTTP/1.1 200 OK\r\n" <br> + "Content-Type: text/html\r\n\r\n" + PAGE; <br><br>and then write it to ARC in looping.<br> <br> But there're problems When reading <br> I used ARCRecord.dump to dump content to console, and got this: <br> <br> HTTP/1.1 200 OK <br> Content-Type: text/html <br> <br> <HTML><HEAD></HEAD><BODY> TEST test 测试中文 </BODY></H <br> <br> the last 4 byte disapears. <br> <br> I also used ARCRecord.dump(OutputStream) & ArchiveRecord.read to dump content to a file, and got the same problem. <br><br>My code:<br>------------------------<br>    public static void testARCWri……
查看全文
	发表于:2007-09-12 ┆ 阅读(507) ┆ 评论(2)

	heritrix
	由于要使用ARC存储下载的网页文件，今天几乎看了一天的heritrx源代码，感觉代码写的远没有lucene的有艺术感。但不可否认heritrix是个很优秀的东西。<ul><li>Heritrix is the Internet Archive's open-source, extensible, web-scale, archival-quality web crawler project.</li></ul><ul><li>Heritrix is designed to respect the <a href="http://www.robotstxt.org/wc/robots.html" class="externalLink" title="External Link">robots.txt</a> exclusion directives and <a href="http://www.robotstxt.org/wc/exclusion.html#meta" class="externalLink" title="External Link">META robots tags</a>, and collect material at a measured, adaptive pace unlikely to disrupt normal website activity.</li></ul><ul><li>Heritrix 和 Nutch 能够很好的结合起来，如果想构造自己的搜索引擎，使用Heritrix和Nutch是一个很完美的选择</li></ul>官方主页： <a href="http://crawler.archive.org/" target="_blank">http://crawler.archive.org/</a><br>用户手册： <a href="http://crawler.archive.org/articles/user_manual/index.html" target="_blank">http://crawler.archive.org/articles/user_manual/index.html</a><br>下载地址： <a href="http://sourceforge.net/project/showfiles.php?group_id=73833&package_id=73980" target="_blank">http://sourceforge.net/project/showfiles.php?group_id=73833&package_id=73980</a><br>heritrix使用入门： <a href="http://book.csdn.net/bookfiles/312/10031212848.shtml" target="_blank">http://book.csdn.net/bookfiles/312/10031212848.shtml</a><br>ARC文档： <a href="http://crawler.archive.org/articles/developer_manual/arcs.html" target="_blank">http://crawler.archive.org/articles/developer_manual/arcs.html</a><br>ARC文件格式：<a href="http://www.archive.org/web/researcher/ArcFileFormat.php" target="_blank">http://www.archive.org/web/researcher/ArcFileFormat.php</a><br><br>
查看全文
	发表于:2007-09-11 ┆ 阅读(868) ┆ 评论(1)

	我要开始Lucene了
	<p class="MsoNormal" style="text-indent: 21pt;"><span lang="EN-US">Lucene</span><span style="font-family: 宋体;">是</span><span lang="EN-US">apache</span><span style="font-family: 宋体;">软件基金会</span><sup><span lang="EN-US">[4]</span><span lang="EN-US"> </span></sup><span lang="EN-US">jakarta</span><span style="font-family: 宋体;">项目组的一个子项目，是一个开放源代码</span><sup><span lang="EN-US">[5]</span></sup><span style="font-family: 宋体;">的全文检索引擎工具包，即它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎（英文与德文两种西方语言）。</span><span lang="EN-US">Lucene</span><span style="font-family: 宋体;">的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎。</span></p><p class="MsoNormal" style="text-indent: 21pt;"><span style="font-family: 宋体;">lucene中国：</span><a href="http://www.lucene.com.cn/" target="_blank">http://www.lucene.com.cn……
查看全文
	发表于:2007-08-14 ┆ 阅读(347) ┆ 评论(0)

	硬盘安装Debian
	<div>很多人写过这个文章，但真到安装的时候，不管是Linux新手还是老手都会出现各种各样的问题，下面是一个成功的例子，敬请参考：</div> <div> </div> <div>一.下载</div> <div> </div> <div>1.partition magic(又名PQ) 用于磁盘分区</div> <div>2.grub for dos  用于启动linux内核镜像</div> <div>3.vmlinuz和initrd.gz<br><table style="border-collapse: collapse;" align="center" border="1" bordercolor="#dddddd" cellpadding="0" cellspacing="0" width="360"> <tbody><tr height="60"><td align="center" width="60"><img src="/fileicon/zip.gif" alt="" border="0"></td><td> <table style="border-collapse: collapse;" border="0" cellpadding="0" cellspacing="0" width="100%"> <tbody><tr height="20"><td align="center" width="40">文件:</td><td>initrd.gz</td></tr> <tr height="20"><td align="center" width="40">大小:</td><td>4130KB</td></tr> <tr height="20"><td align="center" width="40">下载:</td><td><a href="http://blogimg.chinaunix.net/blog/upfile/070805121704.gz">下载</a></td></tr> </t……
查看全文
	发表于:2007-08-04 ┆ 阅读(653) ┆ 评论(0)

	硬盘auto病毒清除
	<DIV>一.症状：</DIV> <DIV> </DIV> <DIV>1.不能查看隐藏文件，文件夹选项中选不上查看隐藏文件选项</DIV> <DIV>2.通过注册表的方法修改HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Explorer\Advanced\Folder\Hidden\SHOWALL 下CheckedValue选项为1,过两秒钟有自动恢复</DIV> <DIV>3.用其他方式查看硬盘，发现每个盘下面有一个auto.exe隐藏文件和一个autorun.inf隐藏文件夹 autorun.inf文件夹下有一个子文件夹"guard.",这个文件夹进不去也删不掉。</DIV> <DIV> </DIV> <DIV>二.分析：</DIV> <DIV> </DIV> <DIV>病毒程序在\autorun.inf\guard.\文件夹下面，病毒把注册表中原来的CheckedValue删除了，又新建了一个CheckedValue，对其修改后病毒会把其修改过来，所以无法查看隐藏文件。将auto.exe修改或者删除后病毒重新生成auto.exe，每次双击磁盘都会执行这个程序。这个病毒最高明的地方是把自己伪装为常见的autorun病毒,使用杀毒软件或专杀工具没有办法把他杀掉，因为autorun.inf不是个文件而是个文件夹，里面还有子文件夹"guard.",所以无法把它删掉，只能把auto.exe删除，但那是没用的，病毒会自动生成auto.exe.</DIV> <DIV>&nbs……
查看全文
	发表于:2007-08-04 ┆ 阅读(2470) ┆ 评论(0)

	gzip原理与实现
	gzip 使用deflate算法进行压缩。zlib，以及图形格式png，使用的压缩算法也是deflate算法。从gzip的源码中，我们了解到了 defalte算法的原理和实现。我阅读的gzip版本为 gzip-1.2.4。下面我们将要对deflate算法做一个分析和说明。首先简单介绍一下基本原理，然后详细的介绍实现。<br><br>1 gzip 所使用压缩算法的基本原理<br><br>gzip 对于要压缩的文件，首先使用LZ77算法的一个变种进行压缩，对得到的结果再使用Huffman编码的方法（实际上gzip根据情况，选择使用静态 Huffman编码或者动态Huffman编码，详细内容在实现中说明）进行压缩。所以明白了LZ77算法和Huffman编码的压缩原理，也就明白了 gzip的压缩原理。我们来对LZ77算法和Huffman编码做一个简单介绍。<br><br>1.1 LZ77算法简介<br><br>这一算法是由Jacob Ziv 和 Abraham Lempel 于 1977 年提出，所以命名为 LZ77。<br><br>1.1.1 LZ77算法的压缩原理<br><br>如果文件中有两块内容相同的话，那么只要知道前一块的位置和大小，我们就可以确定后一块的内容。所以我们可以用（两者之间的距离，相同内容的长度）这样一对信息，来替换后一块内容。由于（两者之间的距离，相同内容的长度）这一对信息的大小，小于被……
查看全文
	发表于:2007-06-28 ┆ 阅读(411) ┆ 评论(2)

	压缩算法
	一）字典算法<br> 　　字典算法是最为简单的压缩算法之一。它是把文本中出现频率比较多的单词或词汇组合做成一个对应的字典列表，并用特殊代码来表示这个单词或词汇。例如：<br> 　　有字典列表：<br> 　　00=Chinese<br> 　　01=People<br> 　　02=China<br> 　　源文本：I am a Chinese people,I am from China 压缩后的编码为：I am a 00 01,I am from 02。压缩编码后的长度显著缩小，这样的编码在SLG游戏等专有名词比较多的游戏中比较容易出现，比如《SD高达》。 <br> （二）固定位长算法（Fixed Bit Length Packing）<br> 　　这种算法是把文本用需要的最少的位来进行压缩编码。<br> 比如八个十六进制数：1，2，3，4，5，6，7，8。转换为二进制为：00000001，00000010，00000011，00000100， 00000101，00000110，00000111，00001000。每个数只用到了低4位，而高4位没有用到（全为0），因此对低4位进行压缩编码后得到：0001，0010，0011，0100，0101，0110，0111，1000。然后补充为字节得到：00010010， 00110100，01010110，01111000。所以原来的八个十六进制数缩短了一半，得到4个十六进制数：12，34，56，78。<br> 这也是比较常见的压缩算法之一。<b……
查看全文
	发表于:2007-06-28 ┆ 阅读(821) ┆ 评论(0)

	google系统的工作机制
	<div align="center"><img src="http://blogimg.chinaunix.net/blog/upfile/070628122247.gif" onload="javascript:if(this.width>500)this.width=500;" border="0"><br><div style="text-align: left;">(原图来自Sergey Brin and Lawrence Page, <a href="http://infolab.stanford.edu/%7Ebackrub/google.html" target="_blank">The Anatomy of a Large-Scale Hypertextual.</a> Web Search Engine, 1998.)<br>①Google使用高速的<span style="color: rgb(220, 20, 60);">分布式</span>爬行器(<strong>Crawler</strong>)系统中的<strong>漫游遍历器(Googlebot)</strong>定时地<span style="color: rgb(220, 20, 60);">遍历网页</span>，将遍历到的网页送到存储服务器(Store Server)中。<br>②存储服务器使用<span style="color: rgb(220, 20, 60);">zlib格式</span>压缩软件将这些网页进行无损压缩处理后存入数据库Repository中。Repository获得了每个网页的完全Html 代码后，对其压缩后的<span style="color: rgb(220, 20, 60);">网页及URL</span>进行分析，记录下<strong><span style="color: rgb(220, 20, 60);">网页长度、URL、URL长度和网页内容</span></strong>，并赋予……
查看全文
	发表于:2007-06-28 ┆ 阅读(398) ┆ 评论(0)

	DOM和SAX比较和选择
	<div> 当解析一个XML时我们有很多选择方案，如SAX、DOM、JDOM、JAXP、数据绑定等等，必须根据实际情况来选择一个或几个。在此仅谈论SAX和DOM，可以从以上四点考虑，选择合适的解析器。</div><div> </div> <div>1. SAX提供的模型不允许对XML文件随机存取</div> <div> 如：当前解析到第3个Element，此时程序无法得到第5个Element的信息，因为还没有解析到第5个Element；同样也无法得到第1个 Element的信息，因为已经丢失了。当然可以通过声明变量保存解析过的数据，但这如同手动在内存中构造了某种数据结构，一般都是树型结构，这相当麻烦且没有必要，因为DOM恰恰提供了这样一个内存中的模型。</div> <div> </div> <div>2.SAX模型中元素之间的横向移动困难</div> <div> SAX提供的是层次型的解析，便利所有第1个Element的子节点（一直到叶子节点）后，才可能开始解析下一个兄弟Element。而且很难知道某一时刻，解析到了哪个层次节点了。DOM则可以很好的解决这个问题，可以方便的找到任何兄弟节点。</div> <div> </div> <div>3.SAX是熊瞎子劈苞米</div> <div> SAX是解析一个节点后回调一个方法，把该节点相关信息传送个调用者，然后丢弃这些信息，继……
查看全文
	发表于:2007-06-26 ┆ 阅读(1069) ┆ 评论(0)

	IIS的Unicode漏洞攻击
	<DIV>IIS有十多种常见漏洞，但利用得最多的莫过于Unicode解析错误漏洞。微软IIS 4.0/5.0在Unicode字符解码的实现中存在一个安全漏洞，用户可以远程通过IIS执行任意命令。当IIS打开文件时，如果该文件名包含Unicode字符，它会对它进行解码。如果用户提供一些特殊的编码，将导致IIS错误地打开或者执行某些Web根目录以外的文件或程序。我们此文就着重来讲讲如何利用这个漏洞入侵IIS。<BR>　　对于IIS 4.0/5.0中文版，当IIS在收到的URL请求的文件名中，包含一个特殊的编码例如“%c1%hh”或者“%c0%hh”，它会首先将其解码变成“0xc10xhh”，然后尝试打开这个文件。Windows系统认为“0xc10xhh”可能是Unicode编码，因此它会首先将其解码，如果 “0x00<= %hh < 0x40”的话，采用的解码的格式与下面的类似：<BR>　　%c1%hh->(0xc1-0xc0)0x40+0xhh<BR>　　%c0%hh->(0xc0-0xc0)0x40+0xhh<BR>　　因此，利用这种编码，我们可以构造很多字符，例如:<BR>　　%c1%1c->(0xc1-0xc0)0x40+0x1c=0x5c='/'<BR>　　%c0%2f->(0xc0-0xc0)0x40+0x2f=0x2f='\'<BR>　　攻击者可以利用这个漏洞来绕过IIS的路径检查，去执行或者打开任意的文件。此漏洞从中文版IIS4.0+SP6开始，还影……
查看全文
	发表于:2007-06-10 ┆ 阅读(445) ┆ 评论(0)

	Search Engine Glossary
	<p class="font14"><a href="http://www.chairbay.com/sed1.pdf" target="_blank">DOWNLOAD Search Engine Glossary (PDF)</a></p><p class="font14"><a href="http://www.chairbay.com/sed1.pdf" target="_blank"><br></a></p><p class="font14"><b>categorization</b><br> The practice of grouping web pages by topic to form a directory.<br> Also see classification </p> <p class="font14"><b>category</b><br> In the context of Web directories, categories refer to collections of links to sites of a similar topic.</p> <p class="font14"><b>CGI </b><br> Common Gateway Interface - a popular interface between web server software and other programs. </p> <p class="font14"><b>channels</b> <br> See directory; category </p> <p class="font14"><b>citation analysis</b><……
查看全文
	发表于:2007-05-28 ┆ 阅读(319) ┆ 评论(0)

	Human powered search engine
	<div id="article_body_content"><font size="2">By <a id="article_body_lnkEmailForm" href="javascript:__doPostBack('article_body$lnkEmailForm','')">Wily Ferret</a>: <span id="article_body_submitted">Friday 01 June 2007, 08:53<br><br></span></font><b>HOW DO</b> you beat the ultimate algorithm? <p>You use the ultimate in technology - the human brain. In the bid to beat Google, new search engine <a href="http://www.mahalo.com/" target="blank">Mahalo</a> is aiming to hand-write the web.</p><p> Each search result page on Mahalo is a combination of hand-picked websites about the subject, along with a few 'fast facts' and links to authorities such as Wikipedia and IMDB. Currently, the site indexes the top 4000 search results on Google, and aims to hand-write 10,000 by the end of the year.</p><p> This is the brainchild of Jason Calacanis, the man responsible for Engadget and the Weblogs Inc network, and formerly the proprieter of the bubble-age Silicon Alley reporter. The web……
查看全文
	发表于:2007-05-28 ┆ 阅读(323) ┆ 评论(0)

	用Bordland c 3.1编译调试uC/OS-II的实验环境
	很多人希望学习uC/OS-II,又苦于没有实验环境,下面是我配置好的一个实验环境,可以用它来针对uC/OS-II的大部分的功能进行实验.这个是用Bordland c 3.1编译调试uC/OS-II代码的,Bordland c 3.1经过裁剪,解压缩之后需要配置BIN/TLINK.CFG和BIN/TURBOC.CFG以使BC获得正确的路径. <br><table style="border-collapse: collapse;" align="center" border="1" bordercolor="#dddddd" cellpadding="0" cellspacing="0" width="360"> <tbody><tr height="60"><td align="center" width="60"><img src="/fileicon/rar.gif" alt="" border="0"></td><td> <table style="border-collapse: collapse;" border="0" cellpadding="0" cellspacing="0" width="100%"> <tbody><tr height="20"><td align="center" width="40">文件:</td><td>dev.rar</td></tr> <tr height="20"><td align="center" width="40">大小:</td><td>1807KB</td></tr> <tr height="20"><td align="center" width="40">下载:</td><td><a href="http://blogimg.chinaunix.net/blog/upfile/070528221641.rar">下载</a></td></tr> </tbody></table> </td></tr> </tbody></table><br>测试代码和……
查看全文
	发表于:2007-05-28 ┆ 阅读(633) ┆ 评论(0)