关于垂直搜索(转)

垂直搜索是针对某一个行业的专业搜索引擎，是搜索引擎的细分和延伸，是对网页库中的某类专门的信息进行一次整合，定向分字段抽取出需要的数据进行处理后再以某种形式返回给用户。
　  垂直搜索引擎和普通的网页搜索引擎的最大区别是对网页信息进行了结构化信息抽取，也就是将网页的非结构化数据抽取成特定的结构化信息数据，好比网页搜索是以网页为最小单位，基于视觉的网页块分析是以网页块为最小单位，而垂直搜索是以结构化数据为最小单位。然后将这些数据存储到数据库，进行进一步的加工处理，如：去重、分类等，最后分词、索引再以搜索的方式满足用户的需求。
　　整个过程中，数据由非结构化数据抽取成结构化数据，经过深度加工处理后以非结构化的方式和结构化的方式返回给用户。
    垂直搜索引擎的应用方向很多，比如企业库搜索、供求信息搜索引擎、购物搜索、房产搜索、人才搜索、地图搜索、mp3搜索、图片搜索……几乎各行各业各类信息都可以进一步细化成各类的垂直搜索引擎。
    举个例子来说明会更容易理解，比如购物搜索引擎，整体流程大致如下：抓取网页后，对网页商品信息进行抽取，抽取出商品名称、价格、简介……甚至可以进一步将笔记本简介细分成“品牌、型号、CPU、内存、硬盘、显示屏、……”然后对信息进行清洗、去重、分类、分析比较、数据挖掘，最后通过分词索引提供用户搜索、通过分析挖掘提供市场行情报告。
   垂直搜索引擎大体上需要以下技术
    １．Spider
    ２．网页结构化信息抽取技术或元数据采集技术
    ３．分词、索引
    ４．其他信息处理技术

 

   垂直搜索引擎的技术评估应从以下几点来判断
    １．全面性
    ２．更新性
    ３．准确性
    ４．功能性
  垂直搜索的进入门槛很低，但是竞争的门槛很高。没有专注的精神和精湛的技术是不行的。行业门户网站具备行业优势但他们又是没有技术优势的，绝对不要想像着招几个人就可以搞定垂直搜索的全部技术，作为一个需要持续改进可运营的产品而不是一个项目来说对技术的把握控制程度又是垂直搜索成功的重要因素之一。

 

相关文章：如何做好一个垂直搜索引擎[原创]

 

转载的其他相关文章：

 

gfax7903 :
垂直搜索引擎是相对通用搜索引擎的信息量大、查询不准确、深度不够等提出来的新的搜索引擎服务模式，通过针对某一特定领域、某一特定人群或某一特定需求提供的有一定价值的信息和相关服务。其特点就是“专、精、深”，且具有行业色彩，相比较通用搜索引擎的海量信息无序化，垂直搜索引擎则显得更加专注、具体和深入。

垂直搜索引擎能否赢得市场？
垂直搜索引擎为用户提供的并不是上百甚至上千万相关网页，而是范围极为缩小、极具针对性的具体信息。因此，特定行业的用户更加青睐垂直搜索引擎，是垂直搜索引擎的长期、稳定的群体。

中国十年多来互联网的不断发展,造就出1.3亿的网民，搜索引擎也出现空前的火热。在互联网出现的初期，雅虎、新浪、网易等大型门户网站拥有着绝对多的浏览量，原因在于当初的大部分网站在技术上无法与门户网站相媲美，多数质量较差，内容不丰富，所以大型门户网站优秀的网页设计风格，大量的信息及时更新赢得了用户的认可，创造了第一次互联网的高峰。然而随之近年来网络技术的普及与应用，建立一个专业的网站已经不存在太多的技术门槛。于是看好互联网前景的网站纷纷涌现在我们的面前。相对比而言在某些领域中，大型门户网站的页面风格反而不如一些中小型网站的界面漂亮，同时各种分类的行业网站也慢慢的兴起，也使得门户网站的专业性信息远远难以相论，如此一来导致了流量的分流，众多的商家也逐渐意识到互联网商机并不像当初抄做的那样有实际价值。于是互联网第一次危机出现，这也是互联网发展的必然趋势。

搜索引擎的出现，整合了众多网站信息，恰恰起到了信息导航的作用。通用搜索引擎就如同互联网第一次出现的门户网站一样，大量的信息整合导航，极快的查询，将所有网站上的信息整理在一个平台上供网民使用，于是信息的价值第一次普遍的被众多商家认可，迅速成为互联网中最有价值的领域。互联网的低谷由此演变为第二次高峰。大家熟知的搜索引擎Google、百度、雅虎等是通用搜索引擎现如今的杰出代，他们为互联网的发展做出了重要的贡献。然而，搜索引擎行业也不是一家公司就可以独撑天下的，从百度的上市、yahoo中国的并购一系列动作表明，如今的搜索引擎大战如同门户网站初期的竞争一样激烈。相信，通用搜索引擎在经历过一段时间的角逐后，也将会继续维持几大服务商各自分控一部分市场的局面。

垂直搜索引擎概念的提出，就是针对性的为某一特定领域、某一特定人群或某一特定需求提供的有一定价值的信息和相关服务。可以简单的说成是搜索引擎领域的行业化分工。众多专业性网站、行业网站独立服务于互联网的成功，恰恰证明了互联网的格局应该是多方面的。通用搜索引擎的性质，决定了其不能满足特殊领域、特殊人群的精准化信息需求服务。市场需求多元化决定了搜索引擎的服务模式必将出现细分，针对不同行业提供更加精确的行业服务模式。可以说通用搜索引擎的发展为垂直搜索引擎的出现提供了良好的市场空间，势必将出现垂直搜索引擎在互联网中占据部分市场的趋势，也是搜索引擎行业细分化的必然趋势。

 

 

 

1、垂直搜索引擎不是什么？
垂直搜索不只是类google的行业通用搜索。以房产行业为例，如果我们按照google抓取网页的方式，来建造一个房产行业google的做法，是行不通的。技术壁垒不用解释，就算我们借助nutch,lucene等搜索技术来做，我们也无法提供差异化的服务,而没有差异化的产品在互联网赢家通吃的规则下是无法生存的，就是不要简单地模仿，而要想办法形成互补。
垂直搜索和目前的google,baidu等通用搜索从定位，内容，用户，市场策略等都是不同的。所以垂直搜索不只是简单的行业google。

用户使用google,baidu等通用搜索引擎的方式是通过关键字的方式实现的，是语义上的搜索，返回的结果倾向于知识成果，比如文章，论文，新闻等；垂直搜索也是提供关键字来进行搜索的，但被放到了一个行业知识的上下文中，返回的结果更倾向于信息，消息，条目等。对买房的人讲，他希望找的房子供求信息和文章，新闻等不同。这个特性是他们各自的的技术特点决定的。打个比方，如果google搜索引擎是一个正金字塔型，那么垂直搜索引擎就是个倒金字塔型，两者是互补的。

2、垂直搜索是什么？
我认为：垂直搜索的本质是对垂直门户信息提供方式的一次简化性的整合。
搜索领域有句明言：就是用户无法描述道他要找什么，除非让他看到想找的东西，这个过程有点像找对象，碰运气是用户搜索行为的最大的特征。而垂直搜索引擎就是提高为用户提供更好的运气。

垂直搜索是服务于某项功能的，比如：用户搜索租房，买房信息就是一种垂直搜索。对信息的再加工处理是非常关键的，不管是结构化的数据，还是非结构化的数据。

3、垂直搜索的内容来源：
A门户网站自身的资源
B以开放接口方式让行业用户提供的资源
C普通用户发布的资源
D抓取行业用户的资源

微软亚洲研究院负责搜索的一名技术专家说：75%的内容通用搜索引擎搜索不出来。这里面包含2层含义：

（1）网站结构不合理，网页对搜索引擎不友好；
（2）由于信息在互联网是海量的，非结构化的信息需要经过结构化的梳理后才能更好的展现。 如果梳理者能提供搜索，那样会更好。而垂直门户网站就是行业信息最好的梳理者。 垂直搜索引擎提供的主要内容不应该局限于普通的网页索引，而且包括商业信息的加工，结构化的信息。

4、进入垂直搜索的门槛在那里？
在互联网上说门槛，就是比资源。垂直搜索也是这样，能否提供全面权威的行业信息，能否拥有行业资源是垂直搜索引擎发展的门槛。换句化说，垂直门户是垂直搜索血统最近的父亲。作为房产行业的搜房网就是一个垂直门户，在房产领域没有谁比我们更清楚什么是垂直搜索了。
垂直搜索的难点不是技术，而是用户参与门户网站行为的创新和垂直门户网站对产业上下游信息资源的整合。

5、垂直搜索的特点：
（1）、搜索是一个产业商业联盟的平台，一个集成产业链的上下游公司的搜索门户。
（2）、垂直搜索的表现方式和google,baidu的表现方式不同，结构化的搜索和非结构化搜索并用。
（3）、从广告模式上 提供了除 google adsense 和 百度竞价排名广告 之外的另一种可能。

6、垂直搜索引擎的三个特点：

（1）、垂直搜索引擎抓取的数据来源于垂直搜索引擎关注的行业站点：
比如：找工作的搜索引擎 的数据来源于： , , 等等；
股票搜索引擎 的数据来源于： , 等股票站点；
（2）、垂直搜索引擎抓取的数据倾向于结构化数据和元数据：
比如：我们找工作关注的：
职位信息： 软件工程师；
公司名称，行业名称：软件公司，外包行业等；
地点：北京，海淀；
（3）、垂直搜索引擎的搜索行为是基于结构化数据和元数据的结构化搜索：
比如： 找：海淀 软件工程师 的工作等。

7、垂直搜索引擎站点的8条准则：

1、选择一个好的垂直搜索方向。俗话说男怕选错行，这一点对于搜索引擎来说也是一样的，除了选择的这个行业有垂直搜索的大量需求外，这个行业的数据属性最好不要和
Yahoo,Google等通用搜索的的抓取方向重叠。
目前热门的垂直搜索行业有：购物，旅游，汽车，工作，房产，交友等行业。搜索引擎对动态url数据不敏感也是众所周知的，这些可以作为垂直搜索引擎的切入点；

2、评价所选垂直搜索行业的网站、垂直搜索内容、行业构成等情况：
我们都知道垂直搜索引擎并不提供内容来源，它的数据依赖爬虫搜集，并做了深度加工而来的。因此考虑垂直搜索引擎的所处的大环境和定位至关重要。
3、深入分析垂直搜索引擎的索引数据特点：
垂直搜索引擎的索引数据过于结构化，那么进入的门槛比较低，行业竞争会形成一窝蜂的局面；如果搜索数据特点是非结构化的，抓取，分析这样的数据很困难，进入壁
垒太高，很可能出师未杰身先死。
4、垂直搜索引擎的索引数据倾向于结构化数据和元数据，这个特点是区别于yahoo,google等通用搜索引擎的，这是垂直搜索引擎的立足点。而垂直搜索引擎是根植于某一个行业 ，因此行业知识，行业专家这些也是通用搜索引擎不具备的。也就是说进入垂直搜索是有门槛的。
5、垂直搜索引擎的搜索结果要覆盖整个行业，搜索相关性要高于通用搜索引擎，贴近用户搜索意图，搜索结果要及时。
6、垂直搜索引擎的web 2.0 需求：
垂直搜索引擎的搜索数据由于带有结构化的天性，相对于通用搜索引擎的全文索引而言，更显的少而精。因此，设计的时候要提供收集用户数据的接口，同时提供tag,积
分等机制，使搜索结果更加“垂直”。
7、垂直搜索引擎的目标是帮助用户解决问题，而不只是向通用搜索引擎一样发现信息：
这一点是垂直搜索引擎的终极目标。 在做垂直搜索引擎的时候你需要考虑：什么问题是这个行业内的特殊性问题，什么问题是一般性问题。keso多次提到google的目标是
让用户尽快离开google，而垂直搜索引擎应该粘住用户。一般来说，使用垂直搜索引擎的用户都是和用户的利益需求密切相关的。所谓利益需求是我自己独创的，大意是和用户工作密切相关，生活中必不可少的需求，而求有持续性。比如：学生找论文，业主找装修信息等等这样的需求。因此粘住用户，让用户有反馈的途径是一个关键部分。
8、垂直搜索引擎的社区化特征：
这一条和第9条是相关的。
俗话说物以类聚，人以群分，垂直搜索引擎定位于一个行业，服务于一群特定需求的人群，这个特点决定了垂直搜索的社区化行为。人们利用垂直搜索引擎解决问题，分享回馈。现在做网站都讲求社区化，所以垂直搜索引擎本质上还是：对垂直门户信息提供方式的一次简化性的整合。

搜索市场细分 Google、百度面临挑战

　　
百度上市后，搜索市场一下子热了起来。越来越多的企业围绕着搜索市场作起了文章。而且，在搜索大战的同时，一些企业也抛出了一些惊人言论。近日，记者从专业做人脉交际的联络家（）技术总监冉征处了解到，联络家正在加紧研发人脉相关领域的专业垂直
搜索引擎系统，比如工作招聘信息搜索引擎等，预计将在2005年底推出，联络家之所以涉足专业垂直搜索引擎领域，是看到未来垂直专业搜索引擎市场的巨大商机，他认为未来搜索市场将进一步细分，象Google、百度等主张大而全的全球式搜索引擎将会面临垂直专业搜索引擎更大的竞争与挑战，他们的市场分额将会被逐渐瓜分，专业的行业性垂直搜索将受到网民的青睐。

　　那么缘何能得出如此结论呢？冉先生解释，CNNIC第十四次互联网调查显示，搜索以71.9％的绝对优势成为用户从互联网上获得信息的主要方式。几乎在全球所有的调查中，搜索引擎都是互联网上使用程度仅次于电子邮箱的服务，搜索引擎服务能成为最受欢迎的服务是因为他解决了用户在浩瀚的互联网海量快速定位信息屏颈问题，在海量的网页里找信息按照传统方式需要用户一个网站一个网站一级目录一级目录下找，要耗费大量的精力和时间，几乎是不可能实现的任务。但互联网的信息量呈爆炸趋势增长，几年前全球式搜索引擎收录的网页量只有几千万页，而现在已经达到几十亿页，数量增加带来的是搜索服务的品质下降，查询的结果集就是海量的，经常是几十万笔的资料，结果里存在大量的重复信息和垃圾信息，用户越来越难迅速的找到符合的信息，现在经常使用搜索引擎可以感觉到很难在短时间内准确的筛选出需要的内容，而垂直搜索引擎针对专业特定的领域或行业的内容做了专业和深入的分析挖掘，精细分类，过滤筛选等，信息定位更精准，因此在此垂直领域或行业提供的搜索服务势必更好更强，更为用户所欢迎。

比如，对于一个网民来说如果有对特定的领域或行业的信息需求的时候，如果一个是专业的垂直搜索能做到精确锁定内容，但内容量偏小，而另一个是能检索出大量内容，但搜索到的内容一大部分都是“垃圾”并且很难找到符合的信息，这样的话，你会选择哪个呢，就如用户想购买一个商品，他是会去专门的比价购物搜索引擎上找还是会去Google上找，如果你想找一份工作，是会去专门的工作搜索引擎上找还是会去百度上找？答案很明显，更多的用户会舍弃后者，即使前者品牌小名声小，但结果往往是最令网民看重的。

　　冉先生还象记者举了个简单的例子，联络家LINKIST一直做人脉交际圈的拓展，也就是现在炙手可热的SNS网站，SNS网站的目的就是要建立一个庞大的人脉圈，参与其中的人都能通过站内人脉的搜索引擎找到自己想找的人，可以找工作、搜罗人才、寻找合作商机。联络家LINKIST短短几个月的时间已经聚敛起了近7万多位高级商务人士。有了一定的用户基础做铺垫，联络家LINKIST目前大力开发人脉专业领域的垂直搜索引擎，如工作搜索引擎的人脉搜索引擎，而这比以往的“贴简历、翻招聘信息”的机械作法要灵活的多。

　　而且，能做出这样的预测显然并不是空穴来风。据记者了解，现在搜索市场大量的的垂直专业搜索引擎的诞生如雨后春笋般，如比价购物搜索引擎，工作搜索引擎，博客搜索引擎等等，占了百度几乎一半以上的流量的MP3搜索，其实也可以说是专业的搜索MP3的垂直搜索引擎，许多垂直门户也纷纷推出了自己的搜索引擎系统。

　　记者获悉，之前刚从
网易内容总监职位上辞职后创业的李学凌也作起了针对博客内容的搜索引擎，这也表露出，垂直搜索引擎的市场正在孕育过程中，既是机会又存在着挑战，其赢利模式也已经在Google、百度等身上得到了验证。而且，很多风险投资（VC）对搜索的概念已经认可并下了赌注。

　　那么，象Google、百度能会不会通过“补课”挤掉这部分专用搜索市场呢？冉先生对记者表示，Google、百度注定了走的是大而全的粗犷路线，而专用的垂直搜索引擎则不同，需要对做内容的深度挖掘，做精细的分类，构建专业领域的知识库体系等等，而这些都是Google、百度等无法做到的，他们根本就没有精力做这些，也不可能针对每个行业领域都能做透，“术业有专攻”就是这个道理。

　　就象门户网站与专业垂直的行业性网站可以共存一样，网民也有不同的胃口，有的仅仅是简单模糊的信息就已经满足了，而一些寻找精确内容的网民则更青睐于专业引擎，比如你打算换一份工作，以前去人才招聘网站贴简历往往都尿杳无音信，现在，就可以去联络家LINKIST试试，还能跟同行的朋友交换下最新的行业信息，探讨下行业发展趋势。而且，以后联络家LINKIST推出人脉引擎后，只需轻轻点击便能收获颇丰。

　　有专家预测，未来，专业的垂直搜索将掀起一轮热潮，而且，垂直搜索引擎不会是一个简单的文本框、一个按纽就走遍天下了，更需要专业的信息辅助和配套的增值内容的支持，也就是对相关内容的二次“加工”。而这恰恰是Google、百度类所不能提供的。相信，届时很多VC的眼球会聚焦于此，而Google、百度又将面临怎样的挑战呢？我们只能拭目以待了。

要了解垂直搜索引擎，就要同大家熟知的横向搜索引擎即通用搜索引擎来做对比。目前互联网领域主要的搜索引擎服务商如yahoo、百度、google等，为用户提供的都是横向的海量信息搜索。他们可以满足大量信息的横向搜索、提供，但很难兼顾搜索的准确度与相关度的质量。通用搜索引擎的价值在于在做大量的信息导航，对于信息需求相对集中、分类更加详细的行业客户缺乏导向。垂直搜索引擎的产生正是有效的解决了以上通用搜索引擎无法满足的市场需求。

垂直搜索指搜索引擎为用户提供的并不是上百甚至上千万相关网页，而是范围极为缩小、极具针对性的具体信息。换言之，搜索引擎收集的是市场空间中某一“市场利基”的数据，如工作、旅游、高端房地产等。这样的信息不但更加易于为用户所消化，而且也更有深度。

Google、雅虎、MSN这几大搜索引擎巨头主宰着互联网搜索市场，全球大多数网民 都是通过这几大搜索引擎查找自己所需的信息的。但在查找一些具体信息时，这几大搜索引擎的表现却并不尽如人意。有时候用户得到的是往往是和他们的查询本意 风马牛不相及的结果。对拉近用户及其所需信息之间的距离的需求催生并促进了搜索行业的利基发展。垂直搜索引擎瞄准的正是搜索市场中的不同利基市场。

利基是Niche这一英文名词的译称，利基市场指市场中通常为大企业忽略的某些细分市场；而利基市场战略则指企业通过专业化经营来占领这些市场，从 而最大限度的获取收益所采取的策略。实施利基战略的重要意义在于：进行市场利基的公司事实上已经充分了解了目标顾客群，因而能够比其他公司更好、更完善地 满足消费者的需求。并且，市场利基者可以依据其所提供的附加价值收取更多的利润额。总之，市场利基者获得的是“高边际收益”，而密集市场营销者获得的只是“高总量收益”。

分析家认为：利基搜索市场和强大的在线广告市场之间有着密切的联系。管理者可以象Google和雅虎那样利用搜索结果页面运作广告，即在搜索结果页面上提供一定的定向文本广告。这种广告策略已被视作搜索行业的一个盈利渠道。

对于垂直搜索引擎来说，由于数据源得到了详细划分，使得对这些数据进行操作，并将其通过简单易用、消费方便的方式表现出来变成可能。此外，以往的两种网络广告“每千次展示成本”和“每点击付费（CPC）”这两种广告方式上存在着效率低下，广告费用风险高的问题，这也正是垂直搜索被看好的一个主要原因。垂直搜索能够提供更为集中的受众群体，从而提高搜索引擎广告的宣传能力。同时，垂直搜索也能够有效推动新的广告商机的发展――我们姑且称之为“每行动成本”。这种广告方式不限广告投放量，按照广告投放的实际效果，即按潜在客户回应行动计费。

 

浅谈垂直搜索引擎

 

通过关键字："垂直搜索引擎"在google查一下,在返回结果中可以看到不少的投资公司很看好这一领域,即使百度的发言人也在演讲中提到垂直搜索引擎,而一些国外软件巨头例如Google和Microsoft也在这一领域有所动作,据说Microsoft的一个研究购物的小组最近就推出了一个购物垂直搜索引擎,

 

        首先，谈谈垂直搜索引擎的基本原理,垂直搜索引擎针对某个特定领域,招聘、购物、blog、新闻等方面都是垂直搜索的潜在领域,假想一下,如果网络上有非常便利的产品垂直搜索引擎、新闻垂直搜索平台,以后上网就不会漫无目的了,现在许多的行业门户做的很红火,而垂直搜索引擎的模式本身就是一种很好的门户网站.

 

        接下来谈谈垂直搜索引擎的技术,垂直搜索引擎技术同信息采集技术有一些共同点,不同的是,信息采集主要是将采集的信息导入本地库，而垂直搜索引擎主要是以网页的形式展现给用户,通用搜索引擎主要是利用一个spider程序到网络上爬行,一般是某个特定的周期派出一次将网页更新,垂直搜索引擎同样应有一个spider程序，但该程序只在一些特定的网络上爬行，并不会对每一个链接都感兴趣,相对来说,垂直搜索引擎的收录范围大大缩小了,但并不意味着内容的缩小,通用搜索引擎对一些动态脚本是不敏感的,例如***asp?id=***之类的网页一般不被收录,而恰恰是这类动态网页包含了丰富的内容,垂直搜索引擎是必须收录这些动态脚本的,这就需要在技术上做一些特殊处理,另外由于目前网页中的链接形式非常多,不但有动态脚本也有flash做的链接,这些链接方式通过传统的spider程序是很难解析出来的,在垂直搜索引擎中也应该解决.

 

        以上只是垂直搜索引擎的简单说明,如果需要深入了解甚至实际开发,建议按如下步骤深入学习:
1) 到搜索引擎中查一下垂直搜索引擎,进一步了解垂直搜索引擎的应用前景
2) 如果要实际开发一个垂直搜索引擎,建议到一些开源网站上找一些spider程序进行分析,看看如何改造成一个垂直搜索的spider,一般将爬行全部链接的方式改为只爬行特定链接.这些特定链接可以通过正则表达式的方式来匹配，凡不符合匹配的不进行采集.