Chinaunix首页 | 论坛 | 博客
  • 博客访问: 1397982
  • 博文数量: 277
  • 博客积分: 2551
  • 博客等级: 少校
  • 技术积分: 3918
  • 用 户 组: 普通用户
  • 注册时间: 2011-02-21 22:46
文章分类

全部博文(277)

文章存档

2017年(3)

2016年(9)

2015年(65)

2014年(27)

2013年(85)

2012年(61)

2011年(27)

发布时间:2015-05-16 21:15:04

     hbase与hive在hadoop生态系统中的关系          ......【阅读全文】

阅读(1452) | 评论(0) | 转发(0)

发布时间:2015-03-23 22:10:41

     mapreduce每map一次,就相当于降低了维度。可以是降低了单维度,也可以是降低了多个维度,相当于进行了维度分裂。     每一次map可以是做聚合(多个字段合成一个新字段)                &.........【阅读全文】

阅读(1167) | 评论(0) | 转发(0)

发布时间:2014-10-13 10:11:15

基于框架选型目的来理解thrift框架  (1)thrift使用的步骤     从官方的文档和一些使用的例子中,可以发现thrift需要定义一个IDL文件,执行代码生成后     客户端的代码需要自己来实现,一些头文件需要修改,重新编译,才能生成一个可用的客户端     服务器端的代码需.........【阅读全文】

阅读(1099) | 评论(0) | 转发(0)

发布时间:2014-10-11 17:54:40

    以提问的方式来发起对zookeeper基本认识的思考      (1)集群中每个zookeeper服务器上的dataDir都一样,还是只有leader才有?znode也提出同样的疑惑          每个zk节点上的dataDir都基本相同,只是myid文件不同,其中保存了zk的id值        .........【阅读全文】

阅读(1494) | 评论(0) | 转发(2)

发布时间:2014-10-11 14:31:06

     mapreduce的缺陷        (1)只能做简单的统计计算,很多复杂的算法没法表达        (2)mr的过程中做了很多无效的排序,其他的计算模型获取可以省去这些无效的计算        (3)mr启动任务需要花费时间,对于一些小当量的计算,还不如拉回.........【阅读全文】

阅读(1175) | 评论(0) | 转发(0)
给主人留下些什么吧!~~
留言热议
请登录后留言。

登录 注册