Chinaunix首页 | 论坛 | 博客
  • 博客访问: 14571
  • 博文数量: 5
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 60
  • 用 户 组: 普通用户
  • 注册时间: 2013-01-28 13:20
文章分类
文章存档

2013年(5)

我的朋友

发布时间:2013-01-28 13:44:59

Cloudera impala™ 直接在你的HDFS或HBase上提供快速、交互式SQL查询.impala 除了使用统一的存储平台,还是用了相同的 metadata ,SQL 语法 (Hive SQL),ODBC driver 和 user interface Hue Beeswax (Hive)。这些为批处理和实时查询提供了一个统一的常见的平台。Cloudera Impala是一个有效的查询大叔据的工具,impala 并不替换建立在MapReduce的批处理框架如 Hive。Hive和其它建立在MapReduce上的框架适合需要长时间运行的批处理任务。例如那些批量提取,转化,加载......【阅读全文】

阅读(2268) | 评论(0) | 转发(0)

发布时间:2013-01-28 13:39:38

显示报错no tasktracker to stop ,no datanode to stop问题的原因是hadoop在stop的时候依据的是datanode上的mapred和dfs进程号。而默认的进程号保存在/tmp下,linux默认会每隔一段时间(一般是一个月或者7天左右)去删除这个目录下的文件。因此删掉hadoop-hadoop-jobtracker.pid和hadoop-hadoop-namenode.pid两个文件后,namenode自然就找不到datanode上的这两个进程了。在配置文件中$HADOOP_HOME/conf/hadoop-env.sh中export HADOOP_P......【阅读全文】

阅读(1457) | 评论(0) | 转发(0)

发布时间:2013-01-28 13:39:08

    线上部署hadoop、hbase 一般都是采用存储、计算一对一的方式,即每个节点启动 hadoop 的 datanode(以下简称dn)& tasktracker(以下简称tt) 再加 hbase regionserver(以下简称rs),hadoop namenode(以下简称nn)和 hbase master(以下简称master)一般在负载较轻的情况下可以部署在同一个.........【阅读全文】

阅读(3447) | 评论(0) | 转发(0)

发布时间:2013-01-28 13:38:42

From:http://www.programmer.com.cn/10416/    2011年,对Hadoop来说注定是载入史册的一年:Yahoo!与风险投资公司Benchmark Capital联合建立独立公司Hortonworks,接手Yahoo!开源软件平台Apache Hadoop;Hadoop海量数据分析平台Datameer、Karmasphere和Hadapt分别获得千万美元级别投资;一向对开源趋势不屑一顾的微软转投Hadoop怀抱;Hadoop之父Doug Cutting第一次莅临中国,布道Hadoop 0.23…… 可以说,Hadoop生态系统呈......【阅读全文】

阅读(267) | 评论(0) | 转发(0)

发布时间:2013-01-28 13:37:07

刚看到Hadoop序列化这一概念时,想不通为什么要序列化。因为之前一直用C, C语言中,网络两端通信或者读写文件,完全没关注过序列化这个概念。我想可能是因为C中每次使用的变量都有明确的类型定义,不需要这样明确地把序列化的概念提出来,C库中将这一过程实现了(这是我的猜想 因为看到有些C程序 使用int型变量并不是直.........【阅读全文】

阅读(795) | 评论(0) | 转发(0)
给主人留下些什么吧!~~
留言热议
请登录后留言。

登录 注册