ChinaUnix首页 | 论坛 | 博客
博客首页 博客专家 往日推荐 博客文集
热搜： Android Mysql Oracle MongoDB WINDOWS Hyper-V HADOOP 信息
博客首页 〉搜索结果
按类别查询搜索结果
操作系统 程序设计 数据库 热点技术 综合 架构与运维 移动开发与应用 Web前端
关于关键词 的检测结果，共 117 条
【LINUX】 Hadoop-MapReduce-TeraSort-大数据排序例子
非自愿精神病 | 2015-01-09 12:58:28 | 阅读(2990) | 评论(0)
1TB（或1分钟）排序的冠军 作为分布式数据处理的框架，集群的数据处理能力究竟有多快？或许1TB排序可以作为衡量的标准之一。 1TB排序，就是对1TB（1024GB，大约100亿行数据）的数据进行排序。2008年，Hadoop赢得1TB排序基准评估第一名，排序1TB数据耗时209秒。后来，1TB排序被1分钟排序所取代，1分钟排序指的...【阅读全文】
【LINUX】 eBay开源了其大型、高速SQL-on-Hadoop数据库
dxm2025 | 2014-11-19 17:13:32 | 阅读(1130) | 评论(0)
在线拍卖网站eBay开源了其名为Kylin的数据库技术，该公司表示这套方案能够对保存在Hadoop当中的PB级数据集进行快速查询。与谷歌以 及Facebook等企业相比，eBay并不能算是大数据用户，但该公司确实也在以相当可观的规模运行着Hadoop等技术方案，而Kylin项目似乎正 是其以此为基础实现技术创新的一个绝佳实例。...【阅读全文】
【LINUX】 eBay开源了其大型、高速SQL-on-Hadoop数据库
zgdong1 | 2014-11-19 10:25:34 | 阅读(960) | 评论(0)
在线拍卖网站eBay开源了其名为Kylin的数据库技术，该公司表示这套方案能够对保存在Hadoop当中的PB级数据集进行快速查询。与谷歌以 及Facebook等企业相比，eBay并不能算是大数据用户，但该公司确实也在以相当可观的规模运行着Hadoop等技术方案，而Kylin项目似乎正 是其以此为基础实现技术创新的一个绝佳实例。eBay...【阅读全文】
【LINUX】 如何安装hadoop
huyanshu | 2014-08-26 17:23:33 | 阅读(1190) | 评论(0)
wget http://archive.cloudera.com/cdh4/one-click-install/redhat/6/x86_64/clouderacdh-4-0.x86_64.rpmyum --nogpgcheck localinstall cloudera-cdh-4-0.x86_64.rpmrpm --import http://archive.cloudera.com/cdh4/redhat/6/x86_64/cdh/RPM-GPG-KEYclouderayum install hadoop-0.20-conf-pseudosudo -u hdfs hdfs ...【阅读全文】
【LINUX】 hadoop 如何切换到hbase
huyanshu | 2014-08-26 17:12:44 | 阅读(1580) | 评论(0)
 当linux系统管理员登录到hadoop集群当中的一台主机时，首先可以切换到root,也就是su - root.下一步就是切换到hadoop用户。su - hadoop.在hadoop用户下输入hbase shell，就可以hbase语句。比如scan.hbase 也是一种 shell,跟其它shell语言一样。需要学习。...【阅读全文】
【LINUX】 hadoop调试
damofeixue64 | 2014-05-07 12:06:09 | 阅读(1030) | 评论(0)
    jstat看内存分配对象，内存区域的状况 首先在young Genaration ，然后 Old Genaration。   持久层存放的是各自类，不会变化的东西   Eden -》From-》To 对象拷贝15次会   大的对象直接放到Old Genaration 分配线程和上层应用同时进行 ...【阅读全文】
【LINUX】 改hadoop启动脚本老是报Warning: $HADOOP_HOME is deprecated.
damofeixue64 | 2014-04-27 18:13:16 | 阅读(1650) | 评论(0)
grep -r deprecated ~/hadoop/bin//home/hd/hadoop/bin/hadoop-config.sh:  echo "Warning: \$HADOOP_HOME is deprecated." 1>&2于这个警告问题，解决方法如下： 1.注释掉hadoop-config.sh里的上面给出的这段if fi配置（不推荐）2.在当前用户home/.bash_profile里增加一个环境变量：expor...【阅读全文】
【LINUX】 如何更改不同hadoop进程使用的-Xmx
damofeixue64 | 2014-04-27 17:54:25 | 阅读(1510) | 评论(0)
1. 总的默认的Xmx是1000M    在hadoop启动脚本里    JAVA_HEAP_MAX=-Xmx1000m2. 改 这个文件也可以改总的Xmx ~/hadoop/conf/hadoop-env.sh    # The maximum amount of heap to use, in MB. Default is 1000.   # export HADOOP...【阅读全文】
【LINUX】 Hadoop相关系统的编码问题
damofeixue64 | 2014-04-27 17:29:16 | 阅读(1040) | 评论(0)
一定注意整个hadoop相关系统的编码，统一使用UTF-8 ，否则你会遇到很多麻烦，无论是导入hadoop集群还是hive查询还是sqoop等导出、导入都会碰到编码问题。hive命令文件$HIVE_HOME/bin/hive里加入：点击(此处)折叠或打开export LANG=en_US.UTF-8export HADO...【阅读全文】
【LINUX】 ganglia监控hadoop相关配置及监控指标说明
coolcole | 2014-01-13 20:16:38 | 阅读(1700) | 评论(0)
*.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31*.sink.ganglia.period=10# default for supportsparse is false*.sink.ganglia.supportsparse=true*.sink.ganglia.slope=jvm.metrics.gcCount=zero,jvm.metrics.memHeapUsedM=both*.sink.ganglia.dmax=jvm.metrics.threadsBlocked=70,jvm...【阅读全文】
【LINUX】 hadoop java.io.IOException异常
hbhe0316 | 2013-10-06 00:11:11 | 阅读(1790) | 评论(0)
hadoop 编写一个copy java程序，执行命令的时候报错！[hadoop@master test]$ hadoop jar /home/hadoop/hadoopCopyToHdfs.jar com.icitic.hadoop.hdfs.CopyToHdfs13/10/05 23:49:03 INFO security.Groups: Group mapping impl=org.apache.hadoop.security.ShellBasedUnixGroupsMapping; cacheTimeout=30000013/10/05 23:4...【阅读全文】
【LINUX】 Linux下运行Hadoop程序的环境配置
Larpenteur | 2013-08-27 03:40:17 | 阅读(570) | 评论(0)
1.首先将在eclipse开发的项目代码打包，Export -> Java ->JAR file ,选中src部分，导出jar包。2.将jar包放入Linux机器中的某个目录，一般是用ssh连接到linux服务器。如：example.jar3.将需要传入作为参数的文件也放入该目录，如conf-*.prop4.编写一个设置ClassPath的脚本，set.sh,其内容如下：#!/bin/shexport CLA...【阅读全文】
【LINUX】 Linux下运行Hadoop程序的环境配置
niao5929 | 2013-08-25 16:17:58 | 阅读(840) | 评论(0)
1.首先将在eclipse开发的项目代码打包，Export -> Java ->JAR file ,选中src部分，导出jar包。2.将jar包放入Linux机器中的某个目录，一般是用ssh连接到linux服务器。如：example.jar3.将需要传入作为参数的文件也放入该目录，如conf-*.prop4.编写一个设置ClassPath的脚本，set.sh,其内容如下：#!/bin/shexport CLA...【阅读全文】
【LINUX】 Linux下运行Hadoop程序的环境配置
summershyn | 2013-08-24 11:42:26 | 阅读(2860) | 评论(0)
1.首先将在eclipse开发的项目代码打包，Export -> Java ->JAR file ,选中src部分，导出jar包。2.将jar包放入Linux机器中的某个目录，一般是用ssh连接到linux服务器。如：example.jar3.将需要传入作为参数的文件也放入该目录，如conf-*.prop4.编写一个设置ClassPath的脚本，set.sh,其内容如下：#!/bin/shexport CLA...【阅读全文】
【LINUX】 Hadoop集群配置
visualj | 2013-08-20 13:12:49 | 阅读(0) | 评论(0)
       通常，集群里的一台机器被指定为 NameNode，另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves1 先决条件确保在你集群中的每个节点上都安装了所有必需软件：sun-JDK  ，ssh，Hadoo...【阅读全文】
【LINUX】 hadoop开启数据回收站功能
berlin493 | 2013-07-30 18:17:13 | 阅读(0) | 评论(0)
Hadoop回收站trash，默认是关闭的。 习惯了window的同学，建议最好还是把它提前开开，否则误操作的时候，就欲哭无泪了本文转载http://running.iteye.com/blog/904536NOTE:    数据被删除后会在/user/$user/.Trash完整路径显示删除目录。但是有一个小缺陷就是trash只针对系统用户，(比如root,...【阅读全文】
【LINUX】 hadoop集群配置
zhengnx | 2013-07-27 20:29:52 | 阅读(3610) | 评论(1)
【阅读全文】
【LINUX】 用 Ganglia 监控hadoop集群
coolcole | 2013-07-16 01:25:09 | 阅读(720) | 评论(0)
随着数据中心的增长和管理人员的缩减，对计算资源使用有效监视工具的需求变得比以往更加迫切。术语监视 在应用到数据中心时可能会让人混淆，因为它的含义会根据具体的说话者和听众而有所不同。例如：在集群中运行应用程序的人员会思考：“我的作业什么时候运行？它什么时候会完成？以及与上一次相比，它是怎...【阅读全文】
【LINUX】 nfs 备份 hadoop namenode 元数据 (nfs 部分配置)
zhaohang3031 | 2013-07-01 17:55:17 | 阅读(1750) | 评论(0)
一、Server 端配置 (root@hz-search-zookeeper-01)su - hbase -c "mkdir /home/hbase/hadoop_nfs && chmod 777 /home/hbase/hadoop_nfs"echo '/home/hbase/hadoop_nfs 172.20.0.0/16(rw)' > /etc/exports/etc/init.d/portmap stop /etc/init.d/nfs stop/etc/init.d/nfslock stop/etc/init.d/portmap start...【阅读全文】
【LINUX】 【hadoop】Java HotSpot(TM) 64-Bit Server VM warning
ykyx00 | 2013-06-27 15:01:08 | 阅读(5850) | 评论(0)
ava HotSpot(TM) 64-Bit Server VM warning: Insufficient space for shared memory file: /tmp/hsperfdata_hadoop/2180此原因是由于磁盘满了造成的http://blog.sina.com.cn/s/blog_6e5e78bf0101nuyt.html【阅读全文】

盛拓传媒简介 | 关于IT168 | 合作伙伴 | 广告服务 | 使用条款 | 投稿指南 | 诚聘精英 | 联系我们 | 法律声明 | 网站导航 | 往日回顾

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年人举报专区
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员

网络110 报警服务