按类别查询搜索结果
关于关键词 的检测结果,共 75
【大数据】 hadoop distcp FAQ
wenhq | 2015-08-06 11:55:34 | 阅读(1520) | 评论(0)
<span style="font-family:Verdana, Helvetica, sans-serif;font-size:12.8000001907349px;line-height:15.3599996566772px;white-space:normal;background-color:#FFFFFF;">&nbsp;</span><span style="line-height:15.3599996566772px;white-space:normal;background-color:#FFFFFF;font-size:14.0799999237061px;"><span ...【阅读全文】
mingfei10 | 2015-07-28 16:31:25 | 阅读(1240) | 评论(0)

mapper.sh
点击(此处)折叠或打开...【阅读全文】
chouy | 2015-07-28 13:38:56 | 阅读(3640) | 评论(0)
hadoop hbase chmod mkdir hadoop-root【阅读全文】
mingfei10 | 2015-07-22 14:40:15 | 阅读(1480) | 评论(0)
转自:使用Python实现Hadoop MapReduce程序【阅读全文】
mingfei10 | 2015-07-22 14:03:24 | 阅读(4240) | 评论(0)
<div class="article_title" style="margin:5px 0px;font-stretch:normal;font-size:20px;line-height:30px;font-family:'Microsoft YaHei';white-space:normal;background-color:#FFFFFF;">转自:http://blog.csdn.net/renfengjun/article/details/25320043</div><div id="article_content" class="article_content" s...【阅读全文】
mingfei10 | 2015-07-21 17:23:31 | 阅读(1370) | 评论(0)
<table cellspacing="0" cellpadding="0" style="empty-cells:show;table-layout:fixed;width:757px;color:#444444;font-family:Tahoma, 'Microsoft Yahei', Simsun;font-size:12px;line-height:18px;background-color:#FFFFFF;"><tbody><tr><td class="t_f" id="postmessage_28991" style="font-size:14px;">...【阅读全文】
niao5929 | 2015-07-21 17:05:10 | 阅读(1370) | 评论(0)
<div style="font-size:12px;color:#333333;font-family:tahoma, 宋体;line-height:normal;white-space:normal;text-align:center;background-color:#FAFAFC;"><h1 class="aTitle" style="font-size:16px;position:relative;padding-top:10px;">在Linux下安装与配置Hadoop</h1></div><table width="97%" align="ce...【阅读全文】
mingfei10 | 2015-07-21 16:17:39 | 阅读(1260) | 评论(0)
转自http://www.cnblogs.com/yjmyzz/p/4280069.html
环境:centos 6.6 + hadoop2.6【阅读全文】
【大数据】 Hadoop管理实战培训
sittc2 | 2015-06-09 14:34:18 | 阅读(500) | 评论(0)
随着云计算和大数据的发展,Hadoop作为海量数据分析的最佳解决方案,在可伸缩性、健壮性、计算性能和成本上具有无可替代的优势,事实上已成为当前互联网企业主流的大数据分析平台,使企业从所有不同类型的数据里挖掘商业价值成为现实。Hadoop受到许多 IT厂商的关注,从而出现了许多Hadoop的商业版以及支持Hadoop的产品,形成一个强大的生态系统.掌握全面的海量处理解决方案、精通hadoop技术要点的高级云计算技术人才成为整个行业的紧缺人才。
上海市信息技术培训中心特邀国内著名Cloudera授权培训讲师,推出Apache Hadoop认证培训,为您介绍涉及与数据一同成长所面临的普遍挑战和解决方案,带您学习使用Apache Hadoop来创建开发强大的数据处理应用,掌握海量数据处理技术,开启通往大数据和云时代的大门。【阅读全文】
levy-linux | 2015-05-04 13:52:06 | 阅读(5910) | 评论(0)
近期帮助一个朋友解决eclipse hadoop连接问题run as hadoop方式,(hadoop 2.X  Eclipse 4.5.X)报错信息:error:call from alia-pc/192.168.111.1 to 192.168.1.73:9000 failed on connection exception:java.net.Connection:Connection refused:no further...【阅读全文】
levy-linux | 2015-04-30 15:30:44 | 阅读(2300) | 评论(0)
配置hadoop-eclipse开发环境(Version: 3.4.1 and hadoop-1.2.1)hadoop-eclipse-1.2.1 插件需要自行编译,所以为了图省事而从网上直接下载了这个jar包,下载资源。下载这个jar包后,将它放置在eclipse/plugins目录下,并重启eclipse即可。如果你需要自己编译该插件,网上搜索下。...【阅读全文】
feng5hao | 2015-04-28 09:05:05 | 阅读(0) | 评论(0)
1、Spark 是在 Scala 语言中实现的,它将 Scala 用作其应用程序框架。与 Hadoop 不同,Spark 和 Scala 能够紧密集成,其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。2、尽管创建 Spark 是为了支持分布式数据集上的迭代作业,但是实际上它是对 Hadoop 的补充,可以在 Hadoop 文件系...【阅读全文】
levy-linux | 2015-04-09 00:39:39 | 阅读(2600) | 评论(0)
清洗数据写好代码后,运行报错:ERROR org.apache.hadoop.mapred.TaskTracker: Can not start task tracker because java.io.IOException: Failed to set permissions of path: \tmp\hadoop-****** to 0700 at org.apache.hadoop.fs.FileUtil.checkReturnValue(FileUtil.java:682) at org.apache.hadoop.fs....【阅读全文】
鲍礼彬 | 2015-02-12 23:14:03 | 阅读(290) | 评论(0)
hadoop-1.2.1集群安装zookeeper-3.4.5 1、 查看集群各主机名: 2、解压到  /home/hadoop   及一般用户权限目录下面: 3、在zookeeper-3.4.5 目录下创建文件夹data4、data里面创建文件myid:  5、在zookeeper-3.4....【阅读全文】
willick | 2015-01-20 16:47:39 | 阅读(0) | 评论(0)
之前都是用root运行的,但是现在必须要解决这个问题。hdfs的权限判断十分简单,就是拿发出指令的user name和文件的user name 做比较  private void check(INode inode, FsAction access      ) throws AccessControlException {   &nb...【阅读全文】
Hadoop思数云 | 2014-11-27 11:35:38 | 阅读(580) | 评论(0)
 今天,企业对数据价值的认同已经成为共识,然而如何从海量的数据信息中挖掘其中的价值却并不那么容易,幸运的是,找到了hadoop数据挖掘与分析工具。 Hadoop是一个开源的分布式系统基础架构,由Apache基金会开发,使得用户可以在不了解分布式底层细节的情况下,开发分布式应用程序,充分利用集群的威力实现高速运算...【阅读全文】
rocky2014 | 2014-10-04 15:06:49 | 阅读(340) | 评论(0)
Spark视频第1期:Spark亚太研究院决胜云计算大数据时代:100期Spark公益大讲堂之革命Hadoop Spark把云计算大数据速度提高100倍以上【阅读全文】
幸福彼岸ing | 2014-07-30 13:52:21 | 阅读(2400) | 评论(1)
hadoop开发入门实例 Hadoop实战视频教程:Cloudera Hadoop 4 实战课程(Hadoop 2.0、集群界面化管理、电商在线查询+日志离线分析)课程讲师:Cloudy课程分类:大数据适合人群:中级课时数量:40课时用到技术:CDH4,Cloudera Manager,Hive,HBase,Sqoop涉及项目:电商业日志流量分析项目hadoop开发入门实例 Hadoop...【阅读全文】
【大数据】 hadoop的dfs.umask
damofeixue64 | 2014-02-24 11:38:14 | 阅读(2440) | 评论(0)
hadoop的dfs.umask 通过dfs.umask可以控制在hdfs上创建的文件夹和文件的属性,该值的默认值为0022。在hadoop中通过dfs.umask参数可以控制默认的文件的权限。dfs.umask的设置 dfs.umask 0002这个参数和linux中的u...【阅读全文】
buaaedifier | 2014-01-26 22:59:24 | 阅读(2450) | 评论(0)
有人问我,“你在大数据和Hadoop方面有多少经验?”我告诉他们,我一直在使用Hadoop,但是我处理的数据集很少有大于几个TB的。他们又问我,“你能使用Hadoop做简单的分组和统计吗?”我说当然可以,我只是告诉他们我需要看一些文件格式的例子。他们递给我一个包含600MB数据的闪盘,看起来这些数据并非样本数据,由于一...【阅读全文】