ChinaUnix首页 | 论坛 | 博客
博客首页 博客专家 往日推荐 博客文集
热搜： Android JavaScript 网络安全 cISCO Python LINUX CCNA FTP
博客首页 〉搜索结果
按类别查询搜索结果
操作系统 程序设计 数据库 热点技术 综合 架构与运维 移动开发与应用 Web前端
关于关键词 的检测结果，共 117 条
【HADOOP】 Hadoop在Windows环境下的部署
hnynes | 2014-02-28 15:46:17 | 阅读(3610) | 评论(1)
安装JDK1.下载JDK       http://www.oracle.com/technetwork/java/javaee/downloads/java-ee-sdk-6u3-jdk-6u29-downloads-523388.html2.解压   或者直接运行.exe安装后面根据项目的实际需要来进行调整。安装...【阅读全文】
【HADOOP】 四种方案将OpenStack部署到Hadoop
zzjlzx | 2014-02-18 17:21:07 | 阅读(690) | 评论(0)
四种方案将OpenStack部署到Hadoop导读：随着企业开始同时利用云计算和大数据技术，现在应当考虑如何将这些工具结合使用。尤其是OpenStack作为目前最流行的开源云版本如何部署在Hadoop上。关键词：OpenStack Hadoop 大数据技术 　　随着企业开始同时利用云计算和大数据...【阅读全文】
【HADOOP】 Hadoop初探之常用端口列表
ichenxiaohu | 2014-02-17 08:50:02 | 阅读(720) | 评论(0)
一、HDFS端口参数描述默认配置文件例子值fs.default.namenamenode RPC交互端口8020core-site.xmlhdfs://master:8020/dfs.http.address...【阅读全文】
【HADOOP】 Hadoop初探之常用端口列表
niao5929 | 2014-02-16 16:12:38 | 阅读(660) | 评论(0)
一、HDFS端口参数描述默认配置文件例子值fs.default.namenamenode RPC交互端口8020core-site.xmlhdfs://master:8020/dfs.http.address...【阅读全文】
【HADOOP】 Hadoop初探之常用端口列表
scq2099yt | 2014-02-16 09:01:26 | 阅读(7090) | 评论(0)
一、HDFS端口参数描述默认配置文件例子值fs.default.namenamenode RPC交互端口8020core-site.xmlhdfs://master:8020/dfs.http.address...【阅读全文】
【HADOOP】 MapReduce初探之使用Hadoop分析数据
Larpenteur | 2014-02-09 10:32:35 | 阅读(1180) | 评论(0)
        MapReduce是一种可用于数据处理的编程模型，Hadoop可以运行由各种语言编写的MapReduce程序。MapReduce程序本质上是并行运行的，因此，可以将大规模的数据分析任务交给任何一个拥有足够多机器的运营商。MapReduce的优势在于处理大规模数据集，这里以一个气象数据集分析为例说明之，查...【阅读全文】
【HADOOP】 MapReduce初探之使用Hadoop分析数据
scq2099yt | 2014-02-04 22:28:09 | 阅读(6650) | 评论(1)
        MapReduce是一种可用于数据处理的编程模型，Hadoop可以运行由各种语言编写的MapReduce程序。MapReduce程序本质上是并行运行的，因此，可以将大规模的数据分析任务交给任何一个拥有足够多机器的运营商。MapReduce的优势在于处理大规模数据集，这里以一个气象数据集分析为例说明之，查...【阅读全文】
【HADOOP】 mapreduce理解--（转载自heipark的日志）
buaaedifier | 2014-01-26 22:55:18 | 阅读(2600) | 评论(0)
linux平台下有个ls指令，大家都很熟悉：① ls | grep 2008   查询文件名包含2008的文件（这其实就是一个map，找到需要的数据）② ls | grep 2008 | wc -l 计算上述指令查询文件个数（这其实就是一个reduce，对找到数据进行汇总聚合） 再来一个例子，关于SQL：select * from device&nb...【阅读全文】
【HADOOP】 Hadoop的分布式架构改进与应用
LaoLiulaoliu | 2014-01-09 10:33:40 | 阅读(680) | 评论(0)
文章来源：http://blog.csdn.net/pelick/article/details/76194931.  背景介绍       谈到分布式系统，就不得不提到Google的三驾马车:GFS[1],MapReduce[2]和BigTable[3]。虽然Google没有开源这三个技术的实现源码，但是基于这三篇开源文档, Nutch项目子项目之一的Yahoo资助的Had...【阅读全文】
【HADOOP】 chd 历史版本程序下载
xjc2694 | 2013-12-31 13:52:06 | 阅读(0) | 评论(0)
http://archive.cloudera.com/cdh/3/【阅读全文】
【HADOOP】 基于Hadoop平台做大数据的几种应用
jiongtoast | 2013-12-06 11:04:12 | 阅读(1170) | 评论(0)
1、自己写MapReduce任务，虽然开发难度大一点，但运行效率比Pig和Hive高，像Google的PageRank排名，机器学习、推荐，全盘扫描的ETL都是这种方式的典型应用；2、用Hive做分析，Hive的一大好处就是能使用程序员熟悉的SQL进行计算任务编写，但某些运算效率不及M/R；3、用Pig做数据分析，Pig是Yahoo的研发成果，yahoo也希望...【阅读全文】
【HADOOP】 在多硬盘情况下的Hadoop配置注意项
zzjlzx | 2013-11-29 11:28:30 | 阅读(1580) | 评论(0)
在多硬盘情况下的Hadoop配置注意项分类： hadoop 收藏2012-04-23 20:04 280人阅读 评论(0) 收藏 举报hadoophtml多线程文档测试原文地址：http://blog.csdn.net/dajuezhao/article/details/6797015一、背景1、最近在做hadoop的性能测试，采用了自带的Ter...【阅读全文】
【HADOOP】 增加Hadoop datanode启动异常：UnregisteredDatanodeException datanode没全启动起来
zzjlzx | 2013-11-28 15:19:44 | 阅读(1160) | 评论(0)
 Hadoop启动异常：UnregisteredDatanodeException datanode没全启动起来分类： hadoop2013-03-04 16:17 199人阅读 评论(0) 收藏 举报启动Hadoop集群测试HBase时候，发现三台DataNode只启动成功了两台，未启动成功的那一台日志中出现了下列异常： 写...【阅读全文】
【HADOOP】 Ubuntu下如何禁用IPv6
windhawkgyang | 2013-10-16 11:32:02 | 阅读(12970) | 评论(1)
     分布式下的hadoop/hbase运行总出问题，zookeeper连接总是出问题，怀疑可能是ipv6的问题，于是决定在Ubuntu下禁用IPv4。自己的版本是Ubuntu-12.04，貌似8.0之后的版本禁用ipv6都需要修改内核的加载项进行设置：1. sudo vim /etc/default/grub2. 将文件中的  GRUB_CMDLINE_LINUX_DEFAULT="...【阅读全文】
【HADOOP】 应该在什么时候使用Hadoop
jieforest | 2013-10-16 10:10:56 | 阅读(2780) | 评论(0)
有人问我，“你在大数据和Hadoop方面有多少经验？”我告诉他们，我一直在使用Hadoop，但是我处理的数据集很少有大于几个TB的。他们又问我，“你能使用Hadoop做简单的分组和统计吗？”我说当然可以，我只是告诉他们我需要看一些文件格式的例子。他们递给我一个包含600MB数据的闪盘，看起来这些数据并非样本数据，由于一...【阅读全文】
【HADOOP】 DataNode,NameNode,JobTracker,TaskTracker用jps查看无法启动解决办法
double_lq | 2013-10-15 16:32:48 | 阅读(4120) | 评论(0)
将hadoop伪分布模式配置完后，使用jps查看，发现总是有一些没有启动，非常郁闷，在多番研究后发现有两个原因，一个是在/tmp目录下有以前使用的版本留下的文件没有删除，二个是因为端口被占用了解决方法：一.删除/tmp下的所有文件       hadoop@liuqin-VirtualBox:~$ ...【阅读全文】
【HADOOP】 【用户不在sudoers文件中】问题解决
windhawkgyang | 2013-10-11 09:47:06 | 阅读(9840) | 评论(0)
     昨天在机房呆了一天，忙活着部署hadoop分布式节点。在网上查了一些部署的资料，其中有一步是为所有的节点创建同样的用户'hadoop'，并且加入到%admin组中。自己在做的时候提示%admin组不存在，其实Ubuntu系统中可以使用usermod username -g root的方式加入到管理组中，不晓得为什么自己的机器上使用%ad...【阅读全文】
【HADOOP】 Windows下查看CLASS文件
windhawkgyang | 2013-09-05 13:43:36 | 阅读(210) | 评论(0)
     这几天没怎么看MFC了，全力用在STK的源码排错上。不过对于java的代码自己看起来还是有些吃力的，毕竟才刚刚熟悉面向对象编程，了解了类的基本概念。自己运行tpkickoff时中间的某个job提示错误java.lang.NullPointerException，然后给出了一些列异常出现的文件位置：     第一个错误...【阅读全文】
【HADOOP】 mapreduce理解--（转载自heipark的日志）
dsy851009 | 2013-09-02 13:59:23 | 阅读(2140) | 评论(0)
linux平台下有个ls指令，大家都很熟悉：① ls | grep 2008   查询文件名包含2008的文件（这其实就是一个map，找到需要的数据）② ls | grep 2008 | wc -l 计算上述指令查询文件个数（这其实就是一个reduce，对找到数据进行汇总聚合） 再来一个例子，关于SQL：select * from device&nb...【阅读全文】
【HADOOP】 Ubuntu 下配置hadoop 1.0.3 （Single Node Cluster）
bearmimi001 | 2013-08-23 15:59:34 | 阅读(1810) | 评论(0)
  1.安装ssh  2.安装resync  3.配置ssh免密码登录            ssh-keygen -t rsa -P ""cd ~/.sshcat id_rsa.pub >> authorized_keys登录localhost;...【阅读全文】

盛拓传媒简介 | 关于IT168 | 合作伙伴 | 广告服务 | 使用条款 | 投稿指南 | 诚聘精英 | 联系我们 | 法律声明 | 网站导航 | 往日回顾

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年人举报专区
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员

网络110 报警服务