搜索博文结果_ChinaUnix博客

博客首页博客专家往日推荐博客文集

热搜： H3C 存储 C++ Mysql Oracle HADOOP 信息 CCNA

博客首页〉搜索结果

按类别查询搜索结果

操作系统程序设计数据库热点技术综合架构与运维移动开发与应用 Web前端

关于关键词的检测结果，共 1134 条

【HADOOP】配置HADOOP开发环境(1)-初始化环境

幸运啤酒盖 | 2013-07-08 19:24:41 | 阅读(1540) | 评论(0)

考虑到Windows平台尽管界面友好，但Hadoop环境配置较"怪异"，需借助cygwin，这个过程并不优雅。正好我手上另有一套ubuntu环境，用着也很顺手，就在ubuntu中安装了Eclipse IDE，在这套环境中配置安装Hadoop开发环境。在本地搭建HADOOP开发环境时，三思也在网上参考了很多文章，还是很有感触，一个是果然天下文章...【阅读全文】

【HADOOP】配置HADOOP开发环境(3)-代码开发和调试示例

幸运啤酒盖 | 2013-07-08 19:23:22 | 阅读(1470) | 评论(0)

4、代码开发和调试示例前面部署HADOOP时曾经测试过wordcount程序，这样我们在Eclipse也调试这一功能。HADOOP提供了这些示例的源代码，大家可以在HADOOP安装文件根路径下的examples目录下，比如WordCount位于：examples/org/apache/hadoop/examples/WordCount.java我们新建一个java文件，右键选中项目名称，点击Ne...【阅读全文】

【HADOOP】 Hadoop入门：单节点模式安装

windhawkgyang | 2013-07-07 08:38:30 | 阅读(7670) | 评论(2)

Hadoop是Intel公司推出的一款分布式系统框架，可以用于多个系统的协同工作，主要原理使用了MapReduce框架，先将原始数据map到不同的部分，在分布式系统中处理完成后再重新reduce成为一个整体。Hadoop在云计算中可以发挥独特的作用，今天先从安装单机节点模式开始对Hadoop有个感性的认识。首先...【阅读全文】

【LINUX】 nfs 备份 hadoop namenode 元数据 (nfs 部分配置)

zhaohang3031 | 2013-07-01 17:55:17 | 阅读(1770) | 评论(0)

一、Server 端配置 (root@hz-search-zookeeper-01)su - hbase -c "mkdir /home/hbase/hadoop_nfs && chmod 777 /home/hbase/hadoop_nfs"echo '/home/hbase/hadoop_nfs 172.20.0.0/16(rw)' > /etc/exports/etc/init.d/portmap stop /etc/init.d/nfs stop/etc/init.d/nfslock stop/etc/init.d/portmap start...【阅读全文】

【LINUX】【hadoop】Java HotSpot(TM) 64-Bit Server VM warning

ykyx00 | 2013-06-27 15:01:08 | 阅读(5870) | 评论(0)

ava HotSpot(TM) 64-Bit Server VM warning: Insufficient space for shared memory file: /tmp/hsperfdata_hadoop/2180此原因是由于磁盘满了造成的http://blog.sina.com.cn/s/blog_6e5e78bf0101nuyt.html【阅读全文】

【LINUX】【hadoop】 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode

ykyx00 | 2013-06-26 18:12:46 | 阅读(2190) | 评论(0)

hdfs启动后，有个datanode没启动起来，报错： ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: org.apache.hadoop.util.DiskChecker$DiskErrorException: Invalid value for validVolsRequired : 0 , Current valid volumes: 3主要原因是因为dfs.datanode.failed.volumes.tolerated 参数配置了3，这...【阅读全文】

【LINUX】 hadoop的java版本选择

berlin493 | 2013-06-25 12:42:18 | 阅读(0) | 评论(0)

这几天测试的时候使用的是jvm-1.6.0-18这个版本，会是不是因为jvm crash而导致datanode死掉。大牛告诉说这个版本不是很稳定，因为选择jvm-1.6.0-23这个版本。昨天晚上换了这个版本到现在没发现什么问题，比较稳定【阅读全文】

【HADOOP】配置hadoop，ssh无密码登陆失败

loler_zuan | 2013-06-21 20:55:10 | 阅读(2920) | 评论(1)

按照网上配置的步骤完成root无密码成功，但是普通用户不行使用ssh -v跟踪查看安全日志。http://6month.itpub.net/post/37672/468711但是按照上面的，找不到/var/log/secure最后发现，/var/log/secure是syslog的，现在所有的都是默认rsyslog（更好用）于是搜索rsyslog记录ssh。发现都是要修改iptables，各种无语......【阅读全文】

【云计算】 Hadoop实战-中高级部分之 Hadoop作业调优参数调整及原理

yakamoz1121 | 2013-06-13 16:24:08 | 阅读(2130) | 评论(0)

Hadoop RestFul Hadoop HDFS原理1 Hadoop HDFS原理2 Hadoop作业调优参数调整及原理 Hadoop HA Hadoop MapReduce高级编程 Hadoop IO Hadoop MapReduce工作原理 Hadoop 管理 ...【阅读全文】

【系统运维】 (转载)部署hadoop时的一些基本事项

yandaren_1220 | 2013-06-13 14:13:17 | 阅读(1310) | 评论(0)

【阅读全文】

【云计算】 Hadoop学习总结:Map-Reduce入门

yakamoz1121 | 2013-06-13 09:12:05 | 阅读(1720) | 评论(0)

转自：http://www.cnblogs.com/forfuture1978/archive/2010/11/14/1877086.html1、Map-Reduce的逻辑过程假设我们需要处理一批有关天气的数据，其格式如下：按照ASCII码存储，每行一条记录每一行字符从0开始计数，第15个到第18个字符为年第25个到第29个字符为温度，其中...【阅读全文】

【LINUX】 Hadoop的TestDFSIO测试

niao5929 | 2013-06-08 17:11:10 | 阅读(1400) | 评论(0)

cloudera为了测试Hadoop用mapreduce方式读写文件系统的性能，开发了TestDFSIO，用法如下：写测试cd到hadoop安装目录:# cd hadoop看看内存情况：# free -g同步内存文件缓存到硬盘：# sync清空linux文件系统缓存：# echo 3 > /proc/sys/vm/drop_...【阅读全文】

【云计算】 Hadoop Map/Reduce教程[一]

qianit | 2013-06-08 11:06:12 | 阅读(1530) | 评论(0)

Hadoop_MapReduce教程.doc【阅读全文】

【Windows平台】 Hadoop下运行WordCount例子

zhe_wang | 2013-05-26 21:00:38 | 阅读(5040) | 评论(0)

Hadoop下运行WordCount例子【阅读全文】

【Windows平台】 hadoop解除“Name node is in safe mode”

zhe_wang | 2013-05-19 09:05:32 | 阅读(2500) | 评论(0)

hadoop解除“Name node is in safe mode”【阅读全文】

【HADOOP】 Hadoop伪分布式每次启动时需要重新format否则namenode无法启动的问题

圣剑蓝骑士 | 2013-05-18 14:21:42 | 阅读(1280) | 评论(0)

伪分布式模式下，Hadoop每次start-all完之后，用jps发现namenode没有正常启动，原因是将hadoop默认的临时目录在/tmp目录下，这个目录在机器重启后就会删除。所以在conf目录下的core-site.xml文件里加入对临时文件夹的配置即可hadoop.tmp.dir/home/hadoop-1.0.4/tmpdir【阅读全文】

【PERL】 perl JSON hadoop

xmuyong | 2013-05-15 19:51:15 | 阅读(1900) | 评论(0)

本文主要介绍，如何使用JSON模块，以及在hadoop中如何添加JSON模块1. JSON模块的获取 http://search.cpan.org/~makamaka/JSON-2.57/lib/JSON.pm2. 在目录 ~/lib/下解压文件 tar -xzvf JSON-2.57.tar.gz3. 是用JSON模块 1. use lib ~/lib/JSON-2.57/lib ...【阅读全文】

【HADOOP】 Hadoop安装手册4-添加与删除Hadoop节点

ykyx00 | 2013-05-10 17:01:23 | 阅读(1350) | 评论(0)

3、HDFS添加节点现有环境如下：192.168.30.203 hdnode1192.168.30.204 hdnode2192.168.30.205 hdnode3其中hdnode1是namenode，hdnode2和hdnode3是datanode我们要新增加两个datanode：192.168.30.206 hdnode4192.168.30.207 hdnode5那...【阅读全文】

【服务器与存储】漫谈Hadoop HDFS Balancer

ykyx00 | 2013-05-10 16:56:33 | 阅读(1150) | 评论(0)

Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，比如集群中添加新的数据节点。当HDFS出现不平衡状况的时候，将引发很多问题，比如MR程序无法很好地利用本地计算的优势，机器之间无法达到更好的网络带宽使用率，机器磁盘无法利用等等。可见，保证HDFS中的数据平衡是非常重要的。在Hadoop中，包...【阅读全文】

【云计算】最新学习hadoop

mayu8758 | 2013-05-06 22:41:06 | 阅读(490) | 评论(0)

http://www.osedu.info/cloud-computing
云计算【阅读全文】

首页
<<
26
27
28
29
30
31
32
33
34
35
>>
末页

网络110 报警服务