搜索博文结果_ChinaUnix博客

博客首页博客专家往日推荐博客文集

热搜：网络安全存储 Python ubuntu Hyper-V HADOOP 高性能 FTP

博客首页〉搜索结果

按类别查询搜索结果

操作系统程序设计数据库热点技术综合架构与运维移动开发与应用 Web前端

关于关键词的检测结果，共 1134 条

【HADOOP】 hadoop namenode -formate后，上传文件报错 0 datanode(s) running and no node(s)

OowarrioroO | 2016-04-01 21:28:43 | 阅读(2600) | 评论(0)

hadoop namenode -formate后，上传文件报错 0 datanode(s) running and no node(s) are excluded
1.报错内容：
?put: File /user/username/testData/matrixdata.txt._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1). There are 0 datanode(s) running and no node(s) are excluded in this operation.
2.错误分析与解决
?打开hdfs-site.xml里配置的datanode和namenode对应的目录，分别打开current文件夹里的VERSION，可以看到clusterID项正如日志里记录的一样，确实不一致，修改datanode里VERSION文件的clusterID 与namenode里的一致，再重新启动dfs（执行start-dfs.sh）再执行jps命令可以看【阅读全文】

【大数据】 hadoop学习之hadoop完全分布式集群安装

海峡 | 2016-03-22 16:25:23 | 阅读(1110) | 评论(0)

hadoop master second【阅读全文】

【HADOOP】 Hadoop虚拟化扩展(HVE)之资源扩展技术

zzjlzx | 2016-03-21 10:38:53 | 阅读(2110) | 评论(0)

Hadoop虚拟化扩展(HVE)之资源扩展技术作者：vBigData 发布日期：2013-11-07 10:22:29背景在虚拟化的云环境中，Hadoop可以有更好的“弹性”，这是云计算的一个重要优势，例如亚马逊的EMR(ElasticMapReduce)服务, 用户可以迅速的在云中根据需求部署一个H...【阅读全文】

【HADOOP】正式生产环境下hadoop集群的DNS+NFS+ssh免密码登陆配置

zzjlzx | 2016-03-21 10:35:48 | 阅读(2160) | 评论(0)

正式生产环境下hadoop集群的DNS+NFS+ssh免密码登陆配置作者：weir2010 发布日期：2014-06-09 18:03:05环境虚拟机centos6.5主机名h3 IP 192.168.137.11 作为DNS FNS的服务器主机名h4 IP 192.168.137.12主机名h3 I...【阅读全文】

【HADOOP】 Hadoop之使用python实现数据集合间join操作

levy-linux | 2016-03-17 17:42:57 | 阅读(2740) | 评论(0)

hadoop之steaming介绍hadoop有个工具叫做steaming，能够支持python、shell、C++、PHP等其他任何支持标准输入stdin及标准输出stdout的语言，其运行原理可以通过和标准java的map-reduce程序对比来说明：使用原生java语言实现Map-reduce程序 hadoop准备好数据后，将数据传送给java的map程序 &nbs...【阅读全文】

【系统运维】 Redhat 下hadoop简单搭建

foreverxp0 | 2016-03-16 21:51:14 | 阅读(2870) | 评论(0)

一 hadoop简介 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop实现了一个分布式文件系统（Hadoop Distributed File System...【阅读全文】

【HADOOP】 Hadoop集群完全分布式模式环境部署

jelon521 | 2016-03-15 15:58:04 | 阅读(2150) | 评论(0)

Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲，...【阅读全文】

【大数据】 Hadoop伪分布式

zhaoritian | 2016-03-04 17:33:08 | 阅读(0) | 评论(0)

参见：http://www.powerxing.com/install-hadoop/1.格式化 ./bin/hdfs namenode -format2.开启 NameNode 和 DataNode 守护进程 ./sbin/start-dfs.sh3. jps 显示java进程4.停止 ./sbin/stop-dfs.sh5.成功启动后，可以访问 Web 界面 http://localhost:50070 查看 NameNode...【阅读全文】

【HADOOP】 Hadoop NameNode 高可用 (High Availability) 实现解析

speckle | 2016-03-01 08:23:49 | 阅读(2280) | 评论(0)

Hadoop NameNode HA【阅读全文】

【HADOOP】 Hadoop大数据平台运维工程师须掌握的基本命令集分享

hackeruncle | 2016-02-25 16:37:00 | 阅读(2540) | 评论(0)

本博文收集和整理了在日常维护hadoop集群时运维工程师需要掌握的最基本的hadoop管理与维护的相关命令，在此分享出来供大家参考学习~博主也是刚刚接触hadoop不久，如有问题欢迎批评指正~非常感谢【阅读全文】

【大数据】 2分钟读懂大数据框架Hadoop和Spark的异同

suiming2005 | 2016-02-24 09:03:07 | 阅读(1820) | 评论(0)

hadoop、spark比较【阅读全文】

【HADOOP】 Hadoop监控页面查看Hive的完整SQL

levy-linux | 2016-02-18 09:34:02 | 阅读(4170) | 评论(0)

想看看执行的hive job提交了什么语句，有没有方法从hadoop job监控页面查看？方法如下，这里看到简单的一段SQL，几乎看不出具体在执行什么任务。1、点开一个application，点击Tracking URL: ApplicationMaster 或者 History（历史任务显示History），进入到MapReduce Job job_1409xxxx，Job页面2、点击左侧的Config...【阅读全文】

【HADOOP】 Ubuntu安装Hadoop进行namenode格式化出现Format aborted in path

神域风云再起 | 2016-02-11 16:26:22 | 阅读(1660) | 评论(0)

在使用hadoop namenode -format进行namenode的格式化时候，出现错误Format aborted in path出现错误的原因是：在对namenode格式化之前，要确保dfs.name.dir参数指定的目录不存在（hdfs-site.xml文件）。hadoop这样做的目的是防止错误的将已存在的集群格式化了。解决方法：关闭hadoop服务将上面参数指定的文件夹删除，...【阅读全文】

【HADOOP】 hadoop节点一块硬盘故障更换方法

levy-linux | 2016-01-20 10:46:13 | 阅读(5090) | 评论(0)

hadoop节点服务器的一块硬盘出现物理故障，需要更换，将节点的服务停止，暂时不提供服务，将故障更换了，新盘格式化，fdisk -l新的2T盘为/dev/sdeparted -s /dev/sde mklabel gpt mkpart primary 0% 100%格式化：mkfs.ext4 /dev/sde1挂载硬盘：mount /dev/sde /data2正常启动datanode服务，但是报错，如下：...【阅读全文】

【HADOOP】 Hadoop集群完全分布式模式环境部署

h136919934 | 2016-01-18 20:14:30 | 阅读(790) | 评论(0)

【HADOOP】 hadoop强制进行Active/Standby切换需要注意的问题

levy-linux | 2016-01-13 15:29:57 | 阅读(8570) | 评论(0)

NN切换hdfs haadmin -transitionToActive/transitionToStandbyRM切换yarn rmadmin -transitionToActive/transitionToStandby但是，这种方式在启用了ZKFC做自动失效恢复的状态下是不允许修改的，提示信息里只说了可以强制执行，但是没有提供命令，其实强制切换主备命令很简单。加个forcemanual就好了。强制切换yar...【阅读全文】

【大数据】 hadoop版本比较

oracle_ren | 2016-01-06 10:17:04 | 阅读(1790) | 评论(0)

由于Hadoop版本混乱多变，因此，Hadoop的版本选择问题一直令很多初级用户苦恼。本文总结了Apache Hadoop和Cloudera Hadoop的版本衍化过程，并给出了选择Hadoop版本的一些建议。 1. Apache Hadoop 1.1 Apache版本衍化截至目前（2012年12月23日），Apache Had...【阅读全文】

【HADOOP】 hadoop job报错is running beyond physical memory limits

levy-linux | 2015-12-30 15:25:02 | 阅读(15010) | 评论(0)

跑job 的时候发现如下错误，Container [pid=41355,containerID=container_1451456053773_0001_01_000002] is running beyond physical memory limits. Current usage: 2.0 GB of 2 GB physical memory used; 5.2 GB of 4.2 GB virtual memory used. Killing container. Dump of the process-tree for container_1451456...【阅读全文】

【HADOOP】 Python+Hadoop Streaming实现MapReduce（word count）

cokeboL | 2015-12-25 15:08:30 | 阅读(0) | 评论(0)

from：http://blog.csdn.net/jthink_/article/details/42745699参考：http://blog.csdn.net/jthink_/article/details/41016909 http://blog.csdn.net/jthink_/article/details/427463971. hadoop本身是用java写的，所以用java写mapreduce是比较合适的，...【阅读全文】

【HADOOP】使用docker搭建hadoop-spark环境

cokeboL | 2015-12-23 13:29:36 | 阅读(3440) | 评论(0)

1.安装ubuntu-server14.042.ubuntu-server14.04安装docker sudo apt-get install docker-io3.pull hadoop-docker???? docker pull sequenceiq/hadoop-docker:2.7.1 docker run -it sequenceiq/hadoop-docker:2.7.1 /etc/bootstrap.sh -bash 参考 https://github.com/sequenceiq/hadoop-d...【阅读全文】

首页
<<
1
2
3
4
5
6
7
8
9
10
>>
末页

网络110 报警服务