搜索博文结果_ChinaUnix博客

simiaoxiaoseng | 2015-12-25 09:16:38 | 阅读(1430) | 评论(0)

本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记，如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性，如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】

【HADOOP】大数据之快速搭建hadoop2.6集群指南

simiaoxiaoseng | 2015-12-25 09:16:33 | 阅读(1200) | 评论(0)

本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记，如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性，如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】

【HADOOP】大数据之快速搭建hadoop2.6集群指南

simiaoxiaoseng | 2015-12-25 09:16:28 | 阅读(1160) | 评论(0)

本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记，如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性，如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】

【HADOOP】部署Hadoop集群的步骤

yejuanbai | 2015-12-16 17:25:07 | 阅读(330) | 评论(0)

Hadoop集群的部署方法简介，以Suse11为操作系统的Hadoop集群搭建实例。【阅读全文】

【HADOOP】 Hadoop企业级集群架构 - Hadoop安装

niao5929 | 2015-11-17 12:51:52 | 阅读(1400) | 评论(0)

Hadoop企业级集群架构 - Hadoop安装[日期：2015-11-16]来源：Linux社区作者：chujq[字体：大中小]Hadoop企业级集群架构 - Hadoop安装1. 在h1.hadoop上解压并配置hadoop-2.5.22. 在hadoop安装目录下，创建tmp,data...【阅读全文】

【HADOOP】 Hadoop企业级集群架构 - NFS安装

niao5929 | 2015-11-17 12:50:21 | 阅读(1210) | 评论(0)

Hadoop企业级集群架构 - NFS安装[日期：2015-11-16]来源：Linux社区作者：chujq[字体：大中小]Hadoop企业级集群架构 - NFS安装服务器地址：192.168.1.230 安装NFS软件检查nfs是否安装完成...【阅读全文】

【HADOOP】 Hadoop企业级集群架构 - DNS安装

niao5929 | 2015-11-17 12:49:18 | 阅读(1320) | 评论(0)

Hadoop企业级集群架构 - DNS安装[日期：2015-11-16]来源：Linux社区作者：chujq[字体：大中小]Hadoop企业级集群架构 - DNS安装1. 配置IP vi /etc/sysconfig/network-scripts/ifcfg-eno16777736s...【阅读全文】

【HADOOP】基于Hadoop集群的大规模分布式深度学习

aqiandao | 2015-11-13 16:56:04 | 阅读(1360) | 评论(0)

　　前言　　在过去的十年里，Yahoo 一直持续投资建设和扩展 Apache Hadoop 集群，到目前为止共有超过 4 万台服务器和 600PB 数据分布在 19 个集群上。正如在 2015 Hadoop 峰会上介绍的，我们在自己的服务器上开发了可扩展的机器学习算法，用于分类、排序和计算词向量。目前，Hadoop 集群已成为 Yahoo 大规模机器学...【阅读全文】

【HADOOP】 hadoop群集运行job慢的问题

levy-linux | 2015-11-04 18:22:26 | 阅读(1510) | 评论(0)

近期业务需求使用ambari安装了新的hadoop群集，大概30台服务器，安装比较顺利，但是群集安装后，job运行的很慢，但可以完成，反复查找问题，hadoop参数调整优化，代码开发检查，反复的测试，群集的本地读写能力，就是慢，经过几天的奋战，终于找到问题的原因，竟然是有各别的datanode节点网络有问题，scp数据的时候每秒...【阅读全文】

【HADOOP】 kafka集群环境安装

hbhe0316 | 2015-10-29 17:36:48 | 阅读(1380) | 评论(0)

三台操作系统搭建kafka集群环境OS版本：[root@Master kafka_2.10-0.8.2.2]# lsb_release -aLSB Version::base-4.0-amd64:base-4.0-noarch:core-4.0-amd64:core-4.0-noarch:graphics-4.0-amd64:graphics-4.0-noarch:printing-4.0-amd64:printing-4.0-noarchDistributor ID:CentOSDescription:CentOS release 6.5 (F...【阅读全文】

【HADOOP】 hadoop2.6集群环境安装

hbhe0316 | 2015-10-26 15:10:41 | 阅读(1440) | 评论(0)

1.环境说明[root@Master hadoop-2.6.0]#lsb_release -aLSB Version::base-4.0-amd64:base-4.0-noarch:core-4.0-amd64:core-4.0-noarch:graphics-4.0-amd64:graphics-4.0-noarch:printing-4.0-amd64:printing-4.0-noarchDistributor ID:CentOSDescription:CentOS release 6.5 (Final)Release:6.5Codename:Final...【阅读全文】

【HADOOP】 hadoop群集设置block副本，对于数据传输很有影响的

levy-linux | 2015-10-15 19:33:23 | 阅读(2050) | 评论(0)

最近测试了下hadoop读写数据的情况，将结果分享给大家，

datanode
mem：128G
cup：2cpu 26** 4核共8核

namenode
mem：192G
cup：2cpu 26** 4核共8核

datanode15台
namenode2台

单个文件2G 使用-put方式
data block repl...【阅读全文】

【HADOOP】 Zookeeper集群安装

xuemling | 2015-09-17 15:44:32 | 阅读(1460) | 评论(0)

Zookeeper集群安装，以及应用【阅读全文】

【HADOOP】 hadoop群集出现crontab job不执行的情况

levy-linux | 2015-09-16 19:04:08 | 阅读(2220) | 评论(0)

今天hadoop群集出现crontab job不执行的情况，手动运行job，报错如下： org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.RetriableException): org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot delete /user/hdfs/.staging/job_1441592436807_1892.<span style="back...【阅读全文】

【HADOOP】 hadoop群集get文件的时候出现报错

levy-linux | 2015-09-15 10:47:51 | 阅读(4080) | 评论(0)

今天hadoop群集get文件的时候出现报错，如下： $hdfs dfs -get /test/part-r-00000.gz ./ 15/09/15 09:20:33 INFO hdfs.DFSClient: Access token was invalid when connecting to /192.168.2.42:50010 : org.apache.hadoop.hdfs.security.token.block.InvalidBlockTokenException: Got access token err...【阅读全文】

【HADOOP】很久没有启动datanode服务的节点，重新启动，出现的Block更新情况

levy-linux | 2015-09-10 17:14:16 | 阅读(3280) | 评论(0)

最近处理一台，很久没有启动datanode服务的节点，启动后发现日志中一直有如下信息不断个产生，

2015-09-10 14:22:28,474 INFO datanode.DataNode (DataXceiver.java:writeBlock(598)) - Receiving BP-219392391-192.168.20.101-
1404293177278:blk_1121179008_48430870 src: /192.168.20.1...【阅读全文】

【HADOOP】大数据之快速搭建hadoop2.6集群指南

北极熊和企鹅 | 2015-09-09 10:46:53 | 阅读(750) | 评论(0)

本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记，如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性，如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】

【HADOOP】大数据之快速搭建hadoop2.6集群指南

北极熊和企鹅 | 2015-09-09 10:46:53 | 阅读(710) | 评论(0)

本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记，如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性，如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】

【HADOOP】大数据之快速搭建hadoop2.6集群指南

北极熊和企鹅 | 2015-09-09 10:46:53 | 阅读(710) | 评论(0)

本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记，如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性，如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】

【HADOOP】大数据之快速搭建hadoop2.6集群指南

北极熊和企鹅 | 2015-09-09 10:46:53 | 阅读(670) | 评论(0)

本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记，如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性，如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】