搜索博文结果_ChinaUnix博客

博客首页博客专家往日推荐博客文集

热搜： Android 服务器 .net C语言 Ruby 嵌入式 Oracle 虚拟化

博客首页〉搜索结果

按类别查询搜索结果

操作系统程序设计数据库热点技术综合架构与运维移动开发与应用 Web前端

关于关键词的检测结果，共 1134 条

【云计算】 linux安装、配置hadoop

developinglife | 2012-12-29 22:58:40 | 阅读(7027) | 评论(0)

一、安装hadoop1 因为hadoop是基于java的，所以要保证hadoop能找到在本地系统中大路径，即正确设置java的环境变量。详细请看：linux 安装配置jdk2 到官网：http://www.apache.org/dyn/closer.cgi/hadoop/common/ 下载hadoop，这里我选择hadoop1.0.43 解压到 /usr/localtar -xvf hadoop-1.0.4.tar.gz4 设置hadoop环境变量，为了使环境变量永久有效并对所有用户有效，我们将下面两句添加到/etc/profileexport HADOOP_HOME=/usr/local/【阅读全文】

【未分类】 Hadoop Namenode不能启动（dfs/name is in an inconsistent state）

樱木的追风者 | 2012-12-28 16:09:12 | 阅读(2611) | 评论(0)

以下转自：http://www.linuxidc.com/Linux/2012-03/56348.htm前段时间自己的本机上搭的hadoop环境（按文档的伪分布式），第一天还一切正常，后来发现每次重新开机以后都不能正常启动，在start-dfs.sh之后jps一下发现namenode不能正常启动，按提示找到logs目录下namenode的启动log发现如下异常org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /tmp/hadoop-javoft/dfs/name is in an incon【阅读全文】

【云计算】使用eclipse编写hadoop程序

developinglife | 2012-12-26 23:13:22 | 阅读(5970) | 评论(0)

1 创建Map/Reduce 工程 File->new->project->Map/Reduce Project 2 创建类WordCount File->new->class 3 设置输入输出参数 Run->Run Configuration, Arguments 在program arguments中写入输入输出参数，即输入输出文件路径： hdfs://localhost:9000/user/leo/ hdfs://localhost:9000/user/out 4 run as java a【阅读全文】

【云计算】 eclipse连接hadoop

developinglife | 2012-12-26 16:27:57 | 阅读(1829) | 评论(0)

之前使用hadoop-0.20.203.0，试了eclipse的几个版本：3.7,3.5，3.4，都连接不上hadoop，提示连接dfs时缺少主类：org.apache.commons.configuration。按照有些博客写的将hadoop自带的eclipse插件进行了更改，添加了几个jar包，并修改了MANIFEST.MF,还是不行。花了很多天，最终使用了新版本hadoop，eclipse最终连接成功。具体环境是使用vmware安装: ubuntu 11.04 hadoop 1.0.4 eclipse indigo3.7.2 for java devel【阅读全文】

【未分类】搭建hadoop伪分布节点时ssh的设置

ljc_2155 | 2012-12-24 18:03:11 | 阅读(538) | 评论(0)

目标：ssh localhost 无需键入密码步骤：前提：确认主机安装ssh shhd 分别是 ssh客户端和server端使用hadoop账户：ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys建立好这些文件后，无需修改sshd_config或ssh_config文件ssh客户端默认会在passwd验证之前，在本地~/.ssh目录下寻找dsa、rsa等加密方式的密钥文件，看能否免除密码键入的验证步骤做好上述配置后，ssh【阅读全文】

【HADOOP】 Hadoop不是万能的

yungho | 2012-12-17 16:15:02 | 阅读(1576) | 评论(0)

From：http://www.programmer.com.cn/10416/ 2011年，对Hadoop来说注定是载入史册的一年：Yahoo!与风险投资公司Benchmark Capital联合建立独立公司Hortonworks，接手Yahoo!开源软件平台Apache Hadoop；Hadoop海量数据分析平台Datameer、Karmasphere和Hadapt分别获得千万美元级别投资；一向对开源趋势不屑一顾的微软转投Hadoop怀抱；Hadoop之父Doug Cutting第一次莅临中国，布道Hadoop 0.23…… 可以说，Hadoop生态系统呈【阅读全文】

【未分类】搭建简单的hadoop 分布式存储环境

david224 | 2012-12-13 16:03:56 | 阅读(685) | 评论(0)

这两天在Ubuntu Server 12.04下搭建了三套分布式存储环境：hadoop，qfs和glusterfs。分别简单测试了一下性能，说是性能测试，其实离真实性能测试还有不少距离，但是基本能了解这三种架构大概能跑到多少的数据心里有底了。首先规划节点：namenode：192.168.4.175datanode：192.168.4.176-178 三台测试机器：192.168.4.200配置这5台机器的/etc/hosts，使每台设备都能相互通过IP和主机名进行解析。ssh的配置，因为namenode需要通过ssh key认证，在运行中对从节点进行控制，所以通过生成的rsa key文件进行【阅读全文】

【未分类】搭建简单的hadoop 分布式存储环境

niao5929 | 2012-12-12 16:35:08 | 阅读(264) | 评论(0)

【服务器与存储】搭建简单的hadoop 分布式存储环境

stef9k | 2012-12-12 00:35:18 | 阅读(2299) | 评论(0)

这两天在Ubuntu Server 12.04下搭建了两个套分布式存储环境：hadoop和glusterfs。分别简单测试了一下性能，说是性能测试，其实离真实性能测试还有不少距离，但是基本能了解这两种架构大概能跑到多少的数据心里有底了。首先规划节点： namenode：192.168.4.175 datanode：192.168.4.176-178 三台测试机器：192.168.4.200 配置这5台机器的/etc/hosts，使每台设备都能相互通过IP和主机名进行解析。 ssh的配置，因为namenode需要通过ssh key认证，在运行中对从节点进行控制，所以通【阅读全文】

【HADOOP】 HBTC 2012 Hadoop与大数据技术大会演讲PPT资料

wenkudaren | 2012-12-11 10:10:46 | 阅读(1112) | 评论(0)

HBTC 2012 Hadoop与大数据技术大会演讲PPT资料中国IT界技术盛会——Hadoop与大数据技术大会（HBTC 2012）于12月1日顺利落幕。本次大会以“大数据共享与开放技术”为主题，设定“Hadoop生态系统”、“大数据行业应用”、“大数据共享平台与应用”、“NoSQL与NewSQL”以及“大数据的技术挑战与发展趋势”五个分论坛。本文整理了本次大会的演讲PPT资料，与Hadoop技术爱好者一起分享到来自一线专家的实践经验，展望Hadoop和大数据璀璨的发展未来。虚拟化和云计算让Hadoop变得简单董波数据【阅读全文】

【未分类】【原创】hadoop fsck健康检查

niao5929 | 2012-12-07 18:37:31 | 阅读(725) | 评论(0)

hadoop,fsck【阅读全文】

【服务器与存储】 hadoop fsck健康检查

split_two | 2012-12-07 09:14:03 | 阅读(15263) | 评论(1)