搜索博文结果_ChinaUnix博客

博客首页博客专家往日推荐博客文集

热搜： iOS C# .net Java C++ ubuntu Hyper-V CCNA

博客首页〉搜索结果

按类别查询搜索结果

操作系统程序设计数据库热点技术综合架构与运维移动开发与应用 Web前端

虚拟化| 云计算| 大数据| HADOOP| 高性能计算|

关于关键词的检测结果，共 361 条

【HADOOP】 Spark VS Hadoop

xuemling | 2015-08-14 16:29:23 | 阅读(1470) | 评论(0)

Spark VS Hadoop【阅读全文】

【HADOOP】 util.NativeCodeLoader: Unable to load native-hadoop library for your platform

安浪天 | 2015-08-12 11:04:27 | 阅读(1260) | 评论(0)

问题：hadoop安装完以后，经常会提示一下警告： WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 原因：这是32位的hadoop，安装在了64位的linux系统上 解决办法： &nbs...【阅读全文】

【HADOOP】 Hadoop 2.7 单机伪分布模式

安浪天 | 2015-08-11 15:07:20 | 阅读(990) | 评论(0)

说明：系统为centos6.5、jdk版本为1.7、Hadoop版本为2.7.红色字体为输入内容，紫色字体为路径及注意 一、jdk安装 1、安装jdk1.7     rpm -ivh jdk-7u79-linux-x64.rpm <div>2、配置环境变量    在/etc/profile文...【阅读全文】

【HADOOP】 HadoopHA【一】 hadoop配置文件详解

xuemling | 2015-08-11 10:36:23 | 阅读(2880) | 评论(0)

HadoopHA【一】 hadoop配置文件详解【阅读全文】

【HADOOP】 windows下安装hadoop伪分布式遇到问题汇总

dsy851009 | 2015-08-08 21:48:36 | 阅读(3140) | 评论(0)

本来想着很简单的一个安装，结果花费了一天时间才搞定，中间遇到很多问题，最终安装成功，记录下。
安装步骤简单说下(网上有很多安装详细步骤，这里不详细说明，主要是中间的问题解决)：
一、安装jdk1.7，配置环境变量；
二、下载cygwin并安装，记得记得选择openssh包的安装；
三、配置ssh；【阅读全文】

【HADOOP】中小规模Hadoop集群优化

levy-linux | 2015-08-06 18:12:31 | 阅读(1590) | 评论(0)

我们有一个Hadoop集群从上个月开始遇到一系列性能问题，在逐一解决的过程中，积累了以下的优化经验。 1. 网络带宽 Hadoop集群的服务器在规划时就在统一的交换机下，这是在官方文档中建议的部署方式。 但是我们的这台交换机和其他交换机的互联带宽有限，所以在客户端遇到了HDFS访问...【阅读全文】

【HADOOP】 Hadoop添加删除节点

levy-linux | 2015-08-06 17:58:10 | 阅读(1530) | 评论(0)

添加节点

1.修改host
和普通的datanode一样。添加namenode的ip

2.修改namenode的配置文件conf/slaves
添加新增节点的ip或host

3.在新节点的机器上，启动服务
[root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start datanode
[root@slave-004 hadoop...【阅读全文】

【HADOOP】 Hadoop初探之Hadoop生态圈

dirk2014 | 2015-08-06 13:30:13 | 阅读(590) | 评论(0)

一、简介 Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。简单地说来，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。图1 Hadoop主要项目 &...【阅读全文】

【HADOOP】 Hadoop入门：初探Map-Reduce

dirk2014 | 2015-08-06 13:27:27 | 阅读(540) | 评论(0)

由于手头项目的原因，需要在Hadoop框架之上架设运行Sleuthkit，虽然说是完成项目，自己希望每次参与项目知识结构或者思考方法都能有所提升。这次项目自己希望可以对现在流行的Hadoop框架和取证工具Sleuthkit有所积累。 Hadoop用于架设分布式系统。一般来说，实现多个系统并行计算需要考虑许多细...【阅读全文】

【HADOOP】 Hadoop集群完全分布式模式环境部署

dirk2014 | 2015-08-06 13:22:00 | 阅读(480) | 评论(0)

Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲，...【阅读全文】

【HADOOP】 Ubuntu下eclipse开发hadoop应用程序环境配置

dirk2014 | 2015-08-06 13:17:12 | 阅读(660) | 评论(0)

在ubuntu上将hadoop安装及配置完毕后，接下来的工作就是在eclipse下配置开发hadoop应用程序的环境。目的很简单，为进行研究与学习，部署一个hadoop运行环境，并搭建一个hadoop开发与测试环境。环境：virtualbox 和 ubuntu12.04第一步：下载eclipse-jee-juno-SR1-linux-gtk.tar.gz. 注...【阅读全文】

【HADOOP】 hadoop 分布式部署简单搭建

plumxx99 | 2015-07-17 21:18:10 | 阅读(2690) | 评论(0)

实验环境:
rhel6.3 selinux and iptables disabled, sshd enabled
主机：192.168.122.5     master
            192.168.122.6     slave
        &nbs...【阅读全文】

【HADOOP】 hadoop常见问题Browse the filesystem链接打不开

levy-linux | 2015-07-15 16:08:39 | 阅读(2230) | 评论(0)

现象：在访问Master:50070之后，点击browse the filesystem后，该页无法显示。 原因：点击browse the filesystem后，网页转向的地址用的是hadoop集群的某一个datanode的主机名，由于客户端的浏览器无法解析这个主机名，因此该页无法显示。 解决：需要在客户端的hosts文件里加入hadoop集群的ip地...【阅读全文】

【HADOOP】使用Maven构建hadoop项目

levy-linux | 2015-07-15 15:05:54 | 阅读(2930) | 评论(0)

一. Maven介绍
Apache Maven，是一个Java的项目管理及自动构建工具，由Apache软件基金会所提供。基于项目对象模型（缩写：POM）概念，Maven利用一个中央信息片断能管理一个项目的构建、报告和文档等步骤。曾是Jakarta项目的子项目，现为独立Apache项目。

Windows 7
hadoop 1.2.1
Maven 3.3....【阅读全文】

【HADOOP】 Hadoop入门：fsrip编译问题

马伟东 | 2015-07-15 14:19:19 | 阅读(2230) | 评论(0)

今天来补记下上周四、五的情况吧。由于fsrip的源码使用CPP写的，而自己对于面向对象实在外行的可以，于是用了约三天的时间来学习《Essentiao C++》，希望可以快速上手。最后对于面向对象的概念和语法都有了大致的了解，于是就开始查找之前的calng++编译错误，提示GetLastError()函数没有定义的问题。 ...【阅读全文】

【HADOOP】 Hadoop入门经典: WordCount程序

levy-linux | 2015-07-14 17:12:24 | 阅读(2100) | 评论(0)

WordCount程序在 hadoop1.2.1 测试成功。 <div><div class="codeheads">点击(此处)折叠或打开</div><div id="code705" class="codeText"><ol style="margin:0 1px 0 0px;padding-left:40px...【阅读全文】

【HADOOP】 hadoop反编译安装包自带的例子

levy-linux | 2015-07-07 13:03:49 | 阅读(2230) | 评论(0)

hadoop-mapreduce-examples-2.7.0.jar包 直接解压，看到下面内容： <img src="/attachment/201507/7/25691489_1436245262vVnV.jpg" alt="" height="504" width="579" /> 上面是编译的文件。我们该如何看到源码 我们下载jad <a href="/blog/downLoad/fileid/11510.html" target...【阅读全文】

【HADOOP】 hadoop伪分布式安装部署

CuteB | 2015-07-06 19:45:46 | 阅读(1320) | 评论(0)

<img src="/attachment/201507/6/30328933_1436181178ruxf.jpg" width="700" height="412.182741117" alt="" /> 1.关闭防火墙： service iptables stop vim /etc/sysconfig/selinux 设置SELINUX=disabled 2.设置静态ip地址： vim /etc/sysconfig/neywork -scripts/ifcfg-eth0 3.修改ho...【阅读全文】

【HADOOP】 hadoop安装软件的规则

CuteB | 2015-07-06 18:46:48 | 阅读(1460) | 评论(0)

1. /opt         父目录                     /opt/modules   存放软件的安装目录                 ...【阅读全文】

【HADOOP】学习笔记——Hadoop 1.x 服务讲解

CuteB | 2015-07-06 14:18:35 | 阅读(1290) | 评论(0)

1.对于分布式系统和框架的架构来说，一般分为两部分： 第一部分：管理层，用于管理应用层的 第二部分：应用层（工作的） NameNode(元数据服务器) Secondary NameNode(辅助元数据服务器) JobTracker(任务调度员) DataNodes(块存储)    TaskTracker(任务执行) HD...【阅读全文】

首页
<<
1
2
3
4
5
6
7
8
9
10
>>
末页

网络110 报警服务