搜索博文结果_ChinaUnix博客

博客首页博客专家往日推荐博客文集

热搜： H3C 服务器 C语言 PHP Ruby 敏捷 HADOOP CCNA

博客首页〉搜索结果

按类别查询搜索结果

操作系统程序设计数据库热点技术综合架构与运维移动开发与应用 Web前端

关于关键词的检测结果，共 1134 条

【系统运维】 hadoop配置文件说明

levy-linux | 2015-01-07 17:18:02 | 阅读(1230) | 评论(0)

1、dfs.hosts 记录即将作为datanode加入集群的机器列表2、mapred.hosts 记录即将作为tasktracker加入集群的机器列表3、dfs.hosts.exclude mapred.hosts.exclude 分别包含待移除的机器列表4、master 记录运行辅助namenode的机器列表5、slave 记录运行datanode和tasktracker的机器列表6、hadoop-env.sh 记录脚本要用的环...【阅读全文】

【系统运维】 hadoop常见错误及解决方法

levy-linux | 2015-01-05 17:22:18 | 阅读(1260) | 评论(0)

1、解决"no datanode to stop"问题jps 中看不到namenode删除/tmp 文件中红色框中的文件$rm -rf /usr/hadoop/tmp/*$rm -rf /tmp/hadoop*$hadoop namenode -format$start-all.sh【阅读全文】

【HADOOP】上海市信息技术培训中心Cloudera Hadoop管理认证培训

sittc2 | 2015-01-04 14:54:20 | 阅读(510) | 评论(0)

作为大数据核心技术，Hadoop为企业提供了高扩展、高冗余、高容错、和经济有效的“数据驱动”解决方案，针对企业目前普遍缺乏海量数据技术人员的现状，上海市信息技术培训中心Cloudera Hadoop认证培训系列课程，为企业经理、CTO、架构师、技术带头人、系统管理员、数据管理员、数据/商务分析元和应用开发人员带来了业内最领...【阅读全文】

【云计算】 Hadoop 1.0.4 安装配置和 wordcount

huaius | 2015-01-01 21:03:36 | 阅读(1640) | 评论(0)

环境如下：ubuntu-12.04.2-server-amd64hadoop-1.0.4VirtualBox1、在VBox中安装Ubuntu Server，用户名和密码都是hadoop，安装完成后，克隆两份，这样就有三台机器，一台master，两台slave。克隆后的slave打开不能上网，原因是克隆的时候，“重新初始化所有网卡的MAC地址”,而Ubuntu系统中网卡缓...【阅读全文】

【系统运维】 hadoop内网集群部署

hrsjw1 | 2014-12-31 15:02:20 | 阅读(2380) | 评论(0)

系统配置 1.禁用防火墙，停止开机启动/usr/sbin/ntpdate ntp.api.bz/etc/init.d/iptables stop ; chkconfig iptables off2.修改网络，添加host文件（所有节点）[root@NameNode01 ~]# vim /etc/hosts10.0.2.75 NameNode0110.0.2.216 ...【阅读全文】

【Windows平台】 hadoop学习-前记

imbz | 2014-12-29 20:37:36 | 阅读(440) | 评论(0)

之前找工作的时候，我的目标是找互联网、电商方面的公司开发工作，但是碰了好多壁。原因是一直做企业级开发，与互联网开发方面不对口。而互联网公司都需要有互联网开发经验的，对这方面我有很大的不足。【阅读全文】

【云计算】 Hadoop HDFS 特点、原理与基本架构

huaius | 2014-12-28 15:52:33 | 阅读(2270) | 评论(0)

产生背景以文件为基本存储单位的缺点1、文件大小不同，难以实现负载均衡。2、处理一个文件时，只能利用一个节点资源，无法动用集群。HFDS的定义源自于Google的GFS论文发表于2003年10月 HDFS是GFS克隆版Hadoop Distributed File System ...【阅读全文】

【HADOOP】如何在hadoop中控制map的个数

gray1982 | 2014-12-27 17:11:07 | 阅读(3210) | 评论(0)

hadooop提供了一个设置map个数的参数mapred.map.tasks，我们可以通过这个参数来控制map的个数。但是通过这种方式设置map的个数，并不是每次都有效的。原因是mapred.map.tasks只是一个hadoop的参考数值，最终map的个数，还取决于其他的因素。为了方便介绍，先来看几个名词：block_size ...【阅读全文】

【系统运维】 Hadoop 学习笔记

hrsjw1 | 2014-12-26 18:45:34 | 阅读(1340) | 评论(0)

h1.contents-heading-western { margin-top: 0.85cm; margin-bottom: 0cm; color: rgb(54, 95, 145); font-family: "Cambria",serif; font-size: 14pt; line-height: 115%; text-align: left; widows: 2; orphans: 2; }h1.contents-heading-cjk { margin-top: 0.85cm; margin-bottom: 0cm; color: rgb(54, 95, 145); font-...【阅读全文】

【云计算】 Hadoop HBase 系统架构

huaius | 2014-12-21 12:23:06 | 阅读(2120) | 评论(0)

HBase是Apache Hadoop的数据库，能够对大型数据提供随机、实时的读写访问。HBase的目标是存储并处理大型的数据。HBase是一个开源的，分布式的，多版本的，面向列的存储模型。它存储的是松散型数据。HBase特性：1 高可靠性2 高效性3 面向列4 可伸缩5 可在廉价PC Server搭建大规模结构化存储集群...【阅读全文】

【HADOOP】 hadoop

644924073 | 2014-12-21 01:14:53 | 阅读(1550) | 评论(0)

摘要：Admaster数据挖掘总监随着互联网、移动互联网和物联网的发展，谁也无法否认，我们已经切实地迎来了一个海量数据的时代，数据调查公司IDC预计2011年的数据总量将达到1.8万亿GB，对这些海量数据的分析已经成为一个非常重要且紧迫的需求。随着互联网、移动互联网和物联网的发展，谁也无法否认，我们已经切实地迎...【阅读全文】

【HADOOP】 [白皮书翻译]Apache Hadoop的MapR发行版

cxmfyl | 2014-12-17 22:04:45 | 阅读(1540) | 评论(0)

白皮书业内最可靠的Hadoop平台Apache Hadoop的MapR发行版——简单、可靠、快速的Hadoop内容目录概述战略性的Hadoop完整、先进、拥有强力支持的Hadoop发行版易用的Hadoop从批处理转向实时数据流内建数据压缩机制多集群支持筹划、搭建和...【阅读全文】

【HADOOP】 Hadoop入门：单节点模式安装

644924073 | 2014-12-14 22:41:17 | 阅读(1630) | 评论(0)

Hadoop是Intel公司推出的一款分布式系统框架，可以用于多个系统的协同工作，主要原理使用了MapReduce框架，先将原始数据map到不同的部分，在分布式系统中处理完成后再重新reduce成为一个整体。Hadoop在云计算中可以发挥独特的作用，今天先从安装单机节点模式开始对Hadoop有个感性的认识。首先...【阅读全文】

【HADOOP】 Hadoop入门：初探Map-Reduce

644924073 | 2014-12-14 22:39:20 | 阅读(1640) | 评论(0)

由于手头项目的原因，需要在Hadoop框架之上架设运行Sleuthkit，虽然说是完成项目，自己希望每次参与项目知识结构或者思考方法都能有所提升。这次项目自己希望可以对现在流行的Hadoop框架和取证工具Sleuthkit有所积累。 Hadoop用于架设分布式系统。一般来说，实现多个系统并行计算需要考虑许多细...【阅读全文】

【HADOOP】 Hadoop入门：初探HDFS

644924073 | 2014-12-14 22:39:04 | 阅读(1750) | 评论(0)

作为一种分布式系统框架，Hadoop必须拥有不同于基于单一硬盘环境下的分布式文件系统，一个典型的特征是可以应对网络上常见的单点失效问题（SNOF）。最初设计Hadoop分布式文件系统时主要考虑以下几个问题：大数据存储、便捷的流数据访问（一次写入多次读取）和网络使用的稳定性解决方案。Concepts:&...【阅读全文】

【HADOOP】 Hadoop集群完全分布式模式环境部署

644924073 | 2014-12-14 22:38:29 | 阅读(1620) | 评论(0)

Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲，...【阅读全文】

【服务器与存储】【原创】hadoop集群搭建

644924073 | 2014-12-14 22:37:46 | 阅读(1640) | 评论(0)

首先确定hdfs分布式文件系统目前很多大公司都在用，例如百度、腾讯、淘宝等。相信网上也有很多关于这方面的文档，我写这篇文章只是为了自己更加深刻的学习和理解，或者帮助一些不会搭建的童鞋们！有问题请加群234086986讨论！以前我搭建的是hadoop-0.20.2、hbase-0.90.4、hbase自带的zookeeper，但是经过与开发测试后，用...【阅读全文】

【云计算】 Hadoop

644924073 | 2014-12-13 23:50:05 | 阅读(1860) | 评论(0)

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。[1] Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬...【阅读全文】

【服务器与存储】【原创】hadoop集群搭建

LinBingLinux | 2014-12-11 18:58:52 | 阅读(1850) | 评论(0)

【HADOOP】 Hadoop集群完全分布式模式环境部署

why_subl | 2014-12-05 08:57:39 | 阅读(660) | 评论(0)

首页
<<
9
10
11
12
13
14
15
16
17
18
>>
末页

网络110 报警服务