搜索博文结果_ChinaUnix博客

niao5929 | 2015-02-19 16:50:26 | 阅读(480) | 评论(0)

Hadoop中HDFS读取文件的原理剖析[日期：2015-02-18]来源：Linux社区作者：snwz[字体：大中小]上一篇文章中简单介绍了一下Hadoop文件存储的一些逻辑与简单原理（见 http://www.linuxidc.com/Linux/2015-02/113638.htm），既...【阅读全文】

【HADOOP】 Hadoop中HDFS写入文件的原理剖析

niao5929 | 2015-02-19 16:48:46 | 阅读(440) | 评论(0)

Hadoop中HDFS写入文件的原理剖析[日期：2015-02-18]来源：Linux社区作者：snwz[字体：大中小]要为即将到来的大数据时代最准备不是，下面的大白话简单记录了Hadoop中HDFS在存储文件时都做了哪些个事情，位将来集群问题的排查提供...【阅读全文】

【HADOOP】 Hadoop输入的问题

ningbohezhijun | 2015-02-04 17:41:34 | 阅读(550) | 评论(0)

我是在试验代码的时候发现的这个问题，具体代码见http://yunpan.cn/cK8hUEaq4Vcw2 访问密码 56d3例如类KPIBrowser和KPIIP的输出都恰巧放在了输入的文件夹下。然后我发现当我先运行KPIBrowser后，再去运行KPIIP，hadoop就跑异常了目前不太明白为什么。暂时的解释是，hadoop输入文件夹下必须都是文件，有文件...【阅读全文】

【HADOOP】 Hadoop集群完全分布式模式环境部署

gzzc020 | 2015-01-31 19:12:29 | 阅读(140) | 评论(0)

Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲，...【阅读全文】

【HADOOP】 Hadoop集群完全分布式模式环境部署

浮零 | 2015-01-14 19:05:06 | 阅读(270) | 评论(0)

Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲，...【阅读全文】

【HADOOP】 Hadoop集群完全分布式模式环境部署

心跳男人 | 2015-01-14 10:09:32 | 阅读(570) | 评论(0)

Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲，...【阅读全文】

【HADOOP】上海市信息技术培训中心Cloudera Hadoop管理认证培训

sittc2 | 2015-01-04 14:54:20 | 阅读(510) | 评论(0)

作为大数据核心技术，Hadoop为企业提供了高扩展、高冗余、高容错、和经济有效的“数据驱动”解决方案，针对企业目前普遍缺乏海量数据技术人员的现状，上海市信息技术培训中心Cloudera Hadoop认证培训系列课程，为企业经理、CTO、架构师、技术带头人、系统管理员、数据管理员、数据/商务分析元和应用开发人员带来了业内最领...【阅读全文】

【HADOOP】如何在hadoop中控制map的个数

gray1982 | 2014-12-27 17:11:07 | 阅读(3200) | 评论(0)

hadooop提供了一个设置map个数的参数mapred.map.tasks，我们可以通过这个参数来控制map的个数。但是通过这种方式设置map的个数，并不是每次都有效的。原因是mapred.map.tasks只是一个hadoop的参考数值，最终map的个数，还取决于其他的因素。为了方便介绍，先来看几个名词：block_size ...【阅读全文】

【HADOOP】 hadoop

644924073 | 2014-12-21 01:14:53 | 阅读(1550) | 评论(0)

摘要：Admaster数据挖掘总监随着互联网、移动互联网和物联网的发展，谁也无法否认，我们已经切实地迎来了一个海量数据的时代，数据调查公司IDC预计2011年的数据总量将达到1.8万亿GB，对这些海量数据的分析已经成为一个非常重要且紧迫的需求。随着互联网、移动互联网和物联网的发展，谁也无法否认，我们已经切实地迎...【阅读全文】

【HADOOP】 [白皮书翻译]Apache Hadoop的MapR发行版

cxmfyl | 2014-12-17 22:04:45 | 阅读(1540) | 评论(0)

白皮书业内最可靠的Hadoop平台Apache Hadoop的MapR发行版——简单、可靠、快速的Hadoop内容目录概述战略性的Hadoop完整、先进、拥有强力支持的Hadoop发行版易用的Hadoop从批处理转向实时数据流内建数据压缩机制多集群支持筹划、搭建和...【阅读全文】

【HADOOP】 Hadoop入门：单节点模式安装

644924073 | 2014-12-14 22:41:17 | 阅读(1630) | 评论(0)

Hadoop是Intel公司推出的一款分布式系统框架，可以用于多个系统的协同工作，主要原理使用了MapReduce框架，先将原始数据map到不同的部分，在分布式系统中处理完成后再重新reduce成为一个整体。Hadoop在云计算中可以发挥独特的作用，今天先从安装单机节点模式开始对Hadoop有个感性的认识。首先...【阅读全文】

【HADOOP】 Hadoop入门：初探Map-Reduce

644924073 | 2014-12-14 22:39:20 | 阅读(1640) | 评论(0)

由于手头项目的原因，需要在Hadoop框架之上架设运行Sleuthkit，虽然说是完成项目，自己希望每次参与项目知识结构或者思考方法都能有所提升。这次项目自己希望可以对现在流行的Hadoop框架和取证工具Sleuthkit有所积累。 Hadoop用于架设分布式系统。一般来说，实现多个系统并行计算需要考虑许多细...【阅读全文】

【HADOOP】 Hadoop入门：初探HDFS

644924073 | 2014-12-14 22:39:04 | 阅读(1750) | 评论(0)

作为一种分布式系统框架，Hadoop必须拥有不同于基于单一硬盘环境下的分布式文件系统，一个典型的特征是可以应对网络上常见的单点失效问题（SNOF）。最初设计Hadoop分布式文件系统时主要考虑以下几个问题：大数据存储、便捷的流数据访问（一次写入多次读取）和网络使用的稳定性解决方案。Concepts:&...【阅读全文】

【HADOOP】 Hadoop集群完全分布式模式环境部署

644924073 | 2014-12-14 22:38:29 | 阅读(1620) | 评论(0)

Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲，...【阅读全文】

【HADOOP】 Hadoop集群完全分布式模式环境部署

why_subl | 2014-12-05 08:57:39 | 阅读(660) | 评论(0)

Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲，...【阅读全文】

【HADOOP】企业如何选择Hadoop

644924073 | 2014-12-03 12:31:12 | 阅读(1040) | 评论(0)

本文讨论Apache Hadoop大数据工具及技术，帮助有效管理实时的大数据，并讨论Apache Hadoop大数据分析的优缺点。帮助企业认识Hadoop，在选择Hadoop技术方案上做出抉择。一、什么是大数据分析工具及技术Hadoop是目前的处理和存储海量数据的最佳工具。Hadoop可以利用数百台甚至数千台计算机处理大数据问题，而不是使用...【阅读全文】

【HADOOP】 Hadoop五分钟入门指南

644924073 | 2014-11-28 13:02:38 | 阅读(710) | 评论(0)

《Hadoop五分钟入门指南》原文见：http://blog.josedacruz.com/2013/12/09/hadoop-in-5-minutes-for-beginners/#.Uqhs3_Q6Cjt如果你有大量的数据（TB级），而且这些数据到处分散，且有些数据是结构化的，有些数据不是。你想查询这些数据，你或许在想，“我需要力量来组织和查询这些数据”。是的，你需要Hadoop。一、...【阅读全文】

【HADOOP】 hadoop集群运行python mapreduce程序错误及其解决办法

9768p1 | 2014-11-26 20:24:04 | 阅读(2610) | 评论(0)

自己用python写了个mapreduce程序，结果运行时候一直报错；运行命令：点击(此处)折叠或打开hadoop jar /usr/lib/hadoop-0.20/contrib/streaming/hadoop-streaming-0.20.2-cdh3u6.jar -mapper /Application/lianshuchengjin/MR/map.py -reducer /Application/lianshuchengjin/MR/reduce.py -...【阅读全文】

【HADOOP】 Windows上使用Eclipse远程连接Hadoop进行程序开发

圣剑蓝骑士 | 2014-11-02 21:53:49 | 阅读(1690) | 评论(0)

转载自：http://www.cnblogs.com/beanmoon/archive/2013/01/05/2845579.html 由于hadoop主要是部署和应用在linux环境中的，但是目前鄙人自知能力有限，还无法完全把工作环境转移到linux中去（当然还有点小私心啦，windows下那么多好用的程序到linux下用不了还真有点...【阅读全文】

【HADOOP】 hadoop文件操作

hxl | 2014-10-29 14:13:10 | 阅读(0) | 评论(0)

点击(此处)折叠或打开package com.hxl;import java.util.Date;import java.text.SimpleDateFormat;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataOutputStre...【阅读全文】