Chinaunix首页 | 论坛 | 博客

OS

  • 博客访问: 2212022
  • 博文数量: 691
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 2660
  • 用 户 组: 普通用户
  • 注册时间: 2014-04-05 12:49
个人简介

不浮躁

文章分类

全部博文(691)

文章存档

2019年(1)

2017年(12)

2016年(99)

2015年(207)

2014年(372)

发布时间:2014-12-21 01:14:53

摘要:Admaster数据挖掘总监 随着互联网、移动互联网和物联网的发展,谁也无法否认,我们已经切实地迎来了一个海量数据的时代,数据调查公司IDC预计2011年的数据总量将达到1.8万亿GB,对这些海量数据的分析已经成为一个非常重要且紧迫的需求。随着互联网、移动互联网和物联网的发展,谁也无法否认,我们已经切实地迎.........【阅读全文】

阅读(1557) | 评论(0) | 转发(0)

发布时间:2014-12-14 22:41:17

    Hadoop是Intel公司推出的一款分布式系统框架,可以用于多个系统的协同工作,主要原理使用了MapReduce框架,先将原始数据map到不同的部分,在分布式系统中处理完成后再重新reduce成为一个整体。Hadoop在云计算中可以发挥独特的作用,今天先从安装单机节点模式开始对Hadoop有个感性的认识。   首先.........【阅读全文】

阅读(1636) | 评论(0) | 转发(0)

发布时间:2014-12-14 22:39:20

   由于手头项目的原因,需要在Hadoop框架之上架设运行Sleuthkit,虽然说是完成项目,自己希望每次参与项目知识结构或者思考方法都能有所提升。这次项目自己希望可以对现在流行的Hadoop框架和取证工具Sleuthkit有所积累。   Hadoop用于架设分布式系统。一般来说,实现多个系统并行计算需要考虑许多细.........【阅读全文】

阅读(1646) | 评论(0) | 转发(0)

发布时间:2014-12-14 22:39:04

     作为一种分布式系统框架,Hadoop必须拥有不同于基于单一硬盘环境下的分布式文件系统,一个典型的特征是可以应对网络上常见的单点失效问题(SNOF)。最初设计Hadoop分布式文件系统时主要考虑以下几个问题:大数据存储、便捷的流数据访问(一次写入多次读取)和网络使用的稳定性解决方案。Concepts:&.........【阅读全文】

阅读(1750) | 评论(0) | 转发(0)

发布时间:2014-12-14 22:38:29

Hadoop简介        Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲,.........【阅读全文】

阅读(1626) | 评论(0) | 转发(0)

发布时间:2014-12-14 22:37:46

首先确定hdfs分布式文件系统目前很多大公司都在用,例如百度、腾讯、淘宝等。相信网上也有很多关于这方面的文档,我写这篇文章只是为了自己更加深刻的学习和理解,或者帮助一些不会搭建的童鞋们!有问题请加群234086986讨论!以前我搭建的是hadoop-0.20.2、hbase-0.90.4、hbase自带的zookeeper,但是经过与开发测试后,用.........【阅读全文】

阅读(1649) | 评论(0) | 转发(0)

发布时间:2014-12-13 23:50:05

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。[1] Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬.........【阅读全文】

阅读(1868) | 评论(0) | 转发(0)
给主人留下些什么吧!~~

6449240732016-06-14 17:10

回复  |  举报
留言热议
请登录后留言。

登录 注册