1.what is apache hadoop?
谁说大象不能跳舞？
轻松应对海量数据存储与分析带来的挑战
2.海量数据：
量：大，数目多，数据量达到PB，ZB级别，条目数达到几十亿条，几百亿条
1）存储：分布式，集群的概念进行存储管理（主节点、从节点），HDFS（hadoop
distribute file system）
2）分析:分布式，并行，离线计算框架，管理主节点和从节点，mapreduce框架
3.一只会飞的大象logo
4.
HDFS-->GFS开源文件系统
Google MapReduce--->Hadoop MapReduce开源的分布式并行计算框架
5.Apache Hadoop起源
Apache Lucene:开源的高性能全文检索工具包
Apache Nutch：开源的web搜索引擎
Google三大论文：MapReduce/GFS/BigTable
Apache Hadoop：大规模数据处理
6.一般认为，云计算由三层构成：
IAAS：基础设施即服务，Amazon EC2,openstck,cloudstack,rackspace等
PAAS：平台即服务，Google AppEngine，Apache Hadoop等
SAAS：软件即服务，Google Apps等
openstack：构建公司内部的私有平台
7.hadoop，big data paltform
open source data management with scale-out storage & distributed processing
storage:HDFS
distribute across "nodes"
natively redundant
name node tracks location
processing:Map Reduce
splits a tack across processors
nare the data & assebles results
clustered storage
KEY Characteristics
scalable，reliable，flexible，econmical
8.apache Hadoop能解决哪些问题：
海量数据需要及时分析和处理（速度）
海量数据需要深入分析和挖掘（深度）
数据需要长期保存（固定资产）
磁盘IO成为一种瓶颈，而非CPU资源
网络宽带成为一种稀缺资源
硬件故障成为影响稳定的一大因素
9.
hdfs+mr思想：
尽可能移动计算到数据端，而非移动数据到计算端
硬件和组件的故障时一种常态
hdfs思想：
文件单次写入，并多次读取，文件副本，分片保存
顺序写入，流式顺序读取，面向大文件存储
MR思想：
分而治之，化整为0
排序优化，降低内存
10.BAT：
B：百度
A：alibaba
T：腾讯
11.Hbase数据库：实时
ETL：
E：提取
T:转换
L：加载
从数据库中获取数据并进行一些列的数据清理、清洗和筛选，将合格的数据进行转换成一定格式数据进行存储，将格式化的数据存储到HDFS文件系统上，以供计算框架进行那个数据分析和挖掘。
格式化数据：
|-TSV格式：每行数据的每列之间以制表符\t进行分割
|-CSV格式：每行数据的每行之间以,进行分割
sqoop：将关系型数据库中的数据与HDFS（HDFS文件，Hbase中的表，Hlive中的表）上的数据进行相互导入导出
Flume：收集各个应用系统和框架的日志，并将其放到HDFS分布式文件系统的相应制定的目录之下。
阅读(2402) | 评论(0) | 转发(0) |
