搜索博文结果_ChinaUnix博客

【HADOOP】 Sqoop工具使用(三)--把HDFS中的数据导入到Oracle

hexel | 2014-04-17 11:39:01 | 阅读(9080) | 评论(0)

sqoop export工具把HDFS中的数据导入到rdbms系统中，实现方式有三种：(1)insert mode:生成insert语句然后执行，这是默认的方式(2)update mode:生成update语句，替换数据库中的记录(3)call mode:调用存储过程处理每一条记录：Common argumentsArgument Description--connect <jdbc-uri...【阅读全文】

【HADOOP】 Sqoop工具使用(二)--从oracle导入数据到hive

hexel | 2014-04-11 14:12:53 | 阅读(8100) | 评论(0)

sqoop import -D oracle.sessionTimeZone=CST --connect jdbc:oracle:thin:@192.168.78.6:1521:hexel \--username TRX --table SQOOP -m 1 --password trx --warehouse-dir /xtld/data/gj/SQOOP \--hive-import --create-hive-table --hive-database gj --hive-table SQOOP \--as-text...【阅读全文】

【HADOOP】 Storm的wordCounter计数器详解

Aquester | 2014-03-31 22:56:37 | 阅读(5100) | 评论(0)

原文：http://www.maoxiangyi.cn/index.php/archives/362作者：毛祥溢发布：2013-08-26 18:19 分类：BigData, Storm 阅读：676次抢沙发 Storm的wordCounter计数器详解，这篇文章主要是介绍原理和实现 Demo拓扑package cn.jd.storm; import...【阅读全文】

【HADOOP】怎么用java从hadoop中读数据

xyaxlz | 2014-03-24 16:25:08 | 阅读(3450) | 评论(0)

如果用eclipse 连接hadoop测试一定要把core-site.xml hdfs-site.xml 放到和包test同目录下不然会报错程序会报File not found错误点击(此处)折叠或打开package test;import java.io.*;import java.util.*;import java.net.*;...【阅读全文】

【HADOOP】怎么用java向hadoop中写数据

xyaxlz | 2014-03-24 16:15:57 | 阅读(3620) | 评论(0)

如果用eclipse 连接hadoop测试一定要把core-site.xml hdfs-site.xml 放到和包test同目录下不然会报错程序会报File not found错误点击(此处)折叠或打开package test;import java.io.*;import java.util.*;import java.net.*;...【阅读全文】

【HADOOP】 Hadoop编程学习（三）：namenode内部关键数据结构介绍

lingshaohusoft | 2014-03-19 11:17:17 | 阅读(2090) | 评论(0)

1 概述本文档目的在于对namenode中各种关键的数据结构进行剖析和解释，以方便更好的对namenode的各种处理逻辑和代码结构进行理解。其中包括对namenode中Namenode和FSNameSystem的程序代码结构，FSDirectory，BlocksMap， CorruptReplicationMap，excessReplicateMap， UnderReplicatedBlocks，PendingRepl...【阅读全文】

【HADOOP】 HBase初探之常用参数列表

Larpenteur | 2014-03-12 08:48:35 | 阅读(790) | 评论(0)

一、端口1、hbase.master.port HBase的Master端口，默认是60000。2、hbase.master.info.port HBase Master web界面端口，设置为-1，意味着你不想运行HBase Master界面，默认是60010。3、hbase.regionserver.port&nbs...【阅读全文】

【HADOOP】 HBase初探之常用参数列表

niao5929 | 2014-03-11 15:24:04 | 阅读(460) | 评论(0)

一、端口1、hbase.master.port HBase的Master端口，默认是60000。2、hbase.master.info.port HBase Master web界面端口，设置为-1，意味着你不想运行HBase Master界面，默认是60010。3、hbase.regionserver.port&nbs...【阅读全文】

【HADOOP】 HBase初探之常用参数列表

scq2099yt | 2014-03-10 12:40:41 | 阅读(5020) | 评论(1)

一、端口1、hbase.master.port HBase的Master端口，默认是60000。2、hbase.master.info.port HBase Master web界面端口，设置为-1，意味着你不想运行HBase Master界面，默认是60010。3、hbase.regionserver.port&nbs...【阅读全文】

【HADOOP】 MapReduce初探之使用Hadoop分析数据

Larpenteur | 2014-02-09 10:32:35 | 阅读(1180) | 评论(0)

MapReduce是一种可用于数据处理的编程模型，Hadoop可以运行由各种语言编写的MapReduce程序。MapReduce程序本质上是并行运行的，因此，可以将大规模的数据分析任务交给任何一个拥有足够多机器的运营商。MapReduce的优势在于处理大规模数据集，这里以一个气象数据集分析为例说明之，查...【阅读全文】

【HADOOP】 HDFS初探之数据流

Larpenteur | 2014-02-09 10:30:55 | 阅读(840) | 评论(0)

一、文件读取剖析为了了解客户端及与之交互的HDFS、namenode和datanode之间的数据流是什么样的，可以参考下图，该图显示了在读取文件时一些时间的主要顺序：图1 客户端读取HDFS中的数据客户端通过调用FileSyste对象的open()方法来打开...【阅读全文】

【HADOOP】 HDFS初探之数据流

niao5929 | 2014-02-08 16:43:31 | 阅读(730) | 评论(0)

一、文件读取剖析为了了解客户端及与之交互的HDFS、namenode和datanode之间的数据流是什么样的，可以参考下图，该图显示了在读取文件时一些时间的主要顺序：图1 客户端读取HDFS中的数据客户端通过调用FileSyste对象的open()方法来打开...【阅读全文】

【HADOOP】 MapReduce初探之使用Hadoop分析数据

scq2099yt | 2014-02-04 22:28:09 | 阅读(6640) | 评论(1)

MapReduce是一种可用于数据处理的编程模型，Hadoop可以运行由各种语言编写的MapReduce程序。MapReduce程序本质上是并行运行的，因此，可以将大规模的数据分析任务交给任何一个拥有足够多机器的运营商。MapReduce的优势在于处理大规模数据集，这里以一个气象数据集分析为例说明之，查...【阅读全文】

【HADOOP】 HDFS初探之数据流

scq2099yt | 2014-02-03 20:24:35 | 阅读(4910) | 评论(1)

一、文件读取剖析为了了解客户端及与之交互的HDFS、namenode和datanode之间的数据流是什么样的，可以参考下图，该图显示了在读取文件时一些时间的主要顺序：图1 客户端读取HDFS中的数据客户端通过调用FileSyste对象的open()方法来打开...【阅读全文】

【HADOOP】基于Hadoop平台做大数据的几种应用

jiongtoast | 2013-12-06 11:04:12 | 阅读(1160) | 评论(0)

1、自己写MapReduce任务，虽然开发难度大一点，但运行效率比Pig和Hive高，像Google的PageRank排名，机器学习、推荐，全盘扫描的ETL都是这种方式的典型应用；2、用Hive做分析，Hive的一大好处就是能使用程序员熟悉的SQL进行计算任务编写，但某些运算效率不及M/R；3、用Pig做数据分析，Pig是Yahoo的研发成果，yahoo也希望...【阅读全文】

【HADOOP】 hadoop 各类key value分隔符参数

zzjlzx | 2013-11-29 11:43:20 | 阅读(1460) | 评论(0)

hadoop 各类key value分隔符参数分类： hadoop 收藏 2012-04-15 21:40 438人阅读评论(0) 收藏举报hadoopcoutputinput原文地址：http://wingmzy.iteye.com/blog/1260570hadoop中的map-reduce是处理<key,value>这样的键值对，故指定<key,value>的分割符等参数可以分成三类：map输出时分割符分桶时的分隔...【阅读全文】

【HADOOP】 hive大数据除重问题研究

冻豆腐132 | 2013-11-06 09:11:31 | 阅读(520) | 评论(0)

hive大数据除重问题研究存量表： store增量表: incre 字段：1. p_key 除重主键2. w_sort 排序依据3. info 其他信息 ?12...【阅读全文】

【HADOOP】 HDFS 数据流

fjsm20Linux | 2013-08-12 00:39:44 | 阅读(3530) | 评论(0)

HDFS 数据流【阅读全文】

【HADOOP】 HDFS 数据流

blue_1110 | 2013-08-07 18:10:56 | 阅读(2220) | 评论(0)

HDFS 数据流【阅读全文】

【HADOOP】文本数据导入HBASE需要注意的地方

tomsyan | 2013-04-10 18:31:43 | 阅读(6040) | 评论(0)

在将有定界符文本文件导入HBASE库中，需要将后面的定界符去掉，否则将导入失败。如下所示：[hadoop@hadoop1 bin]$ cat /tmp/emp.txt1,A,201304,2,B,201305,3,C,201306,4,D,201307,这个文件后面多了一个逗号。[hadoop@hadoop1 bin]$ hadoop fs -put /tmp/emp.txt /emp.txthbase(main):017:0> describe...【阅读全文】