ChinaUnix首页 | 论坛 | 博客
博客首页 博客专家 往日推荐 博客文集
热搜： 网络安全 H3C cISCO 项目管理 WINDOWS HADOOP 高性能 负载均衡
博客首页 〉搜索结果
按类别查询搜索结果
操作系统 程序设计 数据库 热点技术 综合 架构与运维 移动开发与应用 Web前端
关于关键词 的检测结果，共 105 条
【HADOOP】 Sqoop工具使用(二)--从oracle导入数据到hive
hexel | 2014-04-11 14:12:53 | 阅读(8120) | 评论(0)
sqoop import  -D oracle.sessionTimeZone=CST --connect jdbc:oracle:thin:@192.168.78.6:1521:hexel \--username TRX --table SQOOP -m 1 --password trx    --warehouse-dir /xtld/data/gj/SQOOP \--hive-import --create-hive-table --hive-database gj  --hive-table  SQOOP \--as-text...【阅读全文】
【HADOOP】 Sqoop工具使用(一)
hexel | 2014-04-09 19:48:22 | 阅读(4470) | 评论(0)
1. 安装配置(1)下载软件：[mongodb_f002 ~]#wget http://archive.cloudera.com/cdh4/cdh/4/sqoop-1.4.3-cdh4.5.0.tar.gz(2)解压文件到相应目录：[mongodb_f002 ~]#tar -zxvf  sqoop-1.4.3-cdh4.5.0.tar.gz -C /hadoop(3).bash_profile文件中确认具备如下环境变量：export SQOOP_HOME=/hadoo...【阅读全文】
【HADOOP】 hadoop 工作原理
吟风_骋 | 2014-04-09 19:22:46 | 阅读(0) | 评论(0)
hadoop 工作原理【阅读全文】
【HADOOP】 怎么用java从hadoop中读数据
xyaxlz | 2014-03-24 16:25:08 | 阅读(3460) | 评论(0)
如果用eclipse 连接hadoop测试 一定要把core-site.xml  hdfs-site.xml 放到和包test同目录下 不然会报错程序会报File not found错误点击(此处)折叠或打开package test;import java.io.*;import java.util.*;import java.net.*;...【阅读全文】
【HADOOP】 怎么用java向hadoop中写数据
xyaxlz | 2014-03-24 16:15:57 | 阅读(3630) | 评论(0)
如果用eclipse 连接hadoop测试 一定要把core-site.xml  hdfs-site.xml 放到和包test同目录下 不然会报错程序会报File not found错误点击(此处)折叠或打开package test;import java.io.*;import java.util.*;import java.net.*;...【阅读全文】
【HADOOP】 Hadoop学习笔记（六）：Hadoop读写文件时内部工作机制
lingshaohusoft | 2014-03-19 14:17:10 | 阅读(1950) | 评论(0)
读文件 　　读文件时内部工作机制参看下图：客户端通过调用FileSystem对象（对应于HDFS文件系统，调用DistributedFileSystem对象）的open()方法来打开文件（也即图中的第一步），RPC（NameNode来得到此文件最开始几个datanode的，block的位置信息，这些信息所需的带宽是很少的，这样便有效的避免了单点...【阅读全文】
【HADOOP】 Hadoop学习笔记（五）：一些关于HDFS的基本知识
lingshaohusoft | 2014-03-19 09:46:30 | 阅读(1680) | 评论(0)
From：http://www.cnblogs.com/beanmoon/archive/2012/12/08/2809315.html当某个数据集大大小超出单个物理机的存储能力时，我们可以考虑使用集群。管理跨网络机器存储的文件系统叫做分布式文件系统(Distributed FileSystem)。随着多节点的引入，相应的问题也就出现了，例如其中最重要的一个问题就是如何保证在某个节点...【阅读全文】
【HADOOP】 HBase初探之常用参数列表
Larpenteur | 2014-03-12 08:48:35 | 阅读(800) | 评论(0)
一、端口1、hbase.master.port        HBase的Master端口，默认是60000。2、hbase.master.info.port        HBase Master web界面端口，设置为-1，意味着你不想运行HBase Master界面，默认是60010。3、hbase.regionserver.port&nbs...【阅读全文】
【HADOOP】 【用户不在sudoers文件中】问题解决
落尘2012 | 2014-03-11 15:55:09 | 阅读(1540) | 评论(0)
     昨天在机房呆了一天，忙活着部署hadoop分布式节点。在网上查了一些部署的资料，其中有一步是为所有的节点创建同样的用户'hadoop'，并且加入到%admin组中。自己在做的时候提示%admin组不存在，其实Ubuntu系统中可以使用usermod username -g root的方式加入到管理组中，不晓得为什么自己的机器上使用%ad...【阅读全文】
【HADOOP】 HBase初探之常用参数列表
niao5929 | 2014-03-11 15:24:04 | 阅读(470) | 评论(0)
一、端口1、hbase.master.port        HBase的Master端口，默认是60000。2、hbase.master.info.port        HBase Master web界面端口，设置为-1，意味着你不想运行HBase Master界面，默认是60010。3、hbase.regionserver.port&nbs...【阅读全文】
【HADOOP】 HBase初探之常用参数列表
scq2099yt | 2014-03-10 12:40:41 | 阅读(5030) | 评论(1)
一、端口1、hbase.master.port        HBase的Master端口，默认是60000。2、hbase.master.info.port        HBase Master web界面端口，设置为-1，意味着你不想运行HBase Master界面，默认是60010。3、hbase.regionserver.port&nbs...【阅读全文】
【HADOOP】 Hadoop分布式文件系统和OpenStack对象存储有何不同？
zzjlzx | 2014-02-18 17:19:31 | 阅读(910) | 评论(0)
Hadoop分布式文件系统和OpenStack对象存储有何不同？“HDFS (Hadoop分布式文件系统)和OpenStack对象存储(OpenStack Object Storage)似乎都有着相似的目的：实现冗余、快速、联网的存储。什么样的技术特性让这两种系统因而不一样?这两种存储系统最终趋于融合是否大有意义?”...【阅读全文】
【HADOOP】 Hadoop初探之常用端口列表
ichenxiaohu | 2014-02-17 08:50:02 | 阅读(720) | 评论(0)
一、HDFS端口参数描述默认配置文件例子值fs.default.namenamenode RPC交互端口8020core-site.xmlhdfs://master:8020/dfs.http.address...【阅读全文】
【HADOOP】 Hadoop初探之常用端口列表
niao5929 | 2014-02-16 16:12:38 | 阅读(660) | 评论(0)
一、HDFS端口参数描述默认配置文件例子值fs.default.namenamenode RPC交互端口8020core-site.xmlhdfs://master:8020/dfs.http.address...【阅读全文】
【HADOOP】 Hadoop初探之常用端口列表
scq2099yt | 2014-02-16 09:01:26 | 阅读(7090) | 评论(0)
一、HDFS端口参数描述默认配置文件例子值fs.default.namenamenode RPC交互端口8020core-site.xmlhdfs://master:8020/dfs.http.address...【阅读全文】
【HADOOP】 MapReduce初探之使用Hadoop分析数据
Larpenteur | 2014-02-09 10:32:35 | 阅读(1180) | 评论(0)
        MapReduce是一种可用于数据处理的编程模型，Hadoop可以运行由各种语言编写的MapReduce程序。MapReduce程序本质上是并行运行的，因此，可以将大规模的数据分析任务交给任何一个拥有足够多机器的运营商。MapReduce的优势在于处理大规模数据集，这里以一个气象数据集分析为例说明之，查...【阅读全文】
【HADOOP】 MapReduce初探之使用Hadoop分析数据
scq2099yt | 2014-02-04 22:28:09 | 阅读(6660) | 评论(1)
        MapReduce是一种可用于数据处理的编程模型，Hadoop可以运行由各种语言编写的MapReduce程序。MapReduce程序本质上是并行运行的，因此，可以将大规模的数据分析任务交给任何一个拥有足够多机器的运营商。MapReduce的优势在于处理大规模数据集，这里以一个气象数据集分析为例说明之，查...【阅读全文】
【HADOOP】 Hadoop的分布式架构改进与应用
LaoLiulaoliu | 2014-01-09 10:33:40 | 阅读(680) | 评论(0)
文章来源：http://blog.csdn.net/pelick/article/details/76194931.  背景介绍       谈到分布式系统，就不得不提到Google的三驾马车:GFS[1],MapReduce[2]和BigTable[3]。虽然Google没有开源这三个技术的实现源码，但是基于这三篇开源文档, Nutch项目子项目之一的Yahoo资助的Had...【阅读全文】
【HADOOP】 Hadoop五分钟入门指南
jieforest | 2013-12-11 22:20:15 | 阅读(3110) | 评论(0)
《Hadoop五分钟入门指南》原文见：http://blog.josedacruz.com/2013/12/09/hadoop-in-5-minutes-for-beginners/#.Uqhs3_Q6Cjt如果你有大量的数据（TB级），而且这些数据到处分散，且有些数据是结构化的，有些数据不是。你想查询这些数据，你或许在想，“我需要力量来组织和查询这些数据”。是的，你需要Hadoop。一、...【阅读全文】
【HADOOP】 基于Hadoop平台做大数据的几种应用
jiongtoast | 2013-12-06 11:04:12 | 阅读(1170) | 评论(0)
1、自己写MapReduce任务，虽然开发难度大一点，但运行效率比Pig和Hive高，像Google的PageRank排名，机器学习、推荐，全盘扫描的ETL都是这种方式的典型应用；2、用Hive做分析，Hive的一大好处就是能使用程序员熟悉的SQL进行计算任务编写，但某些运算效率不及M/R；3、用Pig做数据分析，Pig是Yahoo的研发成果，yahoo也希望...【阅读全文】

盛拓传媒简介 | 关于IT168 | 合作伙伴 | 广告服务 | 使用条款 | 投稿指南 | 诚聘精英 | 联系我们 | 法律声明 | 网站导航 | 往日回顾

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年人举报专区
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员

网络110 报警服务