按类别查询搜索结果
关于关键词 的检测结果,共 74
CuteB | 2015-07-05 22:50:51 | 阅读(2400) | 评论(0)
1.what is apache hadoop?<br />谁说大象不能跳舞?<br />轻松应对海量数据存储与分析带来的挑战<br />2.海量数据:<br />量:大,数目多,数据量达到PB,ZB级别,条目数达到几十亿条,几百亿条<br />1)存储:分布式,集群的概念进行存储管理(主节点、从节点),HDFS(hadoop<br />distribute file system)<br />...【阅读全文】
CuteB | 2015-07-05 21:30:03 | 阅读(1740) | 评论(0)
1.hadoop生成环境都是在linux环境下,hadoop 2.x开始支持win环境。掌握linux环境,熟悉基本命令和linux环境的基本配置。<br />2.vmware虚拟机环境的搭建<br />3.使用的是Centos 6.4 &nbsp; &nbsp;redhat 6.x 64位 &nbsp; &nbsp; 。<br />4.linux系统环境的基本配置,配置ip地址,配置主机名,关闭防火墙等。<br />5.远...【阅读全文】
niao5929 | 2015-05-19 11:28:13 | 阅读(1050) | 评论(0)
Hadoop集群中添加datanode节点[日期:2015-05-19]来源:Linux社区  作者:ljy2013[字体:大 中 小]随着业务的扩展,公司刚开始的三个节点已经不够用了,因此需要添加datanode。下面记录一下添加datanode节点的步骤:1、在新的...【阅读全文】
sittc2 | 2015-04-16 10:12:57 | 阅读(770) | 评论(0)
作为大数据核心技术,Hadoop为企业提供了高扩展、高冗余、高容错、和经济有效的“数据驱动”解决方案,针对企业目前普遍缺乏海量数据技术人员的现状,上海市信息技术培训中心Cloudera Hadoop认证培训系列课程,为企业经理、CTO、架构师、技术带头人、系统管理员、数据管理员、数据/商务分析元和应用开发人员带来了业内最...【阅读全文】
sittc2 | 2015-02-26 10:14:03 | 阅读(660) | 评论(0)
2015年上海市信息技术培训中心hadoop课程开班啦【阅读全文】
niao5929 | 2015-02-19 16:48:46 | 阅读(450) | 评论(0)
Hadoop中HDFS写入文件的原理剖析[日期:2015-02-18]来源:Linux社区  作者:snwz[字体:大 中 小]要为即将到来的大数据时代最准备不是,下面的大白话简单记录了Hadoop中HDFS在存储文件时都做了哪些个事情,位将来集群问题的排查提供...【阅读全文】
sittc2 | 2015-01-04 14:54:20 | 阅读(520) | 评论(0)
作为大数据核心技术,Hadoop为企业提供了高扩展、高冗余、高容错、和经济有效的“数据驱动”解决方案,针对企业目前普遍缺乏海量数据技术人员的现状,上海市信息技术培训中心Cloudera Hadoop认证培训系列课程,为企业经理、CTO、架构师、技术带头人、系统管理员、数据管理员、数据/商务分析元和应用开发人员带来了业内最领...【阅读全文】
hxl | 2014-11-20 14:01:54 | 阅读(0) | 评论(0)
点击(此处)折叠或打开package com.hxl;import com.hxl.ConnectDB;import com.hxl.SortTest;import java.io.BufferedReader;import java.io.File;import java.io.Fil...【阅读全文】
圣剑蓝骑士 | 2014-11-02 21:53:49 | 阅读(1710) | 评论(0)
转载自:http://www.cnblogs.com/beanmoon/archive/2013/01/05/2845579.html         由于hadoop主要是部署和应用在linux环境中的,但是目前鄙人自知能力有限,还无法完全把工作环境转移到linux中去(当然还有点小私心啦,windows下那么多好用的程序到linux下用不了还真有点...【阅读全文】
hxl | 2014-10-28 17:36:13 | 阅读(33800) | 评论(0)
  下面是一个本地数据文件加载到hive表中的例子1.在hxl数据库下创建表hive> create table tb_emp_info    > (id int,    > name string,    > age int,    > tel string)    > ROW FORMAT DELIMITED    > FIEL...【阅读全文】
lorine168 | 2014-09-26 14:35:04 | 阅读(750) | 评论(0)
深入理解Hadoop集群和网络本文将着重于讨论Hadoop集群的体系结构和方法,及它如何与网络和服务器基础设施的关系。最开始我们先学习一下Hadoop集群运作的基础原理。AD:2014WOT全球软件技术峰会北京站 课程视频发布 云计算和Hadoop中网络是讨论得相对比较少的领域。本文原文由Dell企业技术专家Brad He...【阅读全文】
double_lq | 2014-07-21 13:04:11 | 阅读(0) | 评论(0)
最近开始使用MapReduce,发现网上大部分例子都是对文本数据进行处理的,也就是说在读取输入数据时直接使用默认的TextInputFormat进行处理即可。对于文本数据处理,这个类还是能满足一部分应用场景。但是如果要处理以二进制形式结构化记录存储的文件时,这些类就不再适合了。本文以一个简单的应用场景为例:对按照二进制格...【阅读全文】
double_lq | 2014-07-20 19:22:39 | 阅读(0) | 评论(0)
对大部分的默认数据类型来说,只要提供了相应的分片规则即可以对数据结果进行输出,并根据默认的数据规则进行排序。但有时在工作或者程序设计时要采用不同的排序规则。为了解决不同的排序规则能够根据需要运用在不同的设计程序中,MapReduce提供了一个对应的方法,即setSortComparatorClass,可以使用这种方法对输出据键...【阅读全文】
niao5929 | 2014-07-16 11:25:21 | 阅读(510) | 评论(0)
今天部署好了eclipse在hadoop中的开发环境,在ide环境下可以浏览到hadoop上的目录和文件,但是无法创建目录和上传文件,解决办法是在hdfs-site.xml中添加红色部分的参数.[hadoop1@node1 conf]$ more hdfs-site.xml<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Pu...【阅读全文】
hxl | 2014-07-15 21:15:13 | 阅读(0) | 评论(0)
1.1  eclipse中指定本地hadoop的目录添加了hadoop插件后,重启启动eclipse,找到Windows->preferences,指定本地的hadoop安装路径环境:eclpise: Eclipse Java EE IDE for Web DevelopersHadoop: 1.2.1 1.1  添加hadoop eclipse插件下载hadoop-eclipse-plugin-1.0.0插件,然后将该插件拷贝到e...【阅读全文】
hxl | 2014-07-15 14:50:40 | 阅读(9860) | 评论(0)
今天部署好了eclipse在hadoop中的开发环境,在ide环境下可以浏览到hadoop上的目录和文件,但是无法创建目录和上传文件,解决办法是在hdfs-site.xml中添加红色部分的参数.[hadoop1@node1 conf]$ more hdfs-site.xml【阅读全文】
zzjlzx | 2014-07-14 10:41:26 | 阅读(1570) | 评论(0)
深入理解Hadoop集群和网络2012-11-08 14:47 Brad Hedlund csdn 字号:T | T本文将着重于讨论Hadoop集群的体系结构和方法,及它如何与网络和服务器基础设施的关系。最开始我们先学习一下Hadoop集群运作的基础原理。AD:WOT2014:用户标签系统与用户...【阅读全文】
niao5929 | 2014-05-15 15:59:11 | 阅读(1610) | 评论(0)
Hadoop-2.4.0分布式安装手册.pdf目录目录11. 前言22. 部署22.1. 机器列表22.2. 主机名22.2.1. 临时修改主机名32.2.2. 永久修改主机名32.3. 免密码登录范围43. 约定43.1. 安装目录约定43.2. 服务端口约定5...【阅读全文】
kings_way_cu | 2014-05-02 20:47:57 | 阅读(1210) | 评论(1)
Hadoop-2.4.0分布式安装手册.pdf目录目录11. 前言22. 部署22.1. 机器列表22.2. 主机名22.2.1. 临时修改主机名32.2.2. 永久修改主机名32.3. 免密码登录范围43. 约定43.1. 安装目录约定43.2. 服务端口约定5...【阅读全文】
Larpenteur | 2014-04-30 12:24:23 | 阅读(1950) | 评论(0)
Hadoop-2.4.0分布式安装手册.pdf目录目录11. 前言22. 部署22.1. 机器列表22.2. 主机名22.2.1. 临时修改主机名32.2.2. 永久修改主机名32.3. 免密码登录范围43. 约定43.1. 安装目录约定43.2. 服务端口约定5...【阅读全文】