按类别查询搜索结果
关于关键词 "HADOOP" 的检测结果,共 2200
suiming2005 | 2016-02-24 09:03:07 | 阅读(540) | 评论(0)
hadoop、spark比较【阅读全文】
levy-linux | 2016-02-18 09:34:02 | 阅读(2130) | 评论(0)
想看看执行的hive job提交了什么语句,有没有方法从hadoop job监控页面查看?方法如下,这里看到简单的一段SQL,几乎看不出具体在执行什么任务。1、点开一个application,点击Tracking URL: ApplicationMaster 或者 History(历史任务显示History),进入到MapReduce Job job_1409xxxx,Job页面2、点击左侧的Config...【阅读全文】
神域风云再起 | 2016-02-11 16:26:22 | 阅读(260) | 评论(0)
在使用hadoop namenode -format进行namenode的格式化时候,出现错误Format aborted in path出现错误的原因是:在对namenode格式化之前,要确保dfs.name.dir参数指定的目录不存在(hdfs-site.xml文件)。hadoop这样做的目的是防止错误的将已存在的集群格式化了。解决方法:关闭hadoop服务将上面参数指定的文件夹删除,...【阅读全文】
Aquester | 2016-02-02 15:33:21 | 阅读(1230) | 评论(1)
假设:1) java安装目录为/data/jdk2) 监控脚本process_monitor监控脚本process_monitor.sh安装目录为/usr/local/bin3) hadoop安装目录为/data/hadoop4) hbase安装目录为/data/hbase5) zookeeper安装目录为/data/zookeeper可以通过jps查看到进程ID,然后使用kill命令杀死进程,查看监控重拉起效果。process_monitor...【阅读全文】
马哥linux运维 | 2016-01-21 23:32:16 | 阅读(0) | 评论(0)
1、Hadoop的配置文件 hadoop-env.sh: 用于定义hadoop运行环境相关的配置信息,比如配置JAVA_HOME环境变量、为hadoop的JVM指定特定的选项、指定日志文件所在的目录路径以及master和slave文件的位置等; core-site.xml: 用于定义系统级别的参数,如HDFS URL、Hadoop的临时目录以及用于rack-aware...【阅读全文】
马哥linux运维 | 2016-01-21 23:31:09 | 阅读(0) | 评论(0)
1、Hadoop依赖软件Hadoop基于Java语言开发,因此其运行严重依赖于JDK(Java Development Kit),并且Hadoop的许多功能依赖于Java 6及以后的版本才提供的特性。Hadoop可以良好地运行于经过测试的各JDK,如Sun JDK、OpenJDK、Oracle JRockit、IBM JDK各自实现的某些版本。但迄今为止,HotSpot JVM仍是性能最好且与Hadoop搭...【阅读全文】
马哥linux运维 | 2016-01-21 23:30:23 | 阅读(0) | 评论(0)
、合并MapReduce集群与HDFS集群在调度运行一个作业时,将map任务等直接运行于要处理的数据所存储的HDFS的数据节点上,可避免大量的数据传输,实现数据处理的本地性,进而大大提高整个过程的完成效率,这也正是Hadoop集群的部署方式。如下图所示。在一个小于50个节点的小规模集群中,可以将NameNode与JobTracker...【阅读全文】
马哥linux运维 | 2016-01-21 23:29:43 | 阅读(0) | 评论(0)
、访问HDFS文件系统HDFS是工作于用户空间的文件系统,它的树状文件系统是独立的,不能像传统上工作于内核空间的文件系统一样挂载至当前操作系统的目录树上对HDFS进行访问,传统上实现文件或目录管理的命令如ls、cat等此处也无法正常使用。对HDFS文件系统上的文件进行访问,需要通过HDFS的API或者由hadoop提供的命令行...【阅读全文】
马哥linux运维 | 2016-01-21 23:29:03 | 阅读(0) | 评论(0)
1、MapReduce与分布式文件系统 前面的讨论中,我们已经得知,Hadoop中实现的MapReduce是一个编程模型和运行框架,它能够通过JobTracker接收客户提交的作业而后将其分割为多个任务后并行运行在多个TaskTracker上。而问题是,这些TaskTracker如何高效获取所要处理的数据?在传统的高性能集群中,计算节点和存储...【阅读全文】
马哥linux运维 | 2016-01-21 23:28:18 | 阅读(0) | 评论(0)
、MapReduce作业、集群及其逻辑架构 前文已经描述,MapReduce是一个编程框架,它为程序员提供了一种快速开发海量数据处理程序的编程环境,并能够让基于这种机制开发出的处理程序以稳定、容错的方式并行运行于由大量商用硬件组成的集群上。同时,MapReduce又是一个运行框架,它需要为基于MapReduce机制开发出...【阅读全文】
马哥linux运维 | 2016-01-21 23:26:51 | 阅读(0) | 评论(0)
1、mapper和reducerMapReduce对数据的处理分为两个阶段:map阶段和reduce阶段,这两个阶段分别由用户开发的map函数和reduce函数完成,在MapReduce运行环境中运行时,它们也分别被称为mapper和reducer。键值对(key-value pair)是MapReduce的基础数据结构,mapper和reducer读入和输出的数据均为键值对。MapReduce中,“...【阅读全文】
马哥linux运维 | 2016-01-21 23:23:45 | 阅读(0) | 评论(0)
1、MapReduce和大数据问题 海量数据并行处理的核心思想无非是将一个较大的问题进行“分割包围、逐个歼灭”。然而其难点和关键点在于如何将一个大的问题分分割成多个可以分别在不同的CPU上或不同的主机上进行处理的独立小问题,而且这些独立进行处理的小问题所产生的中间结果又该如何合并成最终结果并予以输...【阅读全文】
马哥linux运维 | 2016-01-21 23:22:37 | 阅读(0) | 评论(0)
1、大数据(big data)什么是大数据?wikipedia上面给出了这样的定义:In information technology, big data is a collection of data sets so large and complex that it becomes difficult to process using on-hand database management tools or traditional data processing applications. 大数据...【阅读全文】
马哥linux运维 | 2016-01-21 23:17:24 | 阅读(0) | 评论(0)
传统的关系型数据库中的表通常由一个或多个字段组成,每个字段都预先定义了其可存储数据的格式及约束等,这类的数据就是结构化数据(structured data)。一个设计良好的数据库在其schema中定义这些格式或约束,并由相应的RDBMS为这些提供实现保证。相应地,非结构化数据(unstructured Data)就是指那些没有一个预定义的数据...【阅读全文】
levy-linux | 2016-01-20 10:46:13 | 阅读(1920) | 评论(0)
hadoop节点服务器的一块硬盘出现物理故障,需要更换,将节点的服务停止,暂时不提供服务,将故障更换了,新盘格式化,fdisk -l新的2T盘为/dev/sdeparted -s /dev/sde mklabel gpt mkpart primary 0% 100%格式化:mkfs.ext4 /dev/sde1挂载硬盘:mount /dev/sde /data2正常启动datanode服务,但是报错,如下:...【阅读全文】
h136919934 | 2016-01-18 20:14:30 | 阅读(40) | 评论(0)
Hadoop简介        Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲,...【阅读全文】
levy-linux | 2016-01-13 15:29:57 | 阅读(4280) | 评论(0)
NN切换hdfs haadmin -transitionToActive/transitionToStandbyRM切换yarn rmadmin -transitionToActive/transitionToStandby但是,这种方式在启用了ZKFC做自动失效恢复的状态下是不允许修改的,提示信息里只说了可以强制执行,但是没有提供命令,其实强制切换主备命令很简单。加个forcemanual就好了。强制切换yar...【阅读全文】
张大嘴的师傅 | 2016-01-12 12:14:06 | 阅读(0) | 评论(0)
课程观看地址:http://www.xuetuwuyou.com/course/62课程出自学途无忧网:http://www.xuetuwuyou.com一、软件版本Centos6.5、VMware 10CDH5.2.0(Hadoop 2.5.0)Hive-0.13 sqoop-1.4.5二、学完课程之后,您可以:①、一个人搞定企业Hadoop平台搭建和运维工作;界面化高效运维和监控。②、玩转Mapreduce编...【阅读全文】
互联网发展 | 2016-01-06 15:54:41 | 阅读(0) | 评论(0)
课程名称:实战Hadoop开发视频课程课程目标:了解Hadoop/MapReduce架构原理;掌握HDFS文件系统操作;掌握Hadoop大数据实战开发技术;胜任大数据开发工程师岗位。适用人群:想掌握Hadoop大数据开发技术;想进入大数据相关行业;想从Java开发转向大数据开发。课程简介:本课程全程实操演示,细讲每一步配置和操作,基...【阅读全文】
【大数据】 hadoop版本比较
oracle_ren | 2016-01-06 10:17:04 | 阅读(450) | 评论(0)
由于Hadoop版本混乱多变,因此,Hadoop的版本选择问题一直令很多初级用户苦恼。本文总结了Apache Hadoop和Cloudera Hadoop的版本衍化过程,并给出了选择Hadoop版本的一些建议。 1. Apache Hadoop 1.1  Apache版本衍化截至目前(2012年12月23日),Apache Had...【阅读全文】