按类别查询搜索结果
关于关键词 "HADOOP" 的检测结果,共 487
speckle | 2018-11-18 23:09:45 | 阅读(0) | 评论(0)
Hadoop Delegation Token【阅读全文】
lnh2017 | 2018-11-13 13:33:23 | 阅读(10) | 评论(0)
Hadoop是在分布式服务器集群上存储海量数据并运行分布式分析应用的一个平台,其核心部件是HDFS与MapReduce。HDFS是一个分布式文件系统,可对数据系统进行分布式储存读取;MapReduce是一个计算框架,通过对计算任务的拆分,再根据任务调度器,对任务进行分布式计算。Hadoop是大数据开发必不可少的框架技术,因此,想要...【阅读全文】
【HADOOP】 初次尝试hadoop
StolennnXB | 2018-10-22 21:04:03 | 阅读(20) | 评论(0)
跟着官方文档走了一遍Hadoop环境的搭建【阅读全文】
豆浆_tony | 2018-07-21 20:04:39 | 阅读(150) | 评论(0)
本博文收集和整理了在日常维护hadoop集群时运维工程师需要掌握的最基本的hadoop管理与维护的相关命令,在此分享出来供大家参考学习~博主也是刚刚接触hadoop不久,如有问题欢迎批评指正~非常感谢【阅读全文】
浅色年华 | 2018-07-09 15:03:23 | 阅读(30) | 评论(0)
为了学习HBase,跑过来先把Hadoop学习下。主要是根据马老师之前直播的教程来学习的。好了,废话不多说了,开搞。相比VMware,Vritual Box是免费的,因此这里采用Virtual Box。首先在virtualbox官网的下载页面下载Virtual Box,并安装。安装过程没什么好说的。在CentOS官网下载最新版的CentOS 7,下载的时候要DVD ...【阅读全文】
caojiangfeng | 2018-03-29 10:16:21 | 阅读(30) | 评论(0)
hadoop fsck:http://lxw1234.com/archives/2015/08/452.htm【阅读全文】
sh1027347389 | 2018-03-07 15:31:22 | 阅读(0) | 评论(0)
学习大数据和人工智能的人也越来越多,Hadoop是目前世界上最流行的分布式数据处理框架,是大数据学习必学的框架知识。【阅读全文】
simonfirst | 2018-01-23 15:05:45 | 阅读(120) | 评论(0)
本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记,如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性,如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】
gpf626487 | 2018-01-02 08:48:15 | 阅读(80) | 评论(0)
gpf626487 | 2018-01-02 08:47:11 | 阅读(140) | 评论(0)
Hadoop简介        Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲,...【阅读全文】
gpf626487 | 2018-01-02 08:28:00 | 阅读(100) | 评论(0)
本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记,如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性,如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】
hxl | 2017-12-12 09:52:05 | 阅读(0) | 评论(0)
1.查看块和文件大小[hadoop@master ~]$ hadoop fs -stat "%o %r %b" /user/hive/exter_data/userdata/usernolzo/user.txt134217728 2 10477777796参数选项:%b:打印文件大小(目录为0)%n:打印文件名%o:打印block size (我们要的值)%r:打印备份数%y:打印UTC日期 yyyy-MM-dd HH:mm:ss%Y:打印自1970年1月1...【阅读全文】
hxl | 2017-12-08 08:17:45 | 阅读(0) | 评论(0)
我在在采用lzo做为hive的压缩方式后,默认情况下执行map/reduce使用的map和reduce的进程数是1,无法进行分片执行,在数据文件很大的情况下,执行起来非常的慢,这个时候我们就需要为lzo创建索引,支持分片执行。【阅读全文】
hxl | 2017-12-07 14:46:24 | 阅读(0) | 评论(0)
1.创建目录:[hadoop@master exter_data]$ hadoop fs -mkdir /user/hive/provcode/2.上传文本文件hadoop fs -put /opt/hadoop/exter_data/provcode.TXT.utf8 /user/hive/provcode/3.压缩[hadoop@master exter_data]$ hadoop jar /opt/hadoop/hadoop-2.8.2/share/hadoop/tools/lib/hadoop-streaming-2.8.2.jar -Dmapr...【阅读全文】
hxl | 2017-12-07 13:53:35 | 阅读(0) | 评论(0)
环境:hadoop:2.8.2hive:1.2.21.9 安装LZO压缩1.9.1安装maven1.9.1.1下载maven下载地址为: http://maven.apache.org/download.cgi下载的版本为: apache-maven-3.5.2-bin.tar.gz1.9.1.2解压安装[root@master soft]# tar -xvf apache-maven-3.5.2-bin.tar.gzroot@master soft]# m...【阅读全文】
powerful_boy | 2017-11-10 14:45:33 | 阅读(40) | 评论(0)
hadoop,spark,hbase实时应用【阅读全文】
powerful_boy | 2017-11-09 17:36:44 | 阅读(20) | 评论(0)
hadoop客户端部署【阅读全文】
师范机会 | 2017-10-19 20:32:31 | 阅读(30) | 评论(0)
一、实验主机:4台阿里云主机centos6.9node1:master(namenode)node2:slave(datanode)node3:slave(datanode)node4:slave(datanode)在/etc/hosts文件中设置如上四个主机名解析 四台主机之间相互设置免密登录(这里直接使用root用户,生产环境应该使用其它应用用户),使用命令 ssh-keygen -t rsa 生成密钥对把四台主机...【阅读全文】
【HADOOP】 HADOOP异常处理
xuxiyao8888 | 2017-07-20 09:01:38 | 阅读(0) | 评论(0)
1. Failed to load image from FSImageFile服务器有时候断电关机后,再次hadoop时,会出现Failed to load image from FSImageFile的错误。2017-07-20 08:52:07,415 ERROR org.apache.hadoop.hdfs.server.namenode.FSImage: Failed to load image from FSImageFile(file=/dfs/nn/current/fsimage_0000000000...【阅读全文】
Aquester | 2017-04-30 14:25:07 | 阅读(300) | 评论(0)
目录目录11. 前言32. 特性介绍43. 部署53.1. 机器列表63.2. 主机名63.2.1. 临时修改主机名73.2.2. 永久修改主机名73.3. 免密码登录范围73.4. 修改最大可打开文件数83.5. OOM相关:vm.overcommit_memory 84...【阅读全文】