按类别查询搜索结果
关于关键词 "HADOOP" 的检测结果,共 484
豆浆_tony | 2018-07-21 20:04:39 | 阅读(80) | 评论(0)
本博文收集和整理了在日常维护hadoop集群时运维工程师需要掌握的最基本的hadoop管理与维护的相关命令,在此分享出来供大家参考学习~博主也是刚刚接触hadoop不久,如有问题欢迎批评指正~非常感谢【阅读全文】
浅色年华 | 2018-07-09 15:03:23 | 阅读(0) | 评论(0)
为了学习HBase,跑过来先把Hadoop学习下。主要是根据马老师之前直播的教程来学习的。好了,废话不多说了,开搞。相比VMware,Vritual Box是免费的,因此这里采用Virtual Box。首先在virtualbox官网的下载页面下载Virtual Box,并安装。安装过程没什么好说的。在CentOS官网下载最新版的CentOS 7,下载的时候要DVD ...【阅读全文】
caojiangfeng | 2018-03-29 10:16:21 | 阅读(10) | 评论(0)
hadoop fsck:http://lxw1234.com/archives/2015/08/452.htm【阅读全文】
sh1027347389 | 2018-03-07 15:31:22 | 阅读(0) | 评论(0)
学习大数据和人工智能的人也越来越多,Hadoop是目前世界上最流行的分布式数据处理框架,是大数据学习必学的框架知识。【阅读全文】
simonfirst | 2018-01-23 15:05:45 | 阅读(110) | 评论(0)
本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记,如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性,如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】
gpf626487 | 2018-01-02 08:48:15 | 阅读(50) | 评论(0)
gpf626487 | 2018-01-02 08:47:11 | 阅读(110) | 评论(0)
Hadoop简介        Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲,...【阅读全文】
gpf626487 | 2018-01-02 08:28:00 | 阅读(80) | 评论(0)
本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记,如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性,如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】
hxl | 2017-12-12 09:52:05 | 阅读(0) | 评论(0)
1.查看块和文件大小[hadoop@master ~]$ hadoop fs -stat "%o %r %b" /user/hive/exter_data/userdata/usernolzo/user.txt134217728 2 10477777796参数选项:%b:打印文件大小(目录为0)%n:打印文件名%o:打印block size (我们要的值)%r:打印备份数%y:打印UTC日期 yyyy-MM-dd HH:mm:ss%Y:打印自1970年1月1...【阅读全文】
hxl | 2017-12-08 08:17:45 | 阅读(0) | 评论(0)
我在在采用lzo做为hive的压缩方式后,默认情况下执行map/reduce使用的map和reduce的进程数是1,无法进行分片执行,在数据文件很大的情况下,执行起来非常的慢,这个时候我们就需要为lzo创建索引,支持分片执行。【阅读全文】
hxl | 2017-12-07 14:46:24 | 阅读(0) | 评论(0)
1.创建目录:[hadoop@master exter_data]$ hadoop fs -mkdir /user/hive/provcode/2.上传文本文件hadoop fs -put /opt/hadoop/exter_data/provcode.TXT.utf8 /user/hive/provcode/3.压缩[hadoop@master exter_data]$ hadoop jar /opt/hadoop/hadoop-2.8.2/share/hadoop/tools/lib/hadoop-streaming-2.8.2.jar -Dmapr...【阅读全文】
hxl | 2017-12-07 13:53:35 | 阅读(0) | 评论(0)
环境:hadoop:2.8.2hive:1.2.21.9 安装LZO压缩1.9.1安装maven1.9.1.1下载maven下载地址为: http://maven.apache.org/download.cgi下载的版本为: apache-maven-3.5.2-bin.tar.gz1.9.1.2解压安装[root@master soft]# tar -xvf apache-maven-3.5.2-bin.tar.gzroot@master soft]# m...【阅读全文】
powerful_boy | 2017-11-10 14:45:33 | 阅读(30) | 评论(0)
hadoop,spark,hbase实时应用【阅读全文】
powerful_boy | 2017-11-09 17:36:44 | 阅读(20) | 评论(0)
hadoop客户端部署【阅读全文】
师范机会 | 2017-10-19 20:32:31 | 阅读(30) | 评论(0)
一、实验主机:4台阿里云主机centos6.9node1:master(namenode)node2:slave(datanode)node3:slave(datanode)node4:slave(datanode)在/etc/hosts文件中设置如上四个主机名解析 四台主机之间相互设置免密登录(这里直接使用root用户,生产环境应该使用其它应用用户),使用命令 ssh-keygen -t rsa 生成密钥对把四台主机...【阅读全文】
【HADOOP】 HADOOP异常处理
xuxiyao8888 | 2017-07-20 09:01:38 | 阅读(0) | 评论(0)
1. Failed to load image from FSImageFile服务器有时候断电关机后,再次hadoop时,会出现Failed to load image from FSImageFile的错误。2017-07-20 08:52:07,415 ERROR org.apache.hadoop.hdfs.server.namenode.FSImage: Failed to load image from FSImageFile(file=/dfs/nn/current/fsimage_0000000000...【阅读全文】
Aquester | 2017-04-30 14:25:07 | 阅读(280) | 评论(0)
目录目录11. 前言32. 特性介绍43. 部署53.1. 机器列表63.2. 主机名63.2.1. 临时修改主机名73.2.2. 永久修改主机名73.3. 免密码登录范围73.4. 修改最大可打开文件数83.5. OOM相关:vm.overcommit_memory 84...【阅读全文】
【HADOOP】 hadoop集群搭建
闷骚的伤 | 2017-03-30 16:15:11 | 阅读(70) | 评论(0)
环境:CentOS release 6.5192.168.116.140  master192.168.116.136  slave1192.168.116.137  slave2每台配置hosts vi /etc/hsots192.168.116.140  master192.168.116.136  slave1192.168.116.137  slave2一、安装jdk:1、master操作...【阅读全文】
lksoulman | 2017-02-14 14:45:05 | 阅读(890) | 评论(0)
本文主要介绍 Hadoop 运行 hadoop-examples-1.2.1.jar 包中 wordcount类统计文件中的单词个数。【阅读全文】
【HADOOP】 Hadoop常用命令
人道酬诚 | 2017-02-11 00:56:32 | 阅读(30) | 评论(0)
hadoop 和 hdfs 命令用法hadoop:Usage: hadoop [--config confdir] [COMMAND | CLASSNAME]  CLASSNAME            run the class named CLASSNAME or  where COMMAND is one of:  fs                   run a gen...【阅读全文】