搜索博文结果_ChinaUnix博客

douyaqiang123 | 2021-10-21 17:35:48 | 阅读(0) | 评论(0)

参考: https://blog.csdn.net/clypm/article/details/79496934本文介绍hbase在集群中的分布式安装教程，由于hbase需要依赖于hadoop和zookeeper集群，所有首先需要安装准备好hadoop和zookeeper集群，可以参看前面的文章:hadoop安装 https://blog.csdn.net/sjhuangx/article/details/79783051zookeeper安装:ht...【阅读全文】

【HADOOP】 Hadoop集群完全分布式模式环境部署

gpf626487 | 2018-01-02 08:47:11 | 阅读(2470) | 评论(0)

Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲，...【阅读全文】

【HADOOP】 hive 表常用压缩方式

hxl | 2017-12-12 17:04:56 | 阅读(0) | 评论(0)

1.创建表CREATE EXTERNAL TABLE `tb_provcode_gzip`( `provcode` string, `provdesc` string, `areacode` string, `citydesc` string, `citydescen` string)ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' STORED AS textfile;2.插入...【阅读全文】

【HADOOP】 hive导入表中文乱码

hxl | 2017-12-07 11:26:32 | 阅读(10390) | 评论(0)

平时我们在将外部文件导入到hive表的过程中，要是原文件包含有中文的，导入就经常会出现乱码，这个时候我们可以事先把文件编码格式修改为utf8后再导入.1.查看文件的当前的编码[hadoop@master exter_data]$ file --mime-encoding provcode.TXTprovcode.TXT: iso-8859-12.转换为utf8格式iconv...【阅读全文】

【HADOOP】 Hadoop-2.8.0分布式安装手册

Aquester | 2017-04-30 14:25:07 | 阅读(4390) | 评论(0)

目录目录11. 前言32. 特性介绍43. 部署53.1. 机器列表63.2. 主机名63.2.1. 临时修改主机名73.2.2. 永久修改主机名73.3. 免密码登录范围73.4. 修改最大可打开文件数83.5. OOM相关：vm.overcommit_memory 84...【阅读全文】

【HADOOP】 hive创建压缩表并导入数据

hxl | 2016-12-05 14:08:28 | 阅读(0) | 评论(0)

1.创建rcfile压缩表create table t_emp_info_rc( id int, name string, age int, tel string)stored as rcfile;2.从原表导入数据insert overwrite table t_emp_info_rc select * from t_emp_info;3.查看数据hive> select * from t_emp_info_rc;OK1 ...【阅读全文】

【HADOOP】 Hadoop-2.7.2分布式安装手册

shilei1 | 2016-09-07 21:49:14 | 阅读(11420) | 评论(0)

目录目录11. 前言22. 部署32.1. 机器列表32.2. 主机名32.2.1. 临时修改主机名42.2.2. 永久修改主机名42.3. 免密码登录范围43. 约定53.1. 安装目录约定53.2. 服务端口约定64. 工作详单75. ...【阅读全文】

【HADOOP】 Hadoop集群完全分布式模式环境部署

dlagul | 2016-07-21 16:28:09 | 阅读(2100) | 评论(0)

Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲，...【阅读全文】

【HADOOP】正式生产环境下hadoop集群的DNS+NFS+ssh免密码登陆配置

zzjlzx | 2016-03-21 10:35:48 | 阅读(2150) | 评论(0)

正式生产环境下hadoop集群的DNS+NFS+ssh免密码登陆配置作者：weir2010 发布日期：2014-06-09 18:03:05环境虚拟机centos6.5主机名h3 IP 192.168.137.11 作为DNS FNS的服务器主机名h4 IP 192.168.137.12主机名h3 I...【阅读全文】

【HADOOP】 Hadoop集群完全分布式模式环境部署

jelon521 | 2016-03-15 15:58:04 | 阅读(2150) | 评论(0)

Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲，...【阅读全文】

【HADOOP】 Ubuntu安装Hadoop进行namenode格式化出现Format aborted in path

神域风云再起 | 2016-02-11 16:26:22 | 阅读(1660) | 评论(0)

在使用hadoop namenode -format进行namenode的格式化时候，出现错误Format aborted in path出现错误的原因是：在对namenode格式化之前，要确保dfs.name.dir参数指定的目录不存在（hdfs-site.xml文件）。hadoop这样做的目的是防止错误的将已存在的集群格式化了。解决方法：关闭hadoop服务将上面参数指定的文件夹删除，...【阅读全文】

【HADOOP】 Hadoop集群完全分布式模式环境部署

h136919934 | 2016-01-18 20:14:30 | 阅读(790) | 评论(0)

Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲，...【阅读全文】

【HADOOP】 Hadoop-2.7.2分布式安装手册

Aquester | 2015-11-25 09:10:43 | 阅读(7070) | 评论(1)

目录目录11. 前言22. 部署32.1. 机器列表32.2. 主机名32.2.1. 临时修改主机名42.2.2. 永久修改主机名42.3. 免密码登录范围43. 约定53.1. 安装目录约定53.2. 服务端口约定64. 工作详单75. ...【阅读全文】

【HADOOP】基于Hadoop集群的大规模分布式深度学习

aqiandao | 2015-11-13 16:56:04 | 阅读(1350) | 评论(0)

　　前言　　在过去的十年里，Yahoo 一直持续投资建设和扩展 Apache Hadoop 集群，到目前为止共有超过 4 万台服务器和 600PB 数据分布在 19 个集群上。正如在 2015 Hadoop 峰会上介绍的，我们在自己的服务器上开发了可扩展的机器学习算法，用于分类、排序和计算词向量。目前，Hadoop 集群已成为 Yahoo 大规模机器学...【阅读全文】

【HADOOP】 Apache Eagle——eBay开源分布式实时Hadoop数据安全方案

aqiandao | 2015-11-06 17:40:42 | 阅读(1220) | 评论(0)

　　日前，eBay公司隆重宣布正式向开源业界推出分布式实时安全监控引方案—— Apache Eagle，该项目已正式加入Apache 称为孵化器项目。Apache Eagle提供一套高效分布式的流式策略引擎，具有高实时、可伸缩、易扩展、交互友好等特点，同时集成机器学习对用户行为建立Profile以实现实时智能实时地保护Hadoop生态系统中大...【阅读全文】

【HADOOP】使用 Spark-sql 导入数据到hadoop

xuemling | 2015-09-17 15:41:50 | 阅读(2330) | 评论(0)

使用 Spark-sql 导入数据，hive模式，比如导入数据到hadoop【阅读全文】

【HADOOP】 HA-Federation-HDFS +Yarn集群部署方式

niao5929 | 2015-08-27 20:08:28 | 阅读(1590) | 评论(0)

<div style="font-size:12px;color:#333333;font-family:tahoma, 宋体;line-height:normal;white-space:normal;text-align:center;background-color:#FAFAFC;"><h1 class="aTitle" style="font-size:16px;position:relative;padding-top:10px;">HA-Federation-HDFS +Yarn集群部署方式</h1></div><table width="97%...【阅读全文】

【HADOOP】 HA-Federation-HDFS +Yarn集群部署方式

niao5929 | 2015-08-25 15:16:38 | 阅读(950) | 评论(0)

<div style="font-size:12px;color:#333333;font-family:tahoma, 宋体;line-height:normal;white-space:normal;text-align:center;background-color:#FAFAFC;"><h1 class="aTitle" style="font-size:16px;position:relative;padding-top:10px;">HA-Federation-HDFS +Yarn集群部署方式</h1></div><table width="97%...【阅读全文】

【HADOOP】 Hadoop 2.7 单机伪分布模式

安浪天 | 2015-08-11 15:07:20 | 阅读(990) | 评论(0)

说明：系统为centos6.5、jdk版本为1.7、Hadoop版本为2.7.红色字体为输入内容，紫色字体为路径及注意<strong><br />一、jdk安装<br /></strong>1、安装jdk1.7<br />    <span style="color:#E53333;">rpm -ivh jdk-7u79-linux-x64.rpm</span><br /><div>2、配置环境变量    在/etc/profile文...【阅读全文】

【HADOOP】 windows下安装hadoop伪分布式遇到问题汇总

dsy851009 | 2015-08-08 21:48:36 | 阅读(3140) | 评论(0)

本来想着很简单的一个安装，结果花费了一天时间才搞定，中间遇到很多问题，最终安装成功，记录下。
安装步骤简单说下(网上有很多安装详细步骤，这里不详细说明，主要是中间的问题解决)：
一、安装jdk1.7，配置环境变量；
二、下载cygwin并安装，记得记得选择openssh包的安装；
三、配置ssh；【阅读全文】