搜索博文结果_ChinaUnix博客

博客首页博客专家往日推荐博客文集

热搜：网络安全 H3C cISCO C语言 Python Mysql LINUX Hyper-V

博客首页〉搜索结果

按类别查询搜索结果

操作系统程序设计数据库热点技术综合架构与运维移动开发与应用 Web前端

虚拟化| 云计算| 大数据| HADOOP| 高性能计算|

关于关键词的检测结果，共 217 条

【HADOOP】 hbase完全分布式安装

douyaqiang123 | 2021-10-21 17:35:48 | 阅读(0) | 评论(0)

参考: https://blog.csdn.net/clypm/article/details/79496934本文介绍hbase在集群中的分布式安装教程，由于hbase需要依赖于hadoop和zookeeper集群，所有首先需要安装准备好hadoop和zookeeper集群，可以参看前面的文章:hadoop安装 https://blog.csdn.net/sjhuangx/article/details/79783051zookeeper安装:ht...【阅读全文】

【HADOOP】 Tomcat 应用中并行流带来的类加载问题

vivo互联网技术 | 2019-09-25 21:43:12 | 阅读(1700) | 评论(0)

随着 Java8 的不断流行，越来越多的开发人员使用并行流（parallel）这一特性提升代码执行效率。但是，作者发现在 Tomcat 容器中使用并行流会出现动态加载类失败的情况，通过对比 Tomcat 多个版本的源码，结合并行流和 JVM 类加载机制的原理，成功定位到问题来源。本文对这个问题展开分析，并给出解决方案。【阅读全文】

【HADOOP】开源大数据平台如何才能保证身份认证安全？

charliewei | 2018-12-11 17:50:04 | 阅读(2240) | 评论(0)

在信息技术界，Kerberos是一种被广泛采用的网络认证协议，通过对称加密的技术，保护网络系统的安全。
【阅读全文】

【HADOOP】 Hadoop学习系列一：环境搭建

浅色年华 | 2018-07-09 15:03:23 | 阅读(3700) | 评论(0)

为了学习HBase，跑过来先把Hadoop学习下。主要是根据马老师之前直播的教程来学习的。好了，废话不多说了，开搞。相比VMware，Vritual Box是免费的，因此这里采用Virtual Box。首先在virtualbox官网的下载页面下载Virtual Box，并安装。安装过程没什么好说的。在CentOS官网下载最新版的CentOS 7，下载的时候要DVD ...【阅读全文】

【HADOOP】验证hadoop安装lzo是否成功

hxl | 2017-12-07 14:46:24 | 阅读(0) | 评论(0)

1.创建目录:[hadoop@master exter_data]$ hadoop fs -mkdir /user/hive/provcode/2.上传文本文件hadoop fs -put /opt/hadoop/exter_data/provcode.TXT.utf8 /user/hive/provcode/3.压缩[hadoop@master exter_data]$ hadoop jar /opt/hadoop/hadoop-2.8.2/share/hadoop/tools/lib/hadoop-streaming-2.8.2.jar -Dmapr...【阅读全文】

【HADOOP】 hadoop和hive下配置lzo压缩

hxl | 2017-12-07 13:53:35 | 阅读(0) | 评论(0)

环境:hadoop:2.8.2hive:1.2.21.9 安装LZO压缩1.9.1安装maven1.9.1.1下载maven下载地址为: http://maven.apache.org/download.cgi下载的版本为: apache-maven-3.5.2-bin.tar.gz1.9.1.2解压安装[root@master soft]# tar -xvf apache-maven-3.5.2-bin.tar.gzroot@master soft]# m...【阅读全文】

【HADOOP】 kafka安装部署

hxl | 2017-11-07 14:33:05 | 阅读(0) | 评论(0)

linux环境:Kafka: 192.168.56.102 server2Linux安装kafka1.4 下载安装介质下载地址为: https://www.apache.org/dyn/closer.cgi?path=/kafka/1.0.0/kafka_2.11-1.0.0.tgz我这里下载的版本是kafka_2.11-1.0.0.tgz1.5 解...【阅读全文】

【HADOOP】 CDH安装失败如何重装

hxl | 2017-10-27 17:42:40 | 阅读(0) | 评论(0)

1.停掉服务[root@master opt]# /opt/cm-5.13.0/etc/init.d/cloudera-scm-server stopStopping cloudera-scm-server: [ OK ][root@master opt]# /opt/cm-5.13.0/etc/init.d/cloudera-scm-agent stopStopping cloudera-scm-agent: [ OK ]2.Agent节点的UUIDrm -rf /opt/cm-5.13.0/lib/clouder...【阅读全文】

【HADOOP】 HDFS块文件和存放目录的关系

Aquester | 2017-05-19 09:29:25 | 阅读(3870) | 评论(0)

详情请参见DatanodeUtil.java中的函数idToBlockDir(File root, long blockId)。如果block文件没有放在正确的目录下，则DataNode会出现“expected block file path”日志。// g++ -g -o block2dir block2dir.cpp#include <stdio.h>#include <stdlib.h>int main(int argc, char* argv[]){ if (argc != ...【阅读全文】

【HADOOP】 Hadoop-2.8.0分布式安装手册

Aquester | 2017-04-30 14:25:07 | 阅读(4410) | 评论(0)

目录目录11. 前言32. 特性介绍43. 部署53.1. 机器列表63.2. 主机名63.2.1. 临时修改主机名73.2.2. 永久修改主机名73.3. 免密码登录范围73.4. 修改最大可打开文件数83.5. OOM相关：vm.overcommit_memory 84...【阅读全文】

【HADOOP】 centos6.4安装CDH5.3并升级到5.10

eqkilly | 2017-04-05 11:45:23 | 阅读(1820) | 评论(0)

把需要注意的事项写前面吧，后面碰到坑可以翻到前面看看。安装CDH的时候这个提示 Requires libpython2.4.so.1.0()(64bit)系统缺包，yum 装不上，yum安装了python-devel 也不行，系统是2.6.6的，后来网上下了个 rpm的，装的时候加上 --nodeps 强制安装。下载地址：http://rpmfind.net/linux/rpm2html/sea...【阅读全文】

【HADOOP】 Hadoop初识和安装

lksoulman | 2017-02-09 13:30:47 | 阅读(800) | 评论(0)

Hadoop 简单介绍和安装过程介绍【阅读全文】

【HADOOP】安装hue-3.11.0

Aquester | 2016-10-28 18:15:53 | 阅读(4430) | 评论(0)

1) 配置HDFS HttpFS和WebHDFS如果HDFS是HA方式部署的，则只能使用HttpFS，而不能用WebHDFS。2) 安装依赖：apr-iconv-1.2.1confuse-3.0apr-util-1.5.4libpng-1.6.26apr-1.5.2 expat-2.2.0pcre-8.38libxml2-devellibxslt-develsqlite-devel。。。。。。3) 编译安装Hue解压Hue安装包，然后执行make i...【阅读全文】

【HADOOP】 Hadoop-2.7.2分布式安装手册

shilei1 | 2016-09-07 21:49:14 | 阅读(11440) | 评论(0)

目录目录11. 前言22. 部署32.1. 机器列表32.2. 主机名32.2.1. 临时修改主机名42.2.2. 永久修改主机名42.3. 免密码登录范围43. 约定53.1. 安装目录约定53.2. 服务端口约定64. 工作详单75. ...【阅读全文】

【HADOOP】 centos添加系统变量

sanshugen | 2016-08-13 16:12:53 | 阅读(1870) | 评论(0)

CentOS添加环境变量在Linux CentOS系统上安装完php和MySQL后，为了使用方便，需要将php和mysql命令加到系统命令中，如果在没有添加到环境变量之前，执行“php -v”命令查看当前php版本信息时时，则会提示命令不存在的错误，下面我们详细介绍一下在linux下将php和mysql加入到环境变量中的方法（假设php和mysq...【阅读全文】

【HADOOP】 hive2.0 安装过程问题解决办法

OowarrioroO | 2016-04-24 16:40:38 | 阅读(2000) | 评论(0)

HIVE安装环境：ubuntu14.04 hadoop-2.6.0 hive-2.0.0
?1.下载安装
?下载链接：http://mirror.bit.edu.cn/apache/hive/
?解压安装：
2.参数配置
?2.1设置环境变量
2.2设置配置文件
3错误信息：
Exception in thread "main" java.lang.RuntimeException: Hive metastore database is not initialized.
Exception in thread "main" java.lang.IllegalArgumentException: java.net.URISyntaxException: 【阅读全文】

【HADOOP】正式生产环境下hadoop集群的DNS+NFS+ssh免密码登陆配置

zzjlzx | 2016-03-21 10:35:48 | 阅读(2150) | 评论(0)

正式生产环境下hadoop集群的DNS+NFS+ssh免密码登陆配置作者：weir2010 发布日期：2014-06-09 18:03:05环境虚拟机centos6.5主机名h3 IP 192.168.137.11 作为DNS FNS的服务器主机名h4 IP 192.168.137.12主机名h3 I...【阅读全文】

【HADOOP】 ambari增加journalnode服务节点

levy-linux | 2016-03-17 11:57:58 | 阅读(2660) | 评论(0)

ambari默认3个journalnode节点，但是如果一个节点出现问题，需要增加补充，ambari界面没有操作的选项，所以只能通过其他命令方式操作，看到之前有个文章是将HA降级，之后重新做HA，这样的风险太高了，操作负载，从网上找到了其他方式，分享给需要的朋友，也希望ambari新版本可以将这个增加journalnode功能，添加进去。增...【阅读全文】

【HADOOP】 Hive 1.2.1&Spark&Sqoop安装指南

Aquester | 2016-02-16 15:42:51 | 阅读(8290) | 评论(0)

Hive 1.2.1安装指南.pdf目录目录11. 前言12. 约定23. 服务端口24. 安装MySQL 24.1. 安装MySQL 24.2. 创建Hive元数据库 45. 安装步骤45.1. 下载Hive 1.2.1二进制安装包 45.2. 安装Hive 55.3. 安装MySQL-Connec...【阅读全文】

【HADOOP】 Ubuntu安装Hadoop进行namenode格式化出现Format aborted in path

神域风云再起 | 2016-02-11 16:26:22 | 阅读(1660) | 评论(0)

在使用hadoop namenode -format进行namenode的格式化时候，出现错误Format aborted in path出现错误的原因是：在对namenode格式化之前，要确保dfs.name.dir参数指定的目录不存在（hdfs-site.xml文件）。hadoop这样做的目的是防止错误的将已存在的集群格式化了。解决方法：关闭hadoop服务将上面参数指定的文件夹删除，...【阅读全文】

首页
<<
1
2
3
4
5
6
7
8
9
10
>>
末页

网络110 报警服务