搜索博文结果_ChinaUnix博客

博客首页博客专家往日推荐博客文集

热搜： JavaScript 网络安全 H3C 存储 Ruby Mysql AIX FTP

博客首页〉搜索结果

按类别查询搜索结果

操作系统程序设计数据库热点技术综合架构与运维移动开发与应用 Web前端

虚拟化| 云计算| 大数据| HADOOP| 高性能计算|

关于关键词的检测结果，共 117 条

【HADOOP】 Tomcat 应用中并行流带来的类加载问题

vivo互联网技术 | 2019-09-25 21:43:12 | 阅读(1710) | 评论(0)

随着 Java8 的不断流行，越来越多的开发人员使用并行流（parallel）这一特性提升代码执行效率。但是，作者发现在 Tomcat 容器中使用并行流会出现动态加载类失败的情况，通过对比 Tomcat 多个版本的源码，结合并行流和 JVM 类加载机制的原理，成功定位到问题来源。本文对这个问题展开分析，并给出解决方案。【阅读全文】

【HADOOP】 hadoop常用命令知识

caojiangfeng | 2018-03-29 10:16:21 | 阅读(3900) | 评论(0)

hadoop fsck：http://lxw1234.com/archives/2015/08/452.htm【阅读全文】

【HADOOP】 hive 表常用压缩方式

hxl | 2017-12-12 17:04:56 | 阅读(0) | 评论(0)

1.创建表CREATE EXTERNAL TABLE `tb_provcode_gzip`( `provcode` string, `provdesc` string, `areacode` string, `citydesc` string, `citydescen` string)ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' STORED AS textfile;2.插入...【阅读全文】

【HADOOP】 hadoop和hive下配置lzo压缩

hxl | 2017-12-07 13:53:35 | 阅读(0) | 评论(0)

环境:hadoop:2.8.2hive:1.2.21.9 安装LZO压缩1.9.1安装maven1.9.1.1下载maven下载地址为: http://maven.apache.org/download.cgi下载的版本为: apache-maven-3.5.2-bin.tar.gz1.9.1.2解压安装[root@master soft]# tar -xvf apache-maven-3.5.2-bin.tar.gzroot@master soft]# m...【阅读全文】

【HADOOP】 hadoop,spark,hbase实时应用

powerful_boy | 2017-11-10 14:45:33 | 阅读(820) | 评论(0)

hadoop,spark,hbase实时应用【阅读全文】

【HADOOP】 HBase概述--什么是HBase

dream_my_dream | 2017-02-23 22:13:18 | 阅读(800) | 评论(0)

HBase – Hadoop Database，是一个构建在HDFS上的，高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。【阅读全文】

【HADOOP】 hbase shell基础和常用命令详解

lmz1951 | 2017-02-18 19:34:55 | 阅读(0) | 评论(0)

hbase shell基础和常用命令详解【阅读全文】

【HADOOP】 Hadoop常用命令

人道酬诚 | 2017-02-11 00:56:32 | 阅读(460) | 评论(0)

hadoop 和 hdfs 命令用法hadoop:Usage: hadoop [--config confdir] [COMMAND | CLASSNAME] CLASSNAME run the class named CLASSNAME or where COMMAND is one of: fs run a gen...【阅读全文】

【HADOOP】 Hadoop-常用shell命令

清无 | 2017-01-07 12:40:11 | 阅读(900) | 评论(0)

1. copyFromLocal hadoop dfs -ls 输出：-rw-r--r-- 3 hduser supergroup 674566 2011-03-10 11:38 /user/hduser/gutenberg/pg20417.txt -rw-r--r-- 3 hduser supergroup 1423801 2011-03-10 11:38 /user/hduser/gutenberg/pg5000.txt3.rmr 删除文件夹 hadoop dfs -rmr /user/hduser...【阅读全文】

【HADOOP】 hadoop-datanode启动不起来解决方案

清无 | 2017-01-06 23:28:24 | 阅读(930) | 评论(0)

root@localhost:/usr/local/hadoop-1.0.2# bin/hadoop namenode -format复制代码会出现datanode无法启动，查看日志，发现错误为：三、解决办法把配置文件中dfs.data.dir在本地系统的路径下的current/VERSION中的namespaceID改为与namenode一样。java.io.IOException: Incompatibl...【阅读全文】

【HADOOP】 ZooKeeper典型应用场景

sometimeixpub | 2016-05-31 14:36:44 | 阅读(1460) | 评论(0)

ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现，使该框架保证了分布式环境中数据的强一致性，也正是基于这样的特性，使得ZooKeeper解决很多分布式问题。网上对ZK的应用场景也有不少介绍，本文将结合作者身边的项目例子，系统地对ZK的应用场景进行一个分门归类的介绍。【阅读全文】

【HADOOP】基于zookeeper的主备切换方法

夏寥寥 | 2016-04-02 10:06:32 | 阅读(1370) | 评论(0)

zookeeper的ZOO_EPHEMERAL节点（如果ZOO_EPHEMERAL满足不了需求，可以考虑和ZOO_SEQUENCE结合使用），在会话关闭或过期时，会自动删除，利用这一特性可以实现两个或多节点间的主备切换。实现方法：1）在进程启动时调用zookeeper_init()初始化：bool X::init_zookeeper(){ // 第一次调用时_clientid总是...【阅读全文】

【HADOOP】基于zookeeper的主备切换方法

Aquester | 2016-03-30 10:24:37 | 阅读(26170) | 评论(0)

【HADOOP】正式生产环境下hadoop集群的DNS+NFS+ssh免密码登陆配置

zzjlzx | 2016-03-21 10:35:48 | 阅读(2160) | 评论(0)

正式生产环境下hadoop集群的DNS+NFS+ssh免密码登陆配置作者：weir2010 发布日期：2014-06-09 18:03:05环境虚拟机centos6.5主机名h3 IP 192.168.137.11 作为DNS FNS的服务器主机名h4 IP 192.168.137.12主机名h3 I...【阅读全文】

【HADOOP】 Hadoop之使用python实现数据集合间join操作

levy-linux | 2016-03-17 17:42:57 | 阅读(2740) | 评论(0)

hadoop之steaming介绍hadoop有个工具叫做steaming，能够支持python、shell、C++、PHP等其他任何支持标准输入stdin及标准输出stdout的语言，其运行原理可以通过和标准java的map-reduce程序对比来说明：使用原生java语言实现Map-reduce程序 hadoop准备好数据后，将数据传送给java的map程序 &nbs...【阅读全文】

【HADOOP】 Hadoop NameNode 高可用 (High Availability) 实现解析

speckle | 2016-03-01 08:23:49 | 阅读(2280) | 评论(0)

Hadoop NameNode HA【阅读全文】

【HADOOP】 hadoop节点一块硬盘故障更换方法

levy-linux | 2016-01-20 10:46:13 | 阅读(5090) | 评论(0)

hadoop节点服务器的一块硬盘出现物理故障，需要更换，将节点的服务停止，暂时不提供服务，将故障更换了，新盘格式化，fdisk -l新的2T盘为/dev/sdeparted -s /dev/sde mklabel gpt mkpart primary 0% 100%格式化：mkfs.ext4 /dev/sde1挂载硬盘：mount /dev/sde /data2正常启动datanode服务，但是报错，如下：...【阅读全文】

【HADOOP】使用docker搭建hadoop-spark环境

cokeboL | 2015-12-23 13:29:36 | 阅读(3450) | 评论(0)

1.安装ubuntu-server14.042.ubuntu-server14.04安装docker sudo apt-get install docker-io3.pull hadoop-docker???? docker pull sequenceiq/hadoop-docker:2.7.1 docker run -it sequenceiq/hadoop-docker:2.7.1 /etc/bootstrap.sh -bash 参考 https://github.com/sequenceiq/hadoop-d...【阅读全文】

【HADOOP】 Hadoop平台关闭THP解决服务器高负载问题

levy-linux | 2015-12-23 11:12:05 | 阅读(3540) | 评论(0)

Ambari和CM管理平台都提示，建议关闭THP，这是为什么？如果不关闭THP，发现Hadoop的系统态CPU使用率很高，原因是RHEL6优化了内存申请的效率，而且在某些场景下对KVM的性能有明显提升。而Hadoop是个高密集型内存运算系统，这个改动似乎给它带来了副作用。理论上运算型Java程序应该更多的使用用户态CPU才对，Cloudera官...【阅读全文】

【HADOOP】 Ubuntu下如何禁用IPv6

kongkong011 | 2015-12-04 16:06:56 | 阅读(2160) | 评论(0)

分布式下的hadoop/hbase运行总出问题，zookeeper连接总是出问题，怀疑可能是ipv6的问题，于是决定在Ubuntu下禁用IPv4。自己的版本是Ubuntu-12.04，貌似8.0之后的版本禁用ipv6都需要修改内核的加载项进行设置：1. sudo vim /etc/default/grub2. 将文件中的 GRUB_CMDLINE_LINUX_DEFAULT="...【阅读全文】

首页
<<
1
2
3
4
5
6
>>
末页

网络110 报警服务