搜索博文结果_ChinaUnix博客

vivo互联网技术 | 2019-09-25 21:43:12 | 阅读(1700) | 评论(0)

随着 Java8 的不断流行，越来越多的开发人员使用并行流（parallel）这一特性提升代码执行效率。但是，作者发现在 Tomcat 容器中使用并行流会出现动态加载类失败的情况，通过对比 Tomcat 多个版本的源码，结合并行流和 JVM 类加载机制的原理，成功定位到问题来源。本文对这个问题展开分析，并给出解决方案。【阅读全文】

【HADOOP】 hadoop常用命令知识

caojiangfeng | 2018-03-29 10:16:21 | 阅读(3720) | 评论(0)

hadoop fsck：http://lxw1234.com/archives/2015/08/452.htm【阅读全文】

【HADOOP】 hive 表常用压缩方式

hxl | 2017-12-12 17:04:56 | 阅读(0) | 评论(0)

1.创建表CREATE EXTERNAL TABLE `tb_provcode_gzip`( `provcode` string, `provdesc` string, `areacode` string, `citydesc` string, `citydescen` string)ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' STORED AS textfile;2.插入...【阅读全文】

【HADOOP】 hadoop,spark,hbase实时应用

powerful_boy | 2017-11-10 14:45:33 | 阅读(800) | 评论(0)

hadoop,spark,hbase实时应用【阅读全文】

【HADOOP】 hbase shell基础和常用命令详解

lmz1951 | 2017-02-18 19:34:55 | 阅读(0) | 评论(0)

hbase shell基础和常用命令详解【阅读全文】

【HADOOP】 Hadoop常用命令

人道酬诚 | 2017-02-11 00:56:32 | 阅读(460) | 评论(0)

hadoop 和 hdfs 命令用法hadoop:Usage: hadoop [--config confdir] [COMMAND | CLASSNAME] CLASSNAME run the class named CLASSNAME or where COMMAND is one of: fs run a gen...【阅读全文】

【HADOOP】 Hadoop-常用shell命令

清无 | 2017-01-07 12:40:11 | 阅读(900) | 评论(0)

1. copyFromLocal hadoop dfs -ls 输出：-rw-r--r-- 3 hduser supergroup 674566 2011-03-10 11:38 /user/hduser/gutenberg/pg20417.txt -rw-r--r-- 3 hduser supergroup 1423801 2011-03-10 11:38 /user/hduser/gutenberg/pg5000.txt3.rmr 删除文件夹 hadoop dfs -rmr /user/hduser...【阅读全文】

【HADOOP】 ZooKeeper典型应用场景

sometimeixpub | 2016-05-31 14:36:44 | 阅读(1460) | 评论(0)

ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现，使该框架保证了分布式环境中数据的强一致性，也正是基于这样的特性，使得ZooKeeper解决很多分布式问题。网上对ZK的应用场景也有不少介绍，本文将结合作者身边的项目例子，系统地对ZK的应用场景进行一个分门归类的介绍。【阅读全文】

【HADOOP】 Hadoop之使用python实现数据集合间join操作

levy-linux | 2016-03-17 17:42:57 | 阅读(2730) | 评论(0)

hadoop之steaming介绍hadoop有个工具叫做steaming，能够支持python、shell、C++、PHP等其他任何支持标准输入stdin及标准输出stdout的语言，其运行原理可以通过和标准java的map-reduce程序对比来说明：使用原生java语言实现Map-reduce程序 hadoop准备好数据后，将数据传送给java的map程序 &nbs...【阅读全文】

【HADOOP】 Hadoop NameNode 高可用 (High Availability) 实现解析

speckle | 2016-03-01 08:23:49 | 阅读(2260) | 评论(0)

Hadoop NameNode HA【阅读全文】

【HADOOP】 hadoop强制进行Active/Standby切换需要注意的问题

levy-linux | 2016-01-13 15:29:57 | 阅读(8570) | 评论(0)

NN切换hdfs haadmin -transitionToActive/transitionToStandbyRM切换yarn rmadmin -transitionToActive/transitionToStandby但是，这种方式在启用了ZKFC做自动失效恢复的状态下是不允许修改的，提示信息里只说了可以强制执行，但是没有提供命令，其实强制切换主备命令很简单。加个forcemanual就好了。强制切换yar...【阅读全文】

【HADOOP】使用docker搭建hadoop-spark环境

cokeboL | 2015-12-23 13:29:36 | 阅读(3440) | 评论(0)

1.安装ubuntu-server14.042.ubuntu-server14.04安装docker sudo apt-get install docker-io3.pull hadoop-docker???? docker pull sequenceiq/hadoop-docker:2.7.1 docker run -it sequenceiq/hadoop-docker:2.7.1 /etc/bootstrap.sh -bash 参考 https://github.com/sequenceiq/hadoop-d...【阅读全文】

【HADOOP】 Ubuntu下如何禁用IPv6

kongkong011 | 2015-12-04 16:06:56 | 阅读(2160) | 评论(0)

分布式下的hadoop/hbase运行总出问题，zookeeper连接总是出问题，怀疑可能是ipv6的问题，于是决定在Ubuntu下禁用IPv4。自己的版本是Ubuntu-12.04，貌似8.0之后的版本禁用ipv6都需要修改内核的加载项进行设置：1. sudo vim /etc/default/grub2. 将文件中的 GRUB_CMDLINE_LINUX_DEFAULT="...【阅读全文】

【HADOOP】【亲测好用】centos 安装hadoop 教程

jackson1668 | 2015-11-27 14:29:03 | 阅读(1380) | 评论(0)

1、集群部署介绍 1.1 Hadoop简介　　 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统...【阅读全文】

【HADOOP】 ZooKeeper典型应用场景

地荒荒 | 2015-10-12 10:01:29 | 阅读(1930) | 评论(0)

ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现，使该框架保证了分布式环境中数据的强一致性，也正是基于这样的特性，使得ZooKeeper解决很多分布式问题。网上对ZK的应用场景也有不少介绍，本文将结合作者身边的项目例子，系统地对ZK的应用场景进行一个分门归类的介绍。【阅读全文】

【HADOOP】 Ubuntu下如何禁用IPv6

xdzbb | 2015-10-09 22:04:07 | 阅读(1180) | 评论(0)

分布式下的hadoop/hbase运行总出问题，zookeeper连接总是出问题，怀疑可能是ipv6的问题，于是决定在Ubuntu下禁用IPv4。自己的版本是Ubuntu-12.04，貌似8.0之后的版本禁用ipv6都需要修改内核的加载项进行设置：1. sudo vim /etc/default/grub2. 将文件中的 GRUB_CMDLINE_LINUX_DEFAULT="...【阅读全文】

【HADOOP】 Spark 安装及使用详解

xuemling | 2015-09-17 16:02:21 | 阅读(1700) | 评论(0)

Spark 安装及使用详解，包括spark-sql 以及 JDBC-Server 模式【阅读全文】

【HADOOP】使用 Spark-sql 导入数据到hadoop

xuemling | 2015-09-17 15:41:50 | 阅读(2330) | 评论(0)

使用 Spark-sql 导入数据，hive模式，比如导入数据到hadoop【阅读全文】

【HADOOP】 ZooKeeper典型应用场景

chaohona | 2015-09-07 17:55:46 | 阅读(2810) | 评论(0)

ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现，使该框架保证了分布式环境中数据的强一致性，也正是基于这样的特性，使得ZooKeeper解决很多分布式问题。网上对ZK的应用场景也有不少介绍，本文将结合作者身边的项目例子，系统地对ZK的应用场景进行一个分门归类的介绍。【阅读全文】

【HADOOP】使用Spark SQL 的JDBC server

xuemling | 2015-09-07 11:20:58 | 阅读(1860) | 评论(0)

使用 spark SQL的JDBC Server【阅读全文】