ChinaUnix首页 | 论坛 | 博客
博客首页 博客专家 往日推荐 博客文集
热搜： 系统运维 服务器 Python Ruby Mysql HADOOP 高性能 移动开发
博客首页 〉搜索结果
按类别查询搜索结果
操作系统 程序设计 数据库 热点技术 综合 架构与运维 移动开发与应用 Web前端
关于关键词 的检测结果，共 105 条
【HADOOP】 Tomcat 应用中并行流带来的类加载问题
vivo互联网技术 | 2019-09-25 21:43:12 | 阅读(1710) | 评论(0)
随着 Java8 的不断流行，越来越多的开发人员使用并行流（parallel）这一特性提升代码执行效率。但是，作者发现在 Tomcat 容器中使用并行流会出现动态加载类失败的情况，通过对比 Tomcat 多个版本的源码，结合并行流和 JVM 类加载机制的原理，成功定位到问题来源。本文对这个问题展开分析，并给出解决方案。【阅读全文】
【HADOOP】 hadoop常用命令知识
caojiangfeng | 2018-03-29 10:16:21 | 阅读(3980) | 评论(0)
hadoop fsck：http://lxw1234.com/archives/2015/08/452.htm【阅读全文】
【HADOOP】 Hadoop学习全程记录——在Eclipse中运行第一个MapReduce程序
gpf626487 | 2018-01-02 08:48:15 | 阅读(2130) | 评论(0)
hadoop mr【阅读全文】
【HADOOP】 hive 表常用压缩方式
hxl | 2017-12-12 17:04:56 | 阅读(0) | 评论(0)
1.创建表CREATE EXTERNAL TABLE `tb_provcode_gzip`(  `provcode` string,   `provdesc` string,   `areacode` string,   `citydesc` string,   `citydescen` string)ROW FORMAT DELIMITED   FIELDS TERMINATED BY '|' STORED AS textfile;2.插入...【阅读全文】
【HADOOP】 hadoop,spark,hbase实时应用
powerful_boy | 2017-11-10 14:45:33 | 阅读(830) | 评论(0)
hadoop,spark,hbase实时应用【阅读全文】
【HADOOP】 hbase shell基础和常用命令详解
lmz1951 | 2017-02-18 19:34:55 | 阅读(0) | 评论(0)
hbase shell基础和常用命令详解【阅读全文】
【HADOOP】 Hadoop常用命令
人道酬诚 | 2017-02-11 00:56:32 | 阅读(460) | 评论(0)
hadoop 和 hdfs 命令用法hadoop:Usage: hadoop [--config confdir] [COMMAND | CLASSNAME]  CLASSNAME            run the class named CLASSNAME or  where COMMAND is one of:  fs                   run a gen...【阅读全文】
【HADOOP】 HIVE备份之批量导出所有的HIVE建表字段
pamire | 2017-01-13 20:06:14 | 阅读(5610) | 评论(1)
hive export table 【阅读全文】
【HADOOP】 Hadoop-常用shell命令
清无 | 2017-01-07 12:40:11 | 阅读(900) | 评论(0)
1. copyFromLocal  hadoop dfs -ls 输出：-rw-r--r-- 3 hduser supergroup 674566 2011-03-10 11:38 /user/hduser/gutenberg/pg20417.txt -rw-r--r-- 3 hduser supergroup 1423801 2011-03-10 11:38 /user/hduser/gutenberg/pg5000.txt3.rmr 删除文件夹  hadoop dfs -rmr /user/hduser...【阅读全文】
【HADOOP】 ZooKeeper典型应用场景
sometimeixpub | 2016-05-31 14:36:44 | 阅读(1460) | 评论(0)
ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现，使该框架保证了分布式环境中数据的强一致性，也正是基于这样的特性，使得ZooKeeper解决很多分布式问题。网上对ZK的应用场景也有不少介绍，本文将结合作者身边的项目例子，系统地对ZK的应用场景进行一个分门归类的介绍。【阅读全文】
【HADOOP】 Hadoop之使用python实现数据集合间join操作
levy-linux | 2016-03-17 17:42:57 | 阅读(2740) | 评论(0)
hadoop之steaming介绍hadoop有个工具叫做steaming，能够支持python、shell、C++、PHP等其他任何支持标准输入stdin及标准输出stdout的语言，其运行原理可以通过和标准java的map-reduce程序对比来说明：使用原生java语言实现Map-reduce程序    hadoop准备好数据后，将数据传送给java的map程序 &nbs...【阅读全文】
【HADOOP】 Hadoop NameNode 高可用 (High Availability) 实现解析
speckle | 2016-03-01 08:23:49 | 阅读(2280) | 评论(0)
Hadoop NameNode HA【阅读全文】
【HADOOP】 使用docker搭建hadoop-spark环境
cokeboL | 2015-12-23 13:29:36 | 阅读(3460) | 评论(0)
1.安装ubuntu-server14.042.ubuntu-server14.04安装docker  sudo apt-get install docker-io3.pull hadoop-docker????  docker pull sequenceiq/hadoop-docker:2.7.1  docker run -it sequenceiq/hadoop-docker:2.7.1 /etc/bootstrap.sh -bash  参考 https://github.com/sequenceiq/hadoop-d...【阅读全文】
【HADOOP】 Ubuntu下如何禁用IPv6
kongkong011 | 2015-12-04 16:06:56 | 阅读(2160) | 评论(0)
     分布式下的hadoop/hbase运行总出问题，zookeeper连接总是出问题，怀疑可能是ipv6的问题，于是决定在Ubuntu下禁用IPv4。自己的版本是Ubuntu-12.04，貌似8.0之后的版本禁用ipv6都需要修改内核的加载项进行设置：1. sudo vim /etc/default/grub2. 将文件中的  GRUB_CMDLINE_LINUX_DEFAULT="...【阅读全文】
【HADOOP】 【亲测好用】centos 安装hadoop 教程
jackson1668 | 2015-11-27 14:29:03 | 阅读(1470) | 评论(0)
1、集群部署介绍 1.1 Hadoop简介 　　       Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统...【阅读全文】
【HADOOP】 修改hadoop的备份系数dfs.replication后操作
levy-linux | 2015-10-27 21:53:55 | 阅读(2870) | 评论(0)
Hadoop中常常需要增加新的节点，或者变更备份系数。在完成这些操作后，往往出现数据未自动备份，或者数据节点不可用的情况。 Hadoop的备份系数是指每个block在hadoop集群中有几份，系数越高，冗余性越好，占用存储也越多。备份系数在hdfs-site.xml中定义，默认值为3.  如何变更备份系数?  首先stop-...【阅读全文】
【HADOOP】 hadoop群集设置block副本，对于数据传输很有影响的
levy-linux | 2015-10-15 19:33:23 | 阅读(2050) | 评论(0)
最近测试了下hadoop读写数据的情况，将结果分享给大家，

datanode
mem：128G
cup：2cpu 26** 4核 共8核

namenode
mem：192G
cup：2cpu 26** 4核 共8核


datanode15台
namenode2台

单个文件2G 使用-put方式
data block repl...【阅读全文】
【HADOOP】 ZooKeeper典型应用场景
地荒荒 | 2015-10-12 10:01:29 | 阅读(1940) | 评论(0)
ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现，使该框架保证了分布式环境中数据的强一致性，也正是基于这样的特性，使得ZooKeeper解决很多分布式问题。网上对ZK的应用场景也有不少介绍，本文将结合作者身边的项目例子，系统地对ZK的应用场景进行一个分门归类的介绍。【阅读全文】
【HADOOP】 Ubuntu下如何禁用IPv6
xdzbb | 2015-10-09 22:04:07 | 阅读(1190) | 评论(0)
     分布式下的hadoop/hbase运行总出问题，zookeeper连接总是出问题，怀疑可能是ipv6的问题，于是决定在Ubuntu下禁用IPv4。自己的版本是Ubuntu-12.04，貌似8.0之后的版本禁用ipv6都需要修改内核的加载项进行设置：1. sudo vim /etc/default/grub2. 将文件中的  GRUB_CMDLINE_LINUX_DEFAULT="...【阅读全文】
【HADOOP】 ambari操作节点supervisor无法正常启动
levy-linux | 2015-10-09 14:50:43 | 阅读(3520) | 评论(0)
<br />ambari监控界面看到的信息：<br />stderr:&nbsp;&nbsp; /var/lib/ambari-agent/data/errors-11891.txt<br /><br />/usr/lib/python2.6/site-packages/jinja2/__init__.py:31: UserWarning: Module jinja2 was already imported from /usr/lib/python2.6/site-packages/jinja2/__init__.pyc, but /usr/lib64/pytho...【阅读全文】

盛拓传媒简介 | 关于IT168 | 合作伙伴 | 广告服务 | 使用条款 | 投稿指南 | 诚聘精英 | 联系我们 | 法律声明 | 网站导航 | 往日回顾

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年人举报专区
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员

网络110 报警服务