ChinaUnix首页 | 论坛 | 博客
博客首页 博客专家 往日推荐 博客文集
热搜： Android 存储 Java PHP 嵌入式 WINDOWS ubuntu 高性能
博客首页 〉搜索结果
按类别查询搜索结果
操作系统 程序设计 数据库 热点技术 综合 架构与运维 移动开发与应用 Web前端
关于关键词 的检测结果，共 101 条
【HADOOP】 Tomcat 应用中并行流带来的类加载问题
vivo互联网技术 | 2019-09-25 21:43:12 | 阅读(1700) | 评论(0)
随着 Java8 的不断流行，越来越多的开发人员使用并行流（parallel）这一特性提升代码执行效率。但是，作者发现在 Tomcat 容器中使用并行流会出现动态加载类失败的情况，通过对比 Tomcat 多个版本的源码，结合并行流和 JVM 类加载机制的原理，成功定位到问题来源。本文对这个问题展开分析，并给出解决方案。【阅读全文】
【HADOOP】 开源大数据平台如何才能保证身份认证安全？
charliewei | 2018-12-11 17:50:04 | 阅读(2240) | 评论(0)
在信息技术界，Kerberos是一种被广泛采用的网络认证协议，通过对称加密的技术，保护网络系统的安全。
【阅读全文】
【HADOOP】 Hive中小表与大表关联(join)的性能分析
jelon521 | 2018-11-16 09:46:42 | 阅读(1480) | 评论(0)
【转自：http://blog.sina.com.cn/s/blog_6ff05a2c01016j7n.html】  经常看到一些Hive优化的建议中说当小表与大表做关联时，把小表写在前面，这样可以使Hive的关联速度更快，提到的原因都是说因为小表可以先放到内存中，然后大表的每条记录再去内存中检测，最终完成关联查询。这样的原因看似合理，...【阅读全文】
【HADOOP】 Hadoop大数据平台运维工程师须掌握的基本命令集分享
豆浆_tony | 2018-07-21 20:04:39 | 阅读(5420) | 评论(0)
本博文收集和整理了在日常维护hadoop集群时运维工程师需要掌握的最基本的hadoop管理与维护的相关命令，在此分享出来供大家参考学习~博主也是刚刚接触hadoop不久，如有问题欢迎批评指正~非常感谢【阅读全文】
【HADOOP】 Hadoop学习系列一：环境搭建
浅色年华 | 2018-07-09 15:03:23 | 阅读(3690) | 评论(0)
为了学习HBase，跑过来先把Hadoop学习下。主要是根据马老师之前直播的教程来学习的。好了，废话不多说了，开搞。相比VMware，Vritual Box是免费的，因此这里采用Virtual Box。首先在virtualbox官网的下载页面下载Virtual Box，并安装。安装过程没什么好说的。在CentOS官网下载最新版的CentOS 7，下载的时候要DVD ...【阅读全文】
【HADOOP】 Hadoop学习全程记录——在Eclipse中运行第一个MapReduce程序
gpf626487 | 2018-01-02 08:48:15 | 阅读(2130) | 评论(0)
hadoop mr【阅读全文】
【HADOOP】 hive导入表中文乱码
hxl | 2017-12-07 11:26:32 | 阅读(10400) | 评论(0)
平时我们在将外部文件导入到hive表的过程中，要是原文件包含有中文的，导入就经常会出现乱码，这个时候我们可以事先把文件编码格式修改为utf8后再导入.1.查看文件的当前的编码[hadoop@master exter_data]$ file --mime-encoding provcode.TXTprovcode.TXT: iso-8859-12.转换为utf8格式iconv...【阅读全文】
【HADOOP】 HDFS块文件和存放目录的关系
Aquester | 2017-05-19 09:29:25 | 阅读(3860) | 评论(0)
详情请参见DatanodeUtil.java中的函数idToBlockDir(File root, long blockId)。如果block文件没有放在正确的目录下，则DataNode会出现“expected block file path”日志。// g++ -g -o block2dir block2dir.cpp#include <stdio.h>#include <stdlib.h>int main(int argc, char* argv[]){    if (argc != ...【阅读全文】
【HADOOP】 Hadoop大数据平台运维工程师须掌握的基本命令集分享
linux521 | 2016-10-27 17:21:25 | 阅读(1230) | 评论(0)
本博文收集和整理了在日常维护hadoop集群时运维工程师需要掌握的最基本的hadoop管理与维护的相关命令，在此分享出来供大家参考学习~博主也是刚刚接触hadoop不久，如有问题欢迎批评指正~非常感谢【阅读全文】
【HADOOP】 centos添加系统变量
sanshugen | 2016-08-13 16:12:53 | 阅读(1870) | 评论(0)
CentOS添加环境变量在Linux CentOS系统上安装完php和MySQL后，为了使用方便，需要将php和mysql命令加到系统命令中，如果在没有添加到环境变量之前，执行“php -v”命令查看当前php版本信息时时，则会提示命令不存在的错误，下面我们详细介绍一下在linux下将php和mysql加入到环境变量中的方法（假设php和mysq...【阅读全文】
【HADOOP】 Hadoop大数据平台运维工程师须掌握的基本命令集分享
woaimaidong | 2016-05-07 23:17:31 | 阅读(3510) | 评论(0)
本博文收集和整理了在日常维护hadoop集群时运维工程师需要掌握的最基本的hadoop管理与维护的相关命令，在此分享出来供大家参考学习~博主也是刚刚接触hadoop不久，如有问题欢迎批评指正~非常感谢【阅读全文】
【HADOOP】 Hadoop大数据平台运维工程师须掌握的基本命令集分享
hackeruncle | 2016-02-25 16:37:00 | 阅读(2540) | 评论(0)
本博文收集和整理了在日常维护hadoop集群时运维工程师需要掌握的最基本的hadoop管理与维护的相关命令，在此分享出来供大家参考学习~博主也是刚刚接触hadoop不久，如有问题欢迎批评指正~非常感谢【阅读全文】
【HADOOP】 Hadoop平台关闭THP解决服务器高负载问题
levy-linux | 2015-12-23 11:12:05 | 阅读(3540) | 评论(0)
Ambari和CM管理平台都提示，建议关闭THP，这是为什么？如果不关闭THP，发现Hadoop的系统态CPU使用率很高，原因是RHEL6优化了内存申请的效率，而且在某些场景下对KVM的性能有明显提升。而Hadoop是个高密集型内存运算系统，这个改动似乎给它带来了副作用。理论上运算型Java程序应该更多的使用用户态CPU才对，Cloudera官...【阅读全文】
【HADOOP】 Zookeeper客户端cli_st为何在crontab中运行不正常？
Aquester | 2015-11-25 13:07:33 | 阅读(4350) | 评论(1)
Zookeeper客户端cli_st为何在crontab中运行不正常？.pdf实践中，发现直接在命令行终端运行cli_st时，能够得到预期的结果，但一将它放到crontab中，则只收到：bye 相关的一段clit_st源代码如下：        if (FD_ISSET(0, &rfd...【阅读全文】
【HADOOP】 Hadoop1.x和Hadoop2.x中fsimage和edits合并实现
levy-linux | 2015-11-25 11:14:59 | 阅读(1670) | 评论(0)
Hadoop 1.x中fsimage和edits合并实现用过Hadoop的用户应该都知道在Hadoop里面有个SecondaryNamenode进程，从名字看来大家很容易将它当作NameNode的热备进程。其实真实的情况不是这样的。SecondaryNamenode是HDFS架构中的一个组成部分，它是用来保存namenode中对HDFS metadata的信息的备份，并减少namenode重启的时间而设...【阅读全文】
【HADOOP】 修改hadoop的备份系数dfs.replication后操作
levy-linux | 2015-10-27 21:53:55 | 阅读(2870) | 评论(0)
Hadoop中常常需要增加新的节点，或者变更备份系数。在完成这些操作后，往往出现数据未自动备份，或者数据节点不可用的情况。 Hadoop的备份系数是指每个block在hadoop集群中有几份，系数越高，冗余性越好，占用存储也越多。备份系数在hdfs-site.xml中定义，默认值为3.  如何变更备份系数?  首先stop-...【阅读全文】
【HADOOP】 ambari server调整IP的经历，部署前一定要检查环境
levy-linux | 2015-10-15 14:52:59 | 阅读(3790) | 评论(0)
使用ambari安装群集的时候，安装系统人员将eth0（192.168.201.20）和eth1（192.168.20.20）的网卡都设置IP地址了，实际上应该只设置eth1（192.168.20.20），hosts文件都是指向eth1（192.168.20.20），所以可以正常安装hadoop群集，但是ambari监控界面，显示的是（192.168.201.20）IP地址，<br />我将ambari的eth0关闭，重...【阅读全文】
【HADOOP】 hadoop中控制map的个数
levy-linux | 2015-09-06 14:04:14 | 阅读(1070) | 评论(0)
hadooop提供了一个设置map个数的参数mapred.map.tasks，我们可以通过这个参数来控制map的个数。但是通过这种方式设置map的个数，并不是每次都有效的。原因是mapred.map.tasks只是一个hadoop的参考数值，最终map的个数，还取决于其他的因素。<br /><br />为了方便介绍，先来看几个名词：<br />block_size : hdfs的文件块...【阅读全文】
【HADOOP】 hadoop中主要进程
levy-linux | 2015-09-06 14:01:08 | 阅读(2730) | 评论(0)
hadoop集群中主要进程<br />master:&nbsp;&nbsp; NameNode, ResourceManager,<br />slaves:&nbsp;&nbsp; DataNode, NodeManager,&nbsp; RunJar, MRAppMaster,YarnChild<br /><br />其中 RunJar, MRAppMaster,YarnChild与随着某个job的创建而创建，随着job的完成而终止。它们的作用分别是：<br />RunJar：完成job的初始...【阅读全文】
【HADOOP】 hdfs中Missing Block 的文件处理方法
levy-linux | 2015-08-28 19:55:50 | 阅读(7310) | 评论(0)
今天巡检的时候发现很多Missing Block信息，大概有1千多个，基本上是error文件，我针对一个文件进行fsck，如下信息：<br /><br />[root@nn ~]# hdfs fsck /kafka/kafka-sample/history/2014/errors-m-00003 -files -blocks -racks -locations<br />SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".<br...【阅读全文】

盛拓传媒简介 | 关于IT168 | 合作伙伴 | 广告服务 | 使用条款 | 投稿指南 | 诚聘精英 | 联系我们 | 法律声明 | 网站导航 | 往日回顾

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年人举报专区
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员

网络110 报警服务