ChinaUnix首页 | 论坛 | 博客
博客首页 博客专家 往日推荐 博客文集
热搜： JavaScript .net C++ PHP 数据库 WINDOWS ubuntu HADOOP
博客首页 〉搜索结果
按类别查询搜索结果
操作系统 程序设计 数据库 热点技术 综合 架构与运维 移动开发与应用 Web前端
关于关键词 的检测结果，共 77 条
【HADOOP】 Tomcat 应用中并行流带来的类加载问题
vivo互联网技术 | 2019-09-25 21:43:12 | 阅读(1710) | 评论(0)
随着 Java8 的不断流行，越来越多的开发人员使用并行流（parallel）这一特性提升代码执行效率。但是，作者发现在 Tomcat 容器中使用并行流会出现动态加载类失败的情况，通过对比 Tomcat 多个版本的源码，结合并行流和 JVM 类加载机制的原理，成功定位到问题来源。本文对这个问题展开分析，并给出解决方案。【阅读全文】
【HADOOP】 Hive中小表与大表关联(join)的性能分析
jelon521 | 2018-11-16 09:46:42 | 阅读(1490) | 评论(0)
【转自：http://blog.sina.com.cn/s/blog_6ff05a2c01016j7n.html】  经常看到一些Hive优化的建议中说当小表与大表做关联时，把小表写在前面，这样可以使Hive的关联速度更快，提到的原因都是说因为小表可以先放到内存中，然后大表的每条记录再去内存中检测，最终完成关联查询。这样的原因看似合理，...【阅读全文】
【HADOOP】 Hadoop学习全程记录——在Eclipse中运行第一个MapReduce程序
gpf626487 | 2018-01-02 08:48:15 | 阅读(2140) | 评论(0)
hadoop mr【阅读全文】
【HADOOP】 hive导入表中文乱码
hxl | 2017-12-07 11:26:32 | 阅读(10410) | 评论(0)
平时我们在将外部文件导入到hive表的过程中，要是原文件包含有中文的，导入就经常会出现乱码，这个时候我们可以事先把文件编码格式修改为utf8后再导入.1.查看文件的当前的编码[hadoop@master exter_data]$ file --mime-encoding provcode.TXTprovcode.TXT: iso-8859-12.转换为utf8格式iconv...【阅读全文】
【HADOOP】 centos添加系统变量
sanshugen | 2016-08-13 16:12:53 | 阅读(1870) | 评论(0)
CentOS添加环境变量在Linux CentOS系统上安装完php和MySQL后，为了使用方便，需要将php和mysql命令加到系统命令中，如果在没有添加到环境变量之前，执行“php -v”命令查看当前php版本信息时时，则会提示命令不存在的错误，下面我们详细介绍一下在linux下将php和mysql加入到环境变量中的方法（假设php和mysq...【阅读全文】
【HADOOP】 ambari增加journalnode服务节点
levy-linux | 2016-03-17 11:57:58 | 阅读(2670) | 评论(0)
ambari默认3个journalnode节点，但是如果一个节点出现问题，需要增加补充，ambari界面没有操作的选项，所以只能通过其他命令方式操作，看到之前有个文章是将HA降级，之后重新做HA，这样的风险太高了，操作负载，从网上找到了其他方式，分享给需要的朋友，也希望ambari新版本可以将这个增加journalnode功能，添加进去。增...【阅读全文】
【HADOOP】 Zookeeper客户端cli_st为何在crontab中运行不正常？
Aquester | 2015-11-25 13:07:33 | 阅读(4350) | 评论(1)
Zookeeper客户端cli_st为何在crontab中运行不正常？.pdf实践中，发现直接在命令行终端运行cli_st时，能够得到预期的结果，但一将它放到crontab中，则只收到：bye 相关的一段clit_st源代码如下：        if (FD_ISSET(0, &rfd...【阅读全文】
【HADOOP】 Hadoop1.x和Hadoop2.x中fsimage和edits合并实现
levy-linux | 2015-11-25 11:14:59 | 阅读(1680) | 评论(0)
Hadoop 1.x中fsimage和edits合并实现用过Hadoop的用户应该都知道在Hadoop里面有个SecondaryNamenode进程，从名字看来大家很容易将它当作NameNode的热备进程。其实真实的情况不是这样的。SecondaryNamenode是HDFS架构中的一个组成部分，它是用来保存namenode中对HDFS metadata的信息的备份，并减少namenode重启的时间而设...【阅读全文】
【HADOOP】 ambari动态添加datanode和nodemanager
levy-linux | 2015-09-10 14:46:21 | 阅读(3280) | 评论(0)
在运行中的ambari hadoop集中中动态添加或删除节点<br /><br /><strong>1. 下线节点</strong><br />1) namenode节点上dfs.exclude文件，看配置文件怎么配置的，里每行添加一个服务器名，如我要下线server7,server8,server9,则如下：<br />server7<br />server8<br /><br />resourcemanager节点上yarn.exclude文件里...【阅读全文】
【HADOOP】 hadoop中控制map的个数
levy-linux | 2015-09-06 14:04:14 | 阅读(1080) | 评论(0)
hadooop提供了一个设置map个数的参数mapred.map.tasks，我们可以通过这个参数来控制map的个数。但是通过这种方式设置map的个数，并不是每次都有效的。原因是mapred.map.tasks只是一个hadoop的参考数值，最终map的个数，还取决于其他的因素。<br /><br />为了方便介绍，先来看几个名词：<br />block_size : hdfs的文件块...【阅读全文】
【HADOOP】 hadoop中主要进程
levy-linux | 2015-09-06 14:01:08 | 阅读(2740) | 评论(0)
hadoop集群中主要进程<br />master:&nbsp;&nbsp; NameNode, ResourceManager,<br />slaves:&nbsp;&nbsp; DataNode, NodeManager,&nbsp; RunJar, MRAppMaster,YarnChild<br /><br />其中 RunJar, MRAppMaster,YarnChild与随着某个job的创建而创建，随着job的完成而终止。它们的作用分别是：<br />RunJar：完成job的初始...【阅读全文】
【HADOOP】 hdfs中Missing Block 的文件处理方法
levy-linux | 2015-08-28 19:55:50 | 阅读(7330) | 评论(0)
今天巡检的时候发现很多Missing Block信息，大概有1千多个，基本上是error文件，我针对一个文件进行fsck，如下信息：<br /><br />[root@nn ~]# hdfs fsck /kafka/kafka-sample/history/2014/errors-m-00003 -files -blocks -racks -locations<br />SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".<br...【阅读全文】
【HADOOP】 CDH5.4.0安装中，Validations界面提示修改swappiness
levy-linux | 2015-08-12 10:01:12 | 阅读(1230) | 评论(0)
安装CDH5.4.0的时候，Validations界面中有以下提示内容，意思是需要在/etc/sysctl.conf中设置swappiness值为10，<br /><br />Cloudera recommends setting /proc/sys/vm/swappiness <span style="color:#E53333;">to at most 10. Current setting is 60</span>. Use the sysctl command to change this setting at runtim...【阅读全文】
【HADOOP】 中小规模Hadoop集群优化
levy-linux | 2015-08-06 18:12:31 | 阅读(1590) | 评论(0)
我们有一个Hadoop集群从上个月开始遇到一系列性能问题，在逐一解决的过程中，积累了以下的优化经验。<br /><br />1. 网络带宽<br /><br />Hadoop集群的服务器在规划时就在统一的交换机下，这是在官方文档中建议的部署方式。<br /><br />但是我们的这台交换机和其他交换机的互联带宽有限，所以在客户端遇到了HDFS访问...【阅读全文】
【HADOOP】 Hadoop添加删除节点
levy-linux | 2015-08-06 17:58:10 | 阅读(1530) | 评论(0)
添加节点

1.修改host
和普通的datanode一样。添加namenode的ip

2.修改namenode的配置文件conf/slaves
添加新增节点的ip或host

3.在新节点的机器上，启动服务
[root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start datanode
[root@slave-004 hadoop...【阅读全文】
【HADOOP】 Spark 中算子功能与分类介绍
OowarrioroO | 2015-07-22 17:01:18 | 阅读(2670) | 评论(0)
Spark 中算子功能与分类介绍 value型算子 Key-Value算子【阅读全文】
【HADOOP】 Hadoop集群中添加datanode节点
niao5929 | 2015-05-19 11:28:13 | 阅读(1050) | 评论(0)
Hadoop集群中添加datanode节点[日期：2015-05-19]来源：Linux社区  作者：ljy2013[字体：大 中 小]随着业务的扩展，公司刚开始的三个节点已经不够用了，因此需要添加datanode。下面记录一下添加datanode节点的步骤：1、在新的...【阅读全文】
【HADOOP】 Solr部署配置（二）中文分词设置 ?
超人学院1 | 2015-05-12 17:35:35 | 阅读(460) | 评论(0)
一、IKAnalyzer1、把IKAnalyzer4.0.jar,IKAnalyzer.cfg,stopword.dic放到solr目录下的lib中2、schema.xml文件中添加<!-- IKAnalyzer -->  <fieldType name="text_ik" class="solr.TextField" >      <analyzer class="org.wltea.analyzer.lucene.IKAn...【阅读全文】
【HADOOP】 上海市信息技术培训中心Cloudera Hadoop认证培训
sittc2 | 2015-04-16 10:12:57 | 阅读(770) | 评论(0)
作为大数据核心技术，Hadoop为企业提供了高扩展、高冗余、高容错、和经济有效的“数据驱动”解决方案，针对企业目前普遍缺乏海量数据技术人员的现状，上海市信息技术培训中心Cloudera Hadoop认证培训系列课程，为企业经理、CTO、架构师、技术带头人、系统管理员、数据管理员、数据/商务分析元和应用开发人员带来了业内最...【阅读全文】
【HADOOP】 “稳扎稳打 泵中的小金刚”
xdilm87 | 2015-02-28 13:44:45 | 阅读(270) | 评论(0)
文章出自于：靖江市东盛泵阀制造有限公司整理转载请注明出处！
http://www.dongsheng-pump.com/products-detail.asp?cpid=49【阅读全文】

盛拓传媒简介 | 关于IT168 | 合作伙伴 | 广告服务 | 使用条款 | 投稿指南 | 诚聘精英 | 联系我们 | 法律声明 | 网站导航 | 往日回顾

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年人举报专区
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员

网络110 报警服务