搜索博文结果_ChinaUnix博客

博客首页博客专家往日推荐博客文集

热搜：服务器 Java Python Mysql MongoDB 云计算 Hyper-V 虚拟化

博客首页〉搜索结果

按类别查询搜索结果

操作系统程序设计数据库热点技术综合架构与运维移动开发与应用 Web前端

虚拟化| 云计算| 大数据| HADOOP| 高性能计算|

关于关键词的检测结果，共 63 条

【HADOOP】 Tomcat 应用中并行流带来的类加载问题

vivo互联网技术 | 2019-09-25 21:43:12 | 阅读(1700) | 评论(0)

随着 Java8 的不断流行，越来越多的开发人员使用并行流（parallel）这一特性提升代码执行效率。但是，作者发现在 Tomcat 容器中使用并行流会出现动态加载类失败的情况，通过对比 Tomcat 多个版本的源码，结合并行流和 JVM 类加载机制的原理，成功定位到问题来源。本文对这个问题展开分析，并给出解决方案。【阅读全文】

【HADOOP】 Hive中小表与大表关联(join)的性能分析

jelon521 | 2018-11-16 09:46:42 | 阅读(1490) | 评论(0)

【转自：http://blog.sina.com.cn/s/blog_6ff05a2c01016j7n.html】经常看到一些Hive优化的建议中说当小表与大表做关联时，把小表写在前面，这样可以使Hive的关联速度更快，提到的原因都是说因为小表可以先放到内存中，然后大表的每条记录再去内存中检测，最终完成关联查询。这样的原因看似合理，...【阅读全文】

【HADOOP】 Hadoop学习全程记录——在Eclipse中运行第一个MapReduce程序

gpf626487 | 2018-01-02 08:48:15 | 阅读(2130) | 评论(0)

hadoop mr【阅读全文】

【HADOOP】 hive导入表中文乱码

hxl | 2017-12-07 11:26:32 | 阅读(10400) | 评论(0)

平时我们在将外部文件导入到hive表的过程中，要是原文件包含有中文的，导入就经常会出现乱码，这个时候我们可以事先把文件编码格式修改为utf8后再导入.1.查看文件的当前的编码[hadoop@master exter_data]$ file --mime-encoding provcode.TXTprovcode.TXT: iso-8859-12.转换为utf8格式iconv...【阅读全文】

【HADOOP】 Zookeeper客户端cli_st为何在crontab中运行不正常？

Aquester | 2015-11-25 13:07:33 | 阅读(4350) | 评论(1)

Zookeeper客户端cli_st为何在crontab中运行不正常？.pdf实践中，发现直接在命令行终端运行cli_st时，能够得到预期的结果，但一将它放到crontab中，则只收到：bye 相关的一段clit_st源代码如下： if (FD_ISSET(0, &rfd...【阅读全文】

【HADOOP】 Hadoop1.x和Hadoop2.x中fsimage和edits合并实现

levy-linux | 2015-11-25 11:14:59 | 阅读(1670) | 评论(0)

Hadoop 1.x中fsimage和edits合并实现用过Hadoop的用户应该都知道在Hadoop里面有个SecondaryNamenode进程，从名字看来大家很容易将它当作NameNode的热备进程。其实真实的情况不是这样的。SecondaryNamenode是HDFS架构中的一个组成部分，它是用来保存namenode中对HDFS metadata的信息的备份，并减少namenode重启的时间而设...【阅读全文】

【HADOOP】 hadoop中控制map的个数

levy-linux | 2015-09-06 14:04:14 | 阅读(1070) | 评论(0)

hadooop提供了一个设置map个数的参数mapred.map.tasks，我们可以通过这个参数来控制map的个数。但是通过这种方式设置map的个数，并不是每次都有效的。原因是mapred.map.tasks只是一个hadoop的参考数值，最终map的个数，还取决于其他的因素。 为了方便介绍，先来看几个名词： block_size : hdfs的文件块...【阅读全文】

【HADOOP】 hadoop中主要进程

levy-linux | 2015-09-06 14:01:08 | 阅读(2730) | 评论(0)

hadoop集群中主要进程 master:   NameNode, ResourceManager, slaves:   DataNode, NodeManager,  RunJar, MRAppMaster,YarnChild 其中 RunJar, MRAppMaster,YarnChild与随着某个job的创建而创建，随着job的完成而终止。它们的作用分别是： RunJar：完成job的初始...【阅读全文】

【HADOOP】 hdfs中Missing Block 的文件处理方法

levy-linux | 2015-08-28 19:55:50 | 阅读(7310) | 评论(0)

今天巡检的时候发现很多Missing Block信息，大概有1千多个，基本上是error文件，我针对一个文件进行fsck，如下信息： [root@nn ~]# hdfs fsck /kafka/kafka-sample/history/2014/errors-m-00003 -files -blocks -racks -locations SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".<br...【阅读全文】

【HADOOP】 CDH5.4.0安装中，Validations界面提示修改swappiness

levy-linux | 2015-08-12 10:01:12 | 阅读(1220) | 评论(0)

安装CDH5.4.0的时候，Validations界面中有以下提示内容，意思是需要在/etc/sysctl.conf中设置swappiness值为10， Cloudera recommends setting /proc/sys/vm/swappiness to at most 10. Current setting is 60. Use the sysctl command to change this setting at runtim...【阅读全文】

【HADOOP】中小规模Hadoop集群优化

levy-linux | 2015-08-06 18:12:31 | 阅读(1580) | 评论(0)

我们有一个Hadoop集群从上个月开始遇到一系列性能问题，在逐一解决的过程中，积累了以下的优化经验。 1. 网络带宽 Hadoop集群的服务器在规划时就在统一的交换机下，这是在官方文档中建议的部署方式。 但是我们的这台交换机和其他交换机的互联带宽有限，所以在客户端遇到了HDFS访问...【阅读全文】

【HADOOP】 Spark 中算子功能与分类介绍

OowarrioroO | 2015-07-22 17:01:18 | 阅读(2660) | 评论(0)

Spark 中算子功能与分类介绍 value型算子 Key-Value算子【阅读全文】

【HADOOP】 Hadoop集群中添加datanode节点

niao5929 | 2015-05-19 11:28:13 | 阅读(1050) | 评论(0)

Hadoop集群中添加datanode节点[日期：2015-05-19]来源：Linux社区作者：ljy2013[字体：大中小]随着业务的扩展，公司刚开始的三个节点已经不够用了，因此需要添加datanode。下面记录一下添加datanode节点的步骤：1、在新的...【阅读全文】

【HADOOP】 Solr部署配置（二）中文分词设置 ?

超人学院1 | 2015-05-12 17:35:35 | 阅读(430) | 评论(0)

一、IKAnalyzer1、把IKAnalyzer4.0.jar,IKAnalyzer.cfg,stopword.dic放到solr目录下的lib中2、schema.xml文件中添加 <fieldType name="text_ik" class="solr.TextField" > <analyzer class="org.wltea.analyzer.lucene.IKAn...【阅读全文】

【HADOOP】上海市信息技术培训中心Cloudera Hadoop认证培训

sittc2 | 2015-04-16 10:12:57 | 阅读(760) | 评论(0)

作为大数据核心技术，Hadoop为企业提供了高扩展、高冗余、高容错、和经济有效的“数据驱动”解决方案，针对企业目前普遍缺乏海量数据技术人员的现状，上海市信息技术培训中心Cloudera Hadoop认证培训系列课程，为企业经理、CTO、架构师、技术带头人、系统管理员、数据管理员、数据/商务分析元和应用开发人员带来了业内最...【阅读全文】

【HADOOP】 “稳扎稳打泵中的小金刚”

xdilm87 | 2015-02-28 13:44:45 | 阅读(270) | 评论(0)

文章出自于：靖江市东盛泵阀制造有限公司整理转载请注明出处！
http://www.dongsheng-pump.com/products-detail.asp?cpid=49【阅读全文】

【HADOOP】 2015年上海市信息技术培训中心hadoop课程开班啦

sittc2 | 2015-02-26 10:14:03 | 阅读(660) | 评论(0)

2015年上海市信息技术培训中心hadoop课程开班啦【阅读全文】

【HADOOP】 Hadoop中HDFS读取文件的原理剖析

niao5929 | 2015-02-19 16:50:26 | 阅读(480) | 评论(0)

Hadoop中HDFS读取文件的原理剖析[日期：2015-02-18]来源：Linux社区作者：snwz[字体：大中小]上一篇文章中简单介绍了一下Hadoop文件存储的一些逻辑与简单原理（见 http://www.linuxidc.com/Linux/2015-02/113638.htm），既...【阅读全文】

【HADOOP】 Hadoop中HDFS写入文件的原理剖析

niao5929 | 2015-02-19 16:48:46 | 阅读(440) | 评论(0)

Hadoop中HDFS写入文件的原理剖析[日期：2015-02-18]来源：Linux社区作者：snwz[字体：大中小]要为即将到来的大数据时代最准备不是，下面的大白话简单记录了Hadoop中HDFS在存储文件时都做了哪些个事情，位将来集群问题的排查提供...【阅读全文】

【HADOOP】在MapReduce中使用压缩

ningbohezhijun | 2015-02-09 11:53:59 | 阅读(430) | 评论(0)

我在看Hadoop实战第7章的时候，看到了关于使用压缩的好。我就按照书上输入文件的大小伪随机生成了近300M的文件(单词个数统计的hadoop输入)，下面是生成输入的C++程序。点击(此处)折叠或打开/* * Author: tender * Created Time: 2015/2/9 10:31:20...【阅读全文】

首页
<<
1
2
3
4
>>
末页

网络110 报警服务