按类别查询搜索结果
关于关键词 的检测结果,共 17
zzjlzx | 2016-03-21 10:38:53 | 阅读(2090) | 评论(0)
Hadoop虚拟化扩展(HVE)之资源扩展技术作者:vBigData  发布日期:2013-11-07 10:22:29背景在虚拟化的云环境中,Hadoop可以有更好的“弹性”,这是云计算的一个重要优势,例如亚马逊的EMR(ElasticMapReduce)服务, 用户可以迅速的在云中根据需求部署一个H...【阅读全文】
神域风云再起 | 2016-02-11 16:26:22 | 阅读(1640) | 评论(0)
在使用hadoop namenode -format进行namenode的格式化时候,出现错误Format aborted in path出现错误的原因是:在对namenode格式化之前,要确保dfs.name.dir参数指定的目录不存在(hdfs-site.xml文件)。hadoop这样做的目的是防止错误的将已存在的集群格式化了。解决方法:关闭hadoop服务将上面参数指定的文件夹删除,...【阅读全文】
levy-linux | 2015-11-25 14:52:17 | 阅读(2000) | 评论(0)
This section describes how to manually calculate YARN and MapReduce memory allocation settings based on the node hardware specifications.YARN takes into account all of the available resources on each machine in the cluster. Based on the available resources, YARN negotiates resource requests...【阅读全文】
aqiandao | 2015-11-13 16:50:28 | 阅读(2010) | 评论(0)
  量化派是一家金融大数据公司,为金融机构提供数据服务和技术支持,也通过旗下产品“信用钱包”帮助个人用户展示经济财务等状况,撮合金融机构为用户提供最优质的贷款服务。金融的本质是风险和流动性,但是目前中国对于个人方面的征信行业发展落后于欧美国家,个人消费金融的需求没有得到很好的满足。按照央行最新数据...【阅读全文】
levy-linux | 2015-08-06 18:12:31 | 阅读(1510) | 评论(0)
我们有一个Hadoop集群从上个月开始遇到一系列性能问题,在逐一解决的过程中,积累了以下的优化经验。<br /><br />1. 网络带宽<br /><br />Hadoop集群的服务器在规划时就在统一的交换机下,这是在官方文档中建议的部署方式。<br /><br />但是我们的这台交换机和其他交换机的互联带宽有限,所以在客户端遇到了HDFS访问...【阅读全文】
【HADOOP】 hive优思路
levy-linux | 2015-07-17 16:23:59 | 阅读(1950) | 评论(0)
<p>转载:http://blog.csdn.net/johnny_lee/article/details/8867632</p><div id="article_content" class="article_content"><p style="color:#362E2B;font-family:Arial;font-size:13.63636302947998px;line-height:26px;">最近使用hive一个多月下来(终于完成第一期数据分析迁移工作了),当时使用的0.8的版本(...【阅读全文】
【HADOOP】 hive优原则
levy-linux | 2015-07-17 16:23:42 | 阅读(2270) | 评论(0)
<p>转载:http://blog.sina.com.cn/s/blog_9f48885501017cq8.html</p><p>使用过hive一段时间,发现楼主讲的非常正确。</p><p style="font-family:Tahoma;font-size:12px;line-height:18px;">基本原则:</p><p style="font-family:Tahoma;font-size:12px;line-height:18px;">1:尽量尽早地过滤数据,减少每个...【阅读全文】
douyaqiang123 | 2015-06-30 16:38:43 | 阅读(1900) | 评论(0)
在完成创建HBase数据库后我们后续最重要的工作就是如何设计和构建出合理高效的hbase表。那么接下来本文就将介绍一下如何设计及优化HBase数据库的表。OK,废话不再多说,接下来我们进入今天的正题吧~【阅读全文】
超人学院1 | 2015-05-11 17:37:00 | 阅读(560) | 评论(0)
当vm-max-threads 设为0 时(阻塞方式)换出主线程定期检查发现内存超出最大上限后,会直接以阻塞的方式,将选中的对象保存到swap文件中,并释放对象占用的内存空间,此过程会一直重复直到下面条件满足1.内存使用降到最大限制以下2.swap 文件满了。3.几乎全部的对象都被交换到磁盘了换入当有客户端请求已经被换出的v...【阅读全文】
fengzhanhai | 2015-04-21 11:33:03 | 阅读(3950) | 评论(0)
在完成创建HBase数据库后我们后续最重要的工作就是如何设计和构建出合理高效的hbase表。那么接下来本文就将介绍一下如何设计及优化HBase数据库的表。OK,废话不再多说,接下来我们进入今天的正题吧~【阅读全文】
lorine168 | 2014-07-28 19:24:04 | 阅读(410) | 评论(0)
多次格式化后,datanode启动不了1、查看名称节点上(即在配置文件中配置的hadoop.tmp.dir参数路径)/usr/hadoop0.20.2/hadoop-huanghz/dfs/name/current/文件夹中VERSION文件中的namespaceid;[root@dubai2 current]# cat VERSION #Mon Jul 28 19:10:39 CST 2014namespaceID=1346791803cTime=0storageType=NAME_NODEl...【阅读全文】
buaaedifier | 2014-01-26 22:49:34 | 阅读(2280) | 评论(0)
1. 基本概念 序列化可被定义为将对象的状态存储到存储媒介中的过程。在此过程中,对象的公共字段和私有字段以及类的名称(包括包含该类的程序集)都被转换为字节流,然后写入数据流。在以后反序列化该对象时,创建原始对象的精确复本。当在面向对象的环境中实现序列化机制时,您需要在简化使用和保持灵活...【阅读全文】
houselong | 2013-08-08 09:36:42 | 阅读(580) | 评论(0)
考虑到Windows平台尽管界面友好,但Hadoop环境配置较"怪异",需借助cygwin,这个过程并不优雅。正好我手上另有一套ubuntu环境,用着也很顺手,就在ubuntu中安装了Eclipse IDE,在这套环境中配置安装Hadoop开发环境。在本地搭建HADOOP开发环境时,三思也在网上参考了很多文章,还是很有感触,一个是果然天下文章...【阅读全文】
圣剑蓝骑士 | 2013-07-31 12:02:46 | 阅读(1670) | 评论(0)
1. 基本概念 序列化可被定义为将对象的状态存储到存储媒介中的过程。在此过程中,对象的公共字段和私有字段以及类的名称(包括包含该类的程序集)都被转换为字节流,然后写入数据流。在以后反序列化该对象时,创建原始对象的精确复本。当在面向对象的环境中实现序列化机制时,您需要在简化使用和保持灵活...【阅读全文】
圣剑蓝骑士 | 2013-07-31 11:33:52 | 阅读(690) | 评论(0)
刚看到Hadoop序列化这一概念时,想不通为什么要序列化。因为之前一直用C, C语言中,网络两端通信或者读写文件,完全没关注过序列化这个概念。我想可能是因为C中每次使用的变量都有明确的类型定义,不需要这样明确地把序列化的概念提出来,C库中将这一过程实现了(这是我的猜想 因为看到有些C程序 使用int型变量并不是直...【阅读全文】
幸运啤酒盖 | 2013-07-08 19:24:41 | 阅读(1480) | 评论(0)
考虑到Windows平台尽管界面友好,但Hadoop环境配置较"怪异",需借助cygwin,这个过程并不优雅。正好我手上另有一套ubuntu环境,用着也很顺手,就在ubuntu中安装了Eclipse IDE,在这套环境中配置安装Hadoop开发环境。在本地搭建HADOOP开发环境时,三思也在网上参考了很多文章,还是很有感触,一个是果然天下文章...【阅读全文】
ouyangmingyuan | 2013-01-28 13:37:07 | 阅读(800) | 评论(0)
刚看到Hadoop序列化这一概念时,想不通为什么要序列化。因为之前一直用C, C语言中,网络两端通信或者读写文件,完全没关注过序列化这个概念。我想可能是因为C中每次使用的变量都有明确的类型定义,不需要这样明确地把序列化的概念提出来,C库中将这一过程实现了(这是我的猜想 因为看到有些C程序 使用int型变量并不是直...【阅读全文】