Chinaunix首页 | 论坛 | 博客
  • 博客访问: 138449
  • 博文数量: 103
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 737
  • 用 户 组: 普通用户
  • 注册时间: 2016-03-11 14:13
个人简介

狂甩酷拽吊炸天

文章分类

全部博文(103)

文章存档

2019年(1)

2018年(17)

2017年(35)

2016年(50)

我的朋友

发布时间:2019-03-12 20:31:49

Hadoop参数调优 1. 设置合理的槽位数目 在Hadoop中,计算资源是用槽位(slot)表示的。slot分为两种:Map slot和Reduce slot。 2. 调整心跳间隔  心跳中包含节点资源使用情况、各任务运行状态等信息,如果太小,NameNode需要处理高并发的心跳信息,势必造成不小的压力;如果太大,则空闲的资源不能及时通知NameNod.........【阅读全文】

阅读(788) | 评论(0) | 转发(0)

发布时间:2018-11-27 19:16:22

原文:https://blog.csdn.net/wangzhaotongalex/article/details/73321766......【阅读全文】

阅读(103) | 评论(0) | 转发(0)

发布时间:2018-11-16 20:33:25

原文:https://www.cnblogs.com/csyuan/p/6543018.htmlHBase是一个分布式的、面向列的开源数据库,它不同于一般的关系数据库,是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。HBase使用和 BigTable非常相同的数据模型。用户存储数据行在一个表里。一个数据行拥有一个可选择的键.........【阅读全文】

阅读(71) | 评论(0) | 转发(0)

发布时间:2018-11-16 09:46:42

【转自:http://blog.sina.com.cn/s/blog_6ff05a2c01016j7n.html】  经常看到一些Hive优化的建议中说当小表与大表做关联时,把小表写在前面,这样可以使Hive的关联速度更快,提到的原因都是说因为小表可以先放到内存中,然后大表的每条记录再去内存中检测,最终完成关联查询。这样的原因看似合理,.........【阅读全文】

阅读(122) | 评论(0) | 转发(0)

发布时间:2018-11-14 19:51:03

原文:https://www.cnblogs.com/camilla/p/8301750.htmlpark submit参数介绍你可以通过spark-submit --help或者spark-shell --help来查看这些参数。 使用格式: ./bin/spark-submit \  --class <main-class> \  --master <ma.........【阅读全文】

阅读(71) | 评论(0) | 转发(0)
给主人留下些什么吧!~~

jelon5212016-08-25 16:44

回复  |  举报
留言热议
请登录后留言。

登录 注册