狂甩酷拽吊炸天
发布时间:2019-04-09 16:13:37
Presto基本认识查询引擎和大家熟悉的Mysql相比:首先Mysql是一个数据库,具有存储和计算分析能力,而Presto只有计算分析能力;其次数据量方面,Mysql作为传统单点关系型数据库不能满足当前大数据量的需求,于是有各种大数据的存储和分析工具产生,Presto就是这样一个可以满足大数据量分析计算需求的一个工具。数据源Pre.........【阅读全文】
发布时间:2019-03-12 20:31:49
Hadoop参数调优 1. 设置合理的槽位数目 在Hadoop中,计算资源是用槽位(slot)表示的。slot分为两种:Map slot和Reduce slot。 2. 调整心跳间隔 心跳中包含节点资源使用情况、各任务运行状态等信息,如果太小,NameNode需要处理高并发的心跳信息,势必造成不小的压力;如果太大,则空闲的资源不能及时通知NameNod.........【阅读全文】
发布时间:2018-11-27 19:16:22
原文:https://blog.csdn.net/wangzhaotongalex/article/details/73321766......【阅读全文】
发布时间:2018-11-16 20:33:25
原文:https://www.cnblogs.com/csyuan/p/6543018.htmlHBase是一个分布式的、面向列的开源数据库,它不同于一般的关系数据库,是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。HBase使用和 BigTable非常相同的数据模型。用户存储数据行在一个表里。一个数据行拥有一个可选择的键.........【阅读全文】
发布时间:2018-11-16 09:46:42
【转自:http://blog.sina.com.cn/s/blog_6ff05a2c01016j7n.html】 经常看到一些Hive优化的建议中说当小表与大表做关联时,把小表写在前面,这样可以使Hive的关联速度更快,提到的原因都是说因为小表可以先放到内存中,然后大表的每条记录再去内存中检测,最终完成关联查询。这样的原因看似合理,.........【阅读全文】