狂甩酷拽吊炸天
发布时间：2019-03-12 20:31:49
Hadoop参数调优 1. 设置合理的槽位数目 在Hadoop中，计算资源是用槽位（slot）表示的。slot分为两种：Map slot和Reduce slot。 2. 调整心跳间隔 心跳中包含节点资源使用情况、各任务运行状态等信息，如果太小，NameNode需要处理高并发的心跳信息，势必造成不小的压力；如果太大，则空闲的资源不能及时通知NameNod.........【阅读全文】
发布时间：2018-11-16 20:33:25
原文：https://www.cnblogs.com/csyuan/p/6543018.htmlHBase是一个分布式的、面向列的开源数据库，它不同于一般的关系数据库,是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。HBase使用和 BigTable非常相同的数据模型。用户存储数据行在一个表里。一个数据行拥有一个可选择的键.........【阅读全文】
发布时间：2018-11-16 09:46:42
【转自：http://blog.sina.com.cn/s/blog_6ff05a2c01016j7n.html】 经常看到一些Hive优化的建议中说当小表与大表做关联时，把小表写在前面，这样可以使Hive的关联速度更快，提到的原因都是说因为小表可以先放到内存中，然后大表的每条记录再去内存中检测，最终完成关联查询。这样的原因看似合理，.........【阅读全文】
发布时间：2018-11-14 19:51:03
原文：https://www.cnblogs.com/camilla/p/8301750.htmlpark submit参数介绍你可以通过spark-submit --help或者spark-shell --help来查看这些参数。 使用格式: ./bin/spark-submit \ --class <main-class> \ --master <ma.........【阅读全文】
发布时间：2018-11-07 10:48:49
1、MapReduce计数器是什么？ 计数器是用来记录job的执行进度和状态的。它的作用可以理解为日志。我们可以在程序的某个位置插入计数器，记录数据或者进度的变化情况。2、MapReduce计数器能做什么？ MapReduce 计数器（Counter）为我们提供一个窗口，用于观察 MapReduce .........【阅读全文】
