狂甩酷拽吊炸天
发布时间：2019-04-10 19:45:00
简介Hive为我们提供了众多的内置函数，但是在实际的运用过程中仍然不能满足我们所有的需求.hive是用java开发的，本身提供了使用java去开发UDF的方式.而这里我们采用python的方式去实现UDF函数.DEMO实现我们这里用python自定义函数，去实现一个方法，利用身份证号去判断性别(18位身份证的倒数第二位偶数为女，奇数为男..........【阅读全文】
发布时间：2019-04-09 16:13:37
Presto基本认识查询引擎和大家熟悉的Mysql相比：首先Mysql是一个数据库，具有存储和计算分析能力，而Presto只有计算分析能力；其次数据量方面，Mysql作为传统单点关系型数据库不能满足当前大数据量的需求，于是有各种大数据的存储和分析工具产生，Presto就是这样一个可以满足大数据量分析计算需求的一个工具。数据源Pre.........【阅读全文】
发布时间：2019-03-12 20:31:49
Hadoop参数调优 1. 设置合理的槽位数目 在Hadoop中，计算资源是用槽位（slot）表示的。slot分为两种：Map slot和Reduce slot。 2. 调整心跳间隔 心跳中包含节点资源使用情况、各任务运行状态等信息，如果太小，NameNode需要处理高并发的心跳信息，势必造成不小的压力；如果太大，则空闲的资源不能及时通知NameNod.........【阅读全文】
发布时间：2018-11-27 19:16:22
原文：https://blog.csdn.net/wangzhaotongalex/article/details/73321766......【阅读全文】
发布时间：2018-11-16 20:33:25
原文：https://www.cnblogs.com/csyuan/p/6543018.htmlHBase是一个分布式的、面向列的开源数据库，它不同于一般的关系数据库,是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。HBase使用和 BigTable非常相同的数据模型。用户存储数据行在一个表里。一个数据行拥有一个可选择的键.........【阅读全文】
