发布时间:2020-06-03 17:03:02
Kafka 是一个高吞吐量的分布式的发布订阅消息系统,在全世界都很流行,在大数据项目里面使用尤其频繁。笔者看过多个大数据开源产品的源码,感觉 Kafka 的源码是其中质量比较上乘的一个,这得益于作者高超的编码水平和高超的架构设计能力。Kafka 的核心源码分为两部分:客户端源码和服务端源码,客户端又分为生产者和.........【阅读全文】
发布时间:2020-06-03 12:16:37
首先准备一个hadoop源码包,我选择的hadoop版本是:hadoop-2.7.7-src.tar.gz,在hadoop-2.7.7的源码包的根目录下有一个文档叫做BUILDING.txt,这其中说明了编译hadoop所需要的一些编译环境相关的东西。不同的hadoop版本的要求都不一样,对应的版本参照BUILDING.txt......【阅读全文】
发布时间:2020-06-02 18:16:44
《Hive底层执行引擎的深度剖析》的公开课,助力懵懂小伙伴进阶真正的Hive顶尖高手。......【阅读全文】
发布时间:2020-06-02 15:51:59
最近公司急招架构师,形形色色的人面了很多,但真正懂得设计思维的真的是少之又少。印象最深刻的一个同学,面对我提问的这个问题的时候,回答真的是让我佩服的五体投地!问:“你们公司为什么会选择用RocketMQ,而不是ActiveMQ、RabbitMQ?”当时他给我的答案是:当时领导决定的!一个用消息队列好几年的人,.........【阅读全文】
发布时间:2020-06-01 13:52:33
分布式系统中,大部分系统调用都会涉及到负载均衡,例如:客户端发往服务端的请求首先到达反向代理,然后反向代理再通过负载均衡算法将请求转发到业务系统;或者后端业务系统各模块间的调用前,也需要通过负载均衡算法选择到一个目标节点。一般情况下,我们对负载均衡的要求就是均匀,确保调用方的请求流量能够均匀的.........【阅读全文】