发布时间：2013-10-24 21:39:13
第一部分、十道海量数据处理面试题 1、海量日志数据，提取出某日访问百度次数最多的那个IP。 首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP。同样可以采用映射的方法，比如模1000，把整个大文件映射为1000个小文件，再找出每个小文中出现频率最.........【阅读全文】
发布时间：2013-10-20 19:41:29
一致性 hash 算法（ consistenthashing ） 张亮 consistent hashing 算法早在 1997 年就在论文 Consistenthashing and random trees 中被提出，目前在 cache 系统中应用越来越广泛； 1 基本场景比如你有 N 个 cache 服务器（后面简称 cache ），那么如何将一个对象 object 映射到 N 个 cache 上呢，.........【阅读全文】
发布时间：2013-10-14 20:25:24
EPOLL事件分发系统可以运转在两种模式下：Edge Triggered (ET)、Level Triggered (LT)。LT是缺省的工作方式，并且同时支持block和no-blocksocket；在这种做法中，内核告诉你一个文件描述符是否就绪了，然后你可以对这个就绪的fd进行IO操作。如果你不作任何操作，内核还是会继续通知你的，所以，这种模式编程出错误可.........【阅读全文】
发布时间：2013-10-14 16:28:28
Select在Socket编程中还是比较重要的，可是对于初学Socket的人来说都不太爱用Select写程序，他们只是习惯写诸如 connect、accept、recv或recvfrom这样的阻塞程序（所谓阻塞方式block，顾名思义，就是进程或是线程执行到这些函数时必须等 待某个事件的发生，如果事件没有发生，进程或线程就被阻塞，函数不能立即返回）。 .........【阅读全文】
发布时间：2013-10-05 20:17:19
在这一个章节中，我们来追踪一下，用户提交了一个作业之后，如何从Mesos之中获取资源？ 当然我们还是接着我上一中我们追踪到，FrameworkScheduler的代码，resourceOffers（）函数点击(此处)折叠或打开public void resourceOffers(SchedulerDriver d, List offers) { .........【阅读全文】
