Chinaunix首页 | 论坛 | 博客
  • 博客访问: 497944
  • 博文数量: 80
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 1916
  • 用 户 组: 普通用户
  • 注册时间: 2013-07-11 22:01
个人简介

从事实时计算多年,熟悉jstorm/spark/flink/kafka/rocketMq, 热衷于开源,希望在这里和前辈们一起学习与分享,得到长足的进步!邮箱:hustfxj@gmail.com 我的githup地址是:https://github.com/hustfxj。欢迎和大家一起交流探讨问题。

文章分类

全部博文(80)

文章存档

2017年(11)

2015年(3)

2014年(33)

2013年(33)

发布时间:2014-08-18 10:19:57

JDK内置工具使用一、javah命令(C Header and Stub File Generator) javah是用于根据JAVA本地方法,生成对应的c语言头文件及相应的stub文件的命令,使用比较简单,使用示例可以查看这篇文章:JNI简单示例,包括C语言实现及调用。二、jps命令(Java Virtual Machi.........【阅读全文】

阅读(2359) | 评论(0) | 转发(2)

发布时间:2014-08-15 13:38:08

Metrics是一个给JAVA服务的各项指标提供度量工具的包,在JAVA代码中嵌入Metrics代码,可以方便的对业务代码的各个指标进行监控,同时,Metrics能够很好的跟Ganlia、Graphite结合,方便的提供图形化接口。基本使用方式直接将core包(目前稳定版本3.0.1)导入pom文件即可,配置如下: com.codahale.........【阅读全文】

阅读(6492) | 评论(0) | 转发(1)

发布时间:2014-08-07 10:08:05

本文从外部消息在worker进程内部的转化,传递及处理过程入手,一步步分析在worker-data中的数据项存在的原因和意义。试图从代码实现的角度来回答,如果是从头开始实现worker的话,该如何来定义消息接口,如何实现各自接口上的消息处理。Topology到Worker的映射关系Topology由Spout,Bolt组成,其逻辑关系大体如下.........【阅读全文】

阅读(5094) | 评论(0) | 转发(1)

发布时间:2014-07-18 10:20:37

绿色部分是我们最常用、比较简单的部分。红色部分是与事务相关的,在以后的文章会具体讲解。BaseComponent 是Storm提供的“偷懒”的类。为什么这么说呢,它及其子类,都或多或少实现了其接口定义的部分方法。这样我们在用的时候,可以直接继承该类,而不是自己每次都写所有的方法。但值得一提的是,BaseXXX这.........【阅读全文】

阅读(6188) | 评论(0) | 转发(0)

发布时间:2014-07-09 14:57:13

本文首先介绍了Storm的基本概念和数据流模型,然后结合一个典型应用场景来说明Storm支持Topology之间数据流订阅的必要性,最后对比了Storm与另一个流处理系统在数据流模型上的区别之处。Storm基本概念Storm是一个开源的实时计算系统,它提供了一系列的基本元素用于进行计算:Topology、Stream、Spout、Bolt等等。.........【阅读全文】

阅读(5071) | 评论(0) | 转发(1)

发布时间:2014-07-09 14:42:43

......【阅读全文】

阅读(1541) | 评论(0) | 转发(0)

发布时间:2014-07-08 20:46:48

场景伴随着信息科技日新月异的发展,信息呈现出爆发式的膨胀,人们获取信息的途径也更加多样、更加便捷,同时对于信息的时效性要求也越来越高。举个搜索场景中的例子,当一个卖家发布了一条宝贝信息时,他希望的当然是这个宝贝马上就可以被卖家搜索出来、点击、购买啦,相反,如果这个宝贝要等到第二天或者更久.........【阅读全文】

阅读(1620) | 评论(0) | 转发(0)

发布时间:2014-06-14 21:00:41

最近一直在抽时间研究设计模式,之前对设计模式也有一定的了解,但是都没有平心静气的去研究过,只是了解了一些皮毛,最近打算再深入研究一下,重新打开了设计模式的数据,对之前的疑问一个个的刨根问底,今天看了简单工厂模式和策略模式看的人有点小晕,两个的大概思路没有怎么变,都是通过多态去减少代码的耦合度,怎么看.........【阅读全文】

阅读(2117) | 评论(0) | 转发(0)

发布时间:2014-06-07 14:58:22

 异步操作的本质  所有的程序最终都会由计算机硬件来执行,所以为了更好的理解异步操作的本质,我们有必要了解一下它的硬件基础。 熟悉电脑硬件的朋友肯定对DMA这个词不陌生,硬盘、光驱的技术规格中都有明确DMA的模式指标,其实网卡、声卡、显卡也是有DMA功能的。DMA就是直 接内存访问的意思,也就是说,拥有DMA功能.........【阅读全文】

阅读(2048) | 评论(0) | 转发(1)

发布时间:2014-04-13 13:29:29

私有数据使用1.为什么需要线程私有数据:原因一:有时候需要维护基于每个线程的数据,用线程ID作为索引。因为线程ID不能保证是小而连续的整数,所以不能简单的分配一个线程数据数组,用线程ID作为数组的索引。即使线程ID确实是小而连续的整数,可能还希望有一些额外的保护,以防止某个线程的数据和其它线程的数据相混.........【阅读全文】

阅读(5264) | 评论(0) | 转发(3)
给主人留下些什么吧!~~
留言热议
请登录后留言。

登录 注册