Chinaunix首页 | 论坛 | 博客
  • 博客访问: 1522881
  • 博文数量: 211
  • 博客积分: 464
  • 博客等级: 下士
  • 技术积分: 3793
  • 用 户 组: 普通用户
  • 注册时间: 2011-01-24 18:25
个人简介

阿弥陀佛

文章分类

全部博文(211)

文章存档

2020年(2)

2019年(3)

2018年(5)

2017年(6)

2016年(10)

2015年(9)

2014年(73)

2013年(90)

2012年(13)

发布时间:2020-11-01 16:45:16

那什么是spark 数据不均衡的问题呢?当某一个column 的value 出现特别多次,比如1000次以上。然后table1 与table2 join 的时候,就会导致某个分区的task 执行时间特别长。详见下图,下图就是在spark join操作的时候遇到的数据分布不均衡,导致的某个task 执行时间过长。比如,table1: itemid.........【阅读全文】

阅读(182) | 评论(0) | 转发(0)
给主人留下些什么吧!~~

shenyanxxxy2016-01-14 13:19

少林功夫好:楼主能分析一下如何修改源码,然后从内部实现每天生成一个带日期的日志么?

修改源码非一日之功,多阅读开源项目,你说的这个功能用shell + date命令就可以。

回复  |  举报

少林功夫好2016-01-13 15:56

楼主能分析一下如何修改源码,然后从内部实现每天生成一个带日期的日志么?

回复  |  举报

shenyanxxxy2015-05-20 21:25

回复  |  举报
留言热议
请登录后留言。

登录 注册