Chinaunix首页 | 论坛 | 博客
  • 博客访问: 6041425
  • 博文数量: 2759
  • 博客积分: 1021
  • 博客等级: 中士
  • 技术积分: 4091
  • 用 户 组: 普通用户
  • 注册时间: 2012-03-11 14:14
文章分类

全部博文(2759)

文章存档

2019年(1)

2017年(84)

2016年(196)

2015年(204)

2014年(636)

2013年(1176)

2012年(463)

发布时间:2017-08-25 05:38:51

机器学习:spark ALS预测电影-python......【阅读全文】

阅读(1354) | 评论(0) | 转发(0)

发布时间:2017-01-25 02:24:59

Spark的调度策略 Spark目前有两种调度策略,一种是FIFO即先来先得,另一种是FAIR即公平策略。所谓的调度策略就是对待调度的对象进行排序,按照优先级来进行调度。调度的排序接口如下所示,就是对两个可调度的对象进行比较。 private[spark] trait SchedulingAlgo.........【阅读全文】

阅读(843) | 评论(0) | 转发(0)

发布时间:2016-02-09 04:52:07

Greenplum创建表--分布键Greenplum是分布式系统,创建表时需要指定分布键(创建表需要CREATEDBA权限),目的在于将数据平均分布到各个segment。选择分布键非常重要,选择错了会导致数据不唯一,更严重的是会造成SQL性能急剧下降。Greenplum有两种分布策略:1、hash分布。Greenplum默认使用hash分布.........【阅读全文】

阅读(3058) | 评论(0) | 转发(0)

发布时间:2015-01-23 11:12:17

   说是接触大数据也有半年了,周围的人都在做与大数据有关的东西,可惜自己一直在看感兴趣的东西,所以一直对于他们的工作不是十分清楚。今天正好有时间,来了解下吧。   大数据现在是十分火的一个词,原因在于大家从中发现了巨大的机遇还有商机,有人说大数据将引领科学的第四范式,即以大数据为代.........【阅读全文】

阅读(1417) | 评论(0) | 转发(0)

发布时间:2014-09-11 11:25:18

随着大家对网络安全意识的提高,企业网管理人员,必须对IT基础设置进行监控及安全事件的管理,管理数据的数量和种类非常巨大,那么就需要有一款能否分析各种日志数据的工具,经过长期实践,为大家推荐Splunk这么一款全能型分析工具。......【阅读全文】

阅读(2338) | 评论(0) | 转发(0)
给主人留下些什么吧!~~
留言热议
请登录后留言。

登录 注册