按类别查询搜索结果
关于关键词 的检测结果,共 391
霍子 | 2016-07-26 14:34:03 | 阅读(1930) | 评论(0)
#!/bin/bashvar1=$1                      (备注:传递位置变量20160726)var2=$2                      (备注:传递位置变量20160730)dat...【阅读全文】
hiyachen | 2016-07-02 17:26:17 | 阅读(7970) | 评论(0)
大数据,箱图,统计学【阅读全文】
lqq1228 | 2016-06-25 11:32:18 | 阅读(500) | 评论(0)
目前,虽然大数据与数据库一体机都很火热,但相当一部分人却无法深入了解这两者的本质区别。这里便对大数据技术(如Hadoop等,主要指MapReduce与NoSQL)与数据库一体机(新一代的主流关系数据库)技术对比如下:  硬件架构         从本质上来讲,两...【阅读全文】
simiaoxiaoseng | 2016-06-12 09:16:19 | 阅读(3270) | 评论(0)
在开始之前我们默认今天参与直播的各位同学对Hadoop相关技术和Docker都有一定的了解,另外以下提到Hadoop是泛指目前魅族大数据使用的Hadoop生态圈技术,资源除特别说明则泛指存储资源、计算资源和网络资源的总和。【阅读全文】
libydwei2007 | 2016-05-26 11:57:44 | 阅读(1720) | 评论(0)
大数据本身是个很宽泛的概念,Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆,各有各的用处,互相之间又有重合。你可以用汤锅直接当碗吃饭喝汤,你可以用小刀或者刨子去皮。但是每个工具有自己的特性,虽然奇怪的组合也能工作,但...【阅读全文】
tech_meizu | 2016-05-24 09:53:07 | 阅读(4270) | 评论(0)
在开始之前我们默认今天参与直播的各位同学对Hadoop相关技术和Docker都有一定的了解,另外以下提到Hadoop是泛指目前魅族大数据使用的Hadoop生态圈技术,资源除特别说明则泛指存储资源、计算资源和网络资源的总和。【阅读全文】
oracle_ren | 2016-05-04 17:25:33 | 阅读(27540) | 评论(0)
http://www.zhihu.com/question/23273263本文尝试从三大产业的角度将大数据的核心商业价值分类讨论。首先例举一些大数据的典型应用,然后解释大数据的定义,最后总结大数据的价值。我们知道:第一次工业革命以煤炭为基础,蒸汽机和印刷术为标志,第二次工业革命以石油为基础,内...【阅读全文】
oracle_ren | 2016-05-04 17:02:39 | 阅读(2890) | 评论(0)
大数据、数据分析、数据挖掘的区别是,大数据是互联网的海量数据挖掘,而数据挖掘更多是针对内部企业行业小众化的数据挖掘,数据分析就是进行做出针对性的分析和诊断,大数据需要分析的是趋势和发展,数据挖掘主要发现的是问题和诊断:1、大数据(big data):指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和...【阅读全文】
oracle_ren | 2016-05-04 15:57:28 | 阅读(970) | 评论(0)
随着我们通过电话、信用卡、电子商务、互联网和电子邮件留下更多的生活痕迹,大数据不断增长的商业影响也在如下时刻表现出来:你搜索一条飞往塔斯卡鲁萨的航班,然后便看到网站上出现了塔斯卡鲁萨的宾馆打折信息你观赏的电影采用了以几十万G数据为基础的计算机图形图像技术你光顾的商店在对顾客行为...【阅读全文】
badb0y | 2016-03-14 16:21:58 | 阅读(1040) | 评论(0)
http://dataunion.org/22564.html【阅读全文】
chaoshua | 2016-03-06 16:25:42 | 阅读(1390) | 评论(0)
一个小小的方差增量算法,使得消除持续增长的上百GB的明细数据成为可能,空间效率和时间效率都可得到无以伦比的提升。下面一码给你重现整个过程,小伙伴们一起激动激动。背景搞推荐就要玩好私人定制,要玩好私人定制,就得分析用户的购买和浏览行为。我们系统里某个地方就需要针对每个用户,计算他(她)曾经...【阅读全文】
OowarrioroO | 2016-03-02 12:20:59 | 阅读(6530) | 评论(0)
1.问题
? 在运行spark app时,屏幕上总会刷屏似的输出大量日志信息,详细介绍程序运行过程,但这样有时也不便我们调试应用。只输出警告和程序输出一般就足够我们参考,再详细的内容课题通过web ui更直观的查看。
?2.解决方法
?进行如下设置:

点击(此处)折叠或打开

cd $SPARK_HOME/conf
cp log4j.properties.template log4j.properties【阅读全文】
suiming2005 | 2016-02-24 09:46:10 | 阅读(2380) | 评论(0)
handoop/spark比较【阅读全文】
suiming2005 | 2016-02-24 09:03:07 | 阅读(1820) | 评论(0)
hadoop、spark比较【阅读全文】
polejo | 2016-02-23 15:45:49 | 阅读(6320) | 评论(0)
RoCE - RDMA over Converged Ethernet    以太网在全球互联的广域网中毫无异议的老大,但在高带宽、低延时的专有网络领域却明显混不开。伴随网络融合概念兴起,IETF发布了DCB标准,RDMA/infiniband依赖的无损链路得以解决,以太网可以在专有网络领域内也占有一席之地了,所以RoCE – RDMA Over Conver...【阅读全文】
呆若 | 2016-02-17 17:13:16 | 阅读(2110) | 评论(0)
redis info命令一共打印8个方面的信息:server,clients,memory,persistence,stats,replication,cpu,keyspaces 八个方面的信息info命令以一种易读的格式,返回关于 Redis 服务器的各种信息和统计数值。[codis@192_168_171_135 ~]$ ./redis-cli -h 192.168.171.140 -p 6382192.168.171.140:6382> info# Server &nbs...【阅读全文】
sjf0115 | 2016-02-04 10:23:14 | 阅读(2510) | 评论(0)
大数据概念相对“年轻”,但是对于很多人并不陌生。数据的爆发归功于社交网络、电子商务和物联网的快速发展。以前,人们只是将上网当做娱乐方式之一,现在,人们更多的是生活在网络平台上。这使得每18个月,数据量就会翻一番。海量数据的影响力是不可小觑的。麻省理工学院斯隆管理学院的经济学教授埃里克·布吕诺尔夫松(Erik Brynjolfsson)曾经指出,在商业、经济及其他领域中,决策行为将日益基于数据和分析而作出,而并非基于经验和直觉。“我们的决策能够开始变得更加科学化。”他这样说。【阅读全文】
levy-linux | 2016-01-22 14:13:16 | 阅读(2180) | 评论(0)
今天codis节点dashboard服务的设备断电了,重启后dashboard无法正常启动,查看日志提示pid已经存在,ps -rf|grep pid号 ,一直查询不到,进程并没有运行,后来在Zookeeper中发现get /zk/codis/db_gdata/dashboard 这个中存在着pid,将Zookeeper 中的dashboard删除,delete /zk/codis/db_gdata/dashboard,在运行,正...【阅读全文】
dba_life | 2015-12-24 10:05:10 | 阅读(2130) | 评论(0)
1.Flume, Kafka数据采集层 主要可以使用Flume, Kafka两种技术。Flume:Flume 是管道流方式,提供了很多的默认实现,让用户通过参数部署,及扩展API.Kafka:Kafka是一个可持久化的分布式的消息队列。Kafka 是一个非常通用的系统。你可以有许多生产者和很多的消费者共享多个主题Topics。相比之下,Flume是一个专用工具被...【阅读全文】
FineReport爱好者 | 2015-12-02 10:17:07 | 阅读(430) | 评论(0)
联想的柳传志先生说过,管理三要素:建班子,定战略,带队伍。大数据兴起的基于互联网的技术,能解决建班子的数据化。带队伍对于企业来说,是对中低层员工工作过程进行量化。对于员工来说,工作量化了之后,随时能知道自己的进展,自我改进。对于管理者来说,随时能监控,随时指出来不足。【阅读全文】