发布时间:2018-06-25 16:40:02
数据分析是从数据中提取有价值信息的过程,过程中需要对数据进行各种处理和归类,只有掌握了正确的数据分类方法和数据处理模式,才能起到事半功倍的效果,以下是数据分析员必备的9种数据分析思维模式:1. 分类分类是一种基本的数据分析方式,数据根据其特点,可将数据对象划分为不同的部分和类型,再进一步分析,.........【阅读全文】
发布时间:2018-06-11 17:14:44
随着互联网的发展,大数据也在逐渐彰显出自己的优势特点,那么关于大数据的处理流程,你是否了解?今天老男孩讲师带你来看看大数据的处理流程。 第一,数据采集 定义:利用多种轻型数据库来接收发自客户端的数据,并且用户可以通过这些数据库来进行简单的查询和处理工作。 特点和挑战:并发系数.........【阅读全文】
发布时间:2018-06-04 18:42:41
大数据时代已经来临,对复杂凌乱的数据进行整合分析,获取有用的信息,去支撑政策的制定、决策的形成以及工作的完成,必将成为未来决策重要的手段! 从事大数据工作的职位可称之为大数据工程师,“大数据工程师”往往不是一个人,而是一个团队,它意味着从数据的收集、整理展现、分析和商业洞察、以至于市场转.........【阅读全文】
发布时间:2018-05-23 15:33:30
kafka通过topic来分主题存放数据,主题内有分区,分区可以有多个副本,分区的内部还细分为若干个segment。 所谓的分区其实就是在kafka对应存储目录下创建的文件夹,文件夹的名字是主题名加上分区编号,编号从0开始。 一、segment 所谓的segment其实就是在分区对应的文件夹下产生的文件。 .........【阅读全文】
发布时间:2018-05-18 15:35:36
Hadoop是一个用Java编写的Apache开源框架,允许使用简单的编程模型跨计算机集群分布式处理大型数据集。Hadoop框架工作的应用程序在跨计算机集群提供分布式存储和计算的环境中工作。Hadoop旨在从单个服务器扩展到数千个机器,每个都提供本地计算和存储。 Hadoop框架包括以下四个模块: Hadoop Common: .........【阅读全文】