Chinaunix首页 | 论坛 | 博客
  • 博客访问: 3968
  • 博文数量: 8
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 90
  • 用 户 组: 普通用户
  • 注册时间: 2020-08-03 18:28
文章分类
文章存档

2020年(8)

我的朋友
最近访客

分类: IT业界

2020-08-03 18:55:08


大数据行业因为数据量巨大的特点,传统的工具已经难以应付,因此就需要我们使用更为先进的现代化工具,那么大数据常用的软件分析工具有哪些呢?下面小麦将和大家分享下目前主流的几款


75689.jpg


一、hadoop


Hadoop是一个能够对大量数据进行分布式处理的软件框架。但是Hadoop是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop是可靠的,因为它假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对失败的节点重新分布处理。Hadoop是高效的,因为它以并行的方式工作,通过并行处理加快处理速度。Hadoop还是可伸缩的,能够处理PB级数据。此外,Hadoop依赖于服务器,因此它的成本比较低,任何人都可以使用。


Hadoop带有用Java语言编写的框架,因此运行在Linux生产平台上是非常理想的。Hadoop上的应用程序也可以使用其他语言编写,比如C++。


二、HPCC


HPCC,HighPerformanceComputingandCommunications(高性能计算与通信)的缩写。1993年,由美国科学、工程、技术联邦协调理事会向国会提交了“重大挑战项目:高性能计算与通信”的报告,也就是被称为HPCC计划的报告,即美国总统科学战略项目,其目的是通过加强研究与开发解决一批重要的科学与技术挑战问题。HPCC是美国实施信息高速公路而上实施的计划,该计划的实施将耗资百亿美元,其主要目标要达到:开发可扩展的计算系统及相关软件,以支持太位级网络传输性能,开发千兆比特网络技术,扩展研究和教育机构及


三、Smartbi


Smartbi作为国内资深专业的BI厂商,定位于一站式大数据服务平台,对接各种业务数据库、数据仓库和大数据平台,进行加工处理、分析挖掘与可视化展现;满足各种数据分析应用需求,如企业报表平台、自助探索分析、地图可视化、、指挥大屏幕、数据挖掘等。Smartbi产品功能设计全面,覆盖数据提取、数据管理、数据分析、数据分享四大环节,帮助客户从数据角度描述业务现状、分析业务原因、预测业务趋势、驱动业务变革。产品安全性和实用性强,拥有完善的和教学视频,操作简便易上手。


四、Storm


Storm是自由的开源软件,一个分布式的、容错的实时计算系统。Storm可以非常可靠的处理庞大的数据流,用于处理Hadoop的批量数据。Storm很简单,支持许多种编程语言,使用起来非常有趣。Storm由Twitter开源而来,其它知名的应用企业包括Groupon、淘宝、支付宝、阿里巴巴、乐元素、Admaster等等。


Storm有许多应用领域:实时分析、、不停顿的计算、分布式RPC(远过程调用协议,一种通过网络从远程计算机程序上请求服务)、ETL(Extraction-Transformation-Loading的缩写,即数据抽取、转换和加载)等等。Storm的处理速度惊人:经测试,每个节点每秒钟可以处理100万个数据元组。Storm是可扩展、容错,很容易设置和操作。


五、ApacheDrill


为了帮助企业用户寻找更为有效、加快Hadoop数据查询的方法,Apache软件基金会近日发起了一项名为“Drill”的开源项目。ApacheDrill实现了Google‘sDremel。该项目将会创建出开源版本的谷歌DremelHadoop工具(谷歌使用该工具来为Hadoop数据分析工具的互联网应用提速)。而“Drill”将有助于Hadoop用户实现更快查询海量数据集的目的。


通过开发“Drill”Apache开源项目,组织机构将有望建立Drill所属的API接口和灵活强大的体系架构,从而帮助支持广泛的数据源、数据格式和查询语言。


六、RapidMiner


RapidMiner是世界领先的,在一个非常大的程度上有着先进技术。它数据挖掘任务涉及范围广泛,包括各种数据艺术,能简化数据挖掘过程的设计和评价。


七、PentahoBI


PentahoBI平台不同于传统的BI产品,它是一个以流程为中心的,面向解决方案(Solution)的框架。其目的在于将一系列企业级BI产品、开源软件、API等等组件集成起来,方便商务智能应用的开发。它的出现,使得一系列的面向商务智能的独立产品如Jfree、Quartz等等,能够集成在一起,构成一项项复杂的、完整的商务智能解决方案。


八、NodeXL


它是用于微软Excel的一个开源软件包。作为一个附加扩展,它没有数据集成服务和功能,它专注于社交网络分析。直观的网络和描述性关系使社交媒体分析变得轻松自如。它是用于数据分析的最佳统计工具之一,包括高级网络指标、对社交媒体网络数据导入器的访问以及自动化。


九、Gephi


 Gephi也是一个在NetBeans平台上用Java编写的开源网络分析和可视化软件包。想一想你看到的巨大的人与人之间连接的地图网络,它们代表了LinkedIn或Facebook上面的社交联系。Gephi通过提供精确的计算使这一步骤有更加精确的指标展现。

阅读(177) | 评论(0) | 转发(0) |
0

上一篇:没有了

下一篇:数据挖掘工具在软件工程中的应用

给主人留下些什么吧!~~