按类别查询搜索结果
关于关键词 "HADOOP" 的检测结果,共 2206
speckle | 2018-11-18 23:09:45 | 阅读(0) | 评论(0)
Hadoop Delegation Token【阅读全文】
【大数据】 克隆机安装hadoop
码农528 | 2018-11-18 23:05:37 | 阅读(0) | 评论(0)
1. 修改ip地址  eth0 vi /etc/sysconfig/network-scripts/ifcfg-eth02. 删除克隆之后的mac地址    rm -rf /etc/udev/rules.d/70-persistent-net.rules  3. 修改主机名 域名解析 vi /etc/sysconfig/network    HOSTNAME=hadoop.baizhiedu.com vi /etc/hosts4. scp  &...【阅读全文】
youlan878 | 2018-11-14 19:29:09 | 阅读(10) | 评论(0)
一直以来,Hadoop集群服务器都是一个非常稳定的平台,因此企业愿意选择搭建并使用。但是,自9月下旬以来,被攻击的服务器已经从最初的每天几台发展到70多台,DemonBot(新型的恶意软件)可以主动在网上搜索易受攻击的Hadoop集群服务器并对其发起进攻。一家名为Radware的网络安全公司跟踪DemonBot发现,其每天可以发起超...【阅读全文】
lnh2017 | 2018-11-13 13:33:23 | 阅读(10) | 评论(0)
Hadoop是在分布式服务器集群上存储海量数据并运行分布式分析应用的一个平台,其核心部件是HDFS与MapReduce。HDFS是一个分布式文件系统,可对数据系统进行分布式储存读取;MapReduce是一个计算框架,通过对计算任务的拆分,再根据任务调度器,对任务进行分布式计算。Hadoop是大数据开发必不可少的框架技术,因此,想要...【阅读全文】
【大数据】 hadoop hdfs 命令上传
lnh2017 | 2018-11-08 17:03:13 | 阅读(20) | 评论(0)
随着互联网数据规模的不断增大,对文件存储系统提出了更高的要求,需要更大的容量、更好的性能以及更高安全性的文件存储系统,与传统分布式文件系统一样,HDFS分布式文件系统也是通过计算机网络与节点相连,但也有优于传统分布式文件系统的优点。1. 支持超大文件HDFS分布式文件系统具有很大的数据集,可以存储TB...【阅读全文】
lnh2017 | 2018-11-01 15:51:36 | 阅读(10) | 评论(0)
Hadoop50070是hdfs的web管理页面,在搭建Hadoop集群环境时,有些大数据开发技术人员会遇到Hadoop 50070端口打不开的情况,引起该问题的原因很多,想要解决这个问题需要从以下方面进行排查!1. 排查Namenode是否部署成功排查Namenode是否部署成功可以采用命令/etc/init.d/hadoop-0.20-namenodestatus或jps两种方...【阅读全文】
【HADOOP】 初次尝试hadoop
StolennnXB | 2018-10-22 21:04:03 | 阅读(20) | 评论(0)
跟着官方文档走了一遍Hadoop环境的搭建【阅读全文】
【大数据】 Hadoop如何工作?
lnh2017 | 2018-10-19 14:53:24 | 阅读(20) | 评论(0)
Hadoop主要是分布式计算和存储的框架,其工作过程主要依赖于HDFS分布式存储系统和Mapreduce分布式计算框架,以下是其工作过程:阶段 1用户/应用程序可以通过指定以下项目来向Hadoop(hadoop作业客户端)提交作业以获取所需的进程:分布式文件系统中输入和输出文件的位置。java类以jar文件的形式包含map和...【阅读全文】
lnh2017 | 2018-10-18 17:28:31 | 阅读(10) | 评论(0)
Hadoop是一个用Java编写的Apache开源框架,允许使用简单的编程模型跨计算机集群分布式处理大型数据集。Hadoop框架工作的应用程序在跨计算机集群提供分布式存储和计算的环境中工作。Hadoop旨在从单个服务器扩展到数千个机器,每个都提供本地计算和存储。Hadoop框架包括以下四个模块:Hadoop Common: 这些是其他Had...【阅读全文】
lnh2017 | 2018-10-16 15:12:51 | 阅读(20) | 评论(0)
Hadoop是一个能够对大量数据进行分布式处理的软件框架,以一种可靠、高效、可伸缩的方式进行数据处理,其有许多元素构成,以下是其组成元素:1.Hadoop Common :Hadoop体系最底层的一个模块,为Hadoop各子项目提供各种工具,如:配置文件和日志操作等。2.HDFS:分布式文件系统,提供高吞吐量的应用程序数据访问...【阅读全文】
景安老墨 | 2018-09-30 15:09:03 | 阅读(0) | 评论(0)
随着信息化技术的日渐普及、宽带网络的快速兴起,以及云计算、移动互联和物联网等新一代信息技术的广泛应用,全球数据的增长速度进一步加快。与此同时,一批数据收集、存储、处理技术和应用快速发展并逐渐汇聚。软件运用的技术越来越尖端,结合不断提高的计算能力,从数据中提取有价值信息的能力显著提高。大体量的数据不...【阅读全文】
canway01 | 2018-08-16 16:46:17 | 阅读(90) | 评论(0)
 1.Apache Flink这是一种由社区驱动的分布式大数据分析开源框架,类似于Apache Hadoop和Apache Spark。它的引擎可借助数据流和内存中(in-memory)处理与迭代操作改善性能。目前Apache Flink已成为一个顶级项目(Top Level Project,TLP),于2014年4月被纳入Apache孵化器,目前在全球范围内有很多贡献者。F...【阅读全文】
yepyang | 2018-08-07 22:35:03 | 阅读(0) | 评论(0)
参考文档:【阅读全文】
豆浆_tony | 2018-07-21 20:04:39 | 阅读(150) | 评论(0)
本博文收集和整理了在日常维护hadoop集群时运维工程师需要掌握的最基本的hadoop管理与维护的相关命令,在此分享出来供大家参考学习~博主也是刚刚接触hadoop不久,如有问题欢迎批评指正~非常感谢【阅读全文】
【大数据】 hadoop集群安装
zpf1218 | 2018-07-17 18:02:13 | 阅读(40) | 评论(0)
创建用户 1. 创建hadoop用户组sudo  groupadd hadoop2. 创建hadoop用户 sudo useradd -g hadoop hadoop3. 给hadoop用户添加权限,打开/etc/sudoers文件 Vi /etc/sudoers按回车键后就会打开/etc/sudoers文件了,给hadoop用户赋予root用户同样的权限在root  ALL=(ALL:...【阅读全文】
浅色年华 | 2018-07-11 15:33:20 | 阅读(80) | 评论(0)
目前人工智能和大数据火热,使用的场景也越来越广,日常开发中前端同学也逐渐接触了更多与大数据相关的开发需求。因此对大数据知识也有必要进行一些学习理解大数据的本质基础知识学习路线 数据采集引擎 -> Sqoop、Flume ZooKeeper:实现Hadoop的HA Oozie:工作流引擎 第一阶段:Scal...【阅读全文】
浅色年华 | 2018-07-09 15:03:23 | 阅读(30) | 评论(0)
为了学习HBase,跑过来先把Hadoop学习下。主要是根据马老师之前直播的教程来学习的。好了,废话不多说了,开搞。相比VMware,Vritual Box是免费的,因此这里采用Virtual Box。首先在virtualbox官网的下载页面下载Virtual Box,并安装。安装过程没什么好说的。在CentOS官网下载最新版的CentOS 7,下载的时候要DVD ...【阅读全文】
浅色年华 | 2018-06-29 15:34:04 | 阅读(90) | 评论(0)
2.0以前的Hadoop在JobTracker 过多的TaskScheduler 集中过来,容易造成内存,cpu不够用的情况。增加了任务执行失败的风险。在2.0的YARN新的YARN模式如下从图中我们可以看到 原先的JobTracker 被拆分成 资源管理和任务调度监控。我们来看下如今的架构原文链接...【阅读全文】
nuoyazhou110 | 2018-05-22 16:59:28 | 阅读(30) | 评论(0)
1.下载地址http://hadoop.apache.org/releases.html2.Hadoop的安装分为单机方式、伪分布式方式 和 完全分布式方式。        单机模式是Hadoop的默认模式。解压即可使用单机模式。            单机模式不启动任何守护进程   &nb...【阅读全文】
zhufenjun2017 | 2018-05-18 15:35:36 | 阅读(90) | 评论(0)
  Hadoop是一个用Java编写的Apache开源框架,允许使用简单的编程模型跨计算机集群分布式处理大型数据集。Hadoop框架工作的应用程序在跨计算机集群提供分布式存储和计算的环境中工作。Hadoop旨在从单个服务器扩展到数千个机器,每个都提供本地计算和存储。  Hadoop框架包括以下四个模块:  Hadoop Common: ...【阅读全文】