按类别查询搜索结果
关于关键词 的检测结果,共 63
aquester | 2019-10-22 14:28:03 | 阅读(1960) | 评论(0)
目录目录 11. 背景 12. 环境 13. 执行语句 14. 问题描述 15. 错误信息 26. 问题原因 37. 解决办法 4 1. 背景机房裁撤,需将源HBase集群的数据迁移到目标HBase集群,采用快照迁移方式。2. 环境Hadoop-3.1.2 + HBase-2.2.13. 执行语句...【阅读全文】
charliewei | 2018-12-11 17:50:04 | 阅读(2220) | 评论(0)
在信息技术界,Kerberos是一种被广泛采用的网络认证协议,通过对称加密的技术,保护网络系统的安全。
【阅读全文】
清无 | 2017-01-06 23:28:24 | 阅读(900) | 评论(0)
root@localhost:/usr/local/hadoop-1.0.2# bin/hadoop namenode -format复制代码会出现datanode无法启动,查看日志,发现错误为:三、解决办法把配置文件中dfs.data.dir在本地系统的路径下的current/VERSION中的namespaceID改为与namenode一样。java.io.IOException: Incompatibl...【阅读全文】
OowarrioroO | 2016-04-20 12:17:59 | 阅读(4060) | 评论(0)
IntelliJ IDEA 开发hadoop 配置与打jar包
1. 安装intelliJ环境
2.基本开发需要导入的jar包
3. map-reduce程序基本框架
4. intelliJ 完成 hadoop可执行jar包生成
?5. 生成jar包后,job提交
hadoop jar ./out/artifacts/invertedList/invertedList.jar hdfs_input_path hdfs_output_path【阅读全文】
levy-linux | 2016-03-17 14:13:43 | 阅读(2730) | 评论(0)
ambari管理界面没有提供move HistoryServer功能,所以需要使用命令进行迁移操作。测试环境 Ambari 2.0一、删除 Delete Mapreduce History Server if server died1、设置MAPREDUCE2参数curl -u admin:admin -H "X-Requested-By: ambari" -X PUT -d '{"RequestInfo":{"context":"Stop Service"},"Body":{"ServiceInfo"...【阅读全文】
aqiandao | 2015-11-06 17:40:42 | 阅读(1200) | 评论(0)
  日前,eBay公司隆重宣布正式向开源业界推出分布式实时安全监控引方案—— Apache Eagle,该项目已正式加入Apache 称为孵化器项目。Apache Eagle提供一套高效分布式的流式策略引擎,具有高实时、可伸缩、易扩展、交互友好等特点,同时集成机器学习对用户行为建立Profile以实现实时智能实时地保护Hadoop生态系统中大...【阅读全文】
levy-linux | 2015-10-15 14:17:18 | 阅读(7130) | 评论(0)
2015-10-15 14:12:41,319 INFO&nbsp; datanode.DataNode (DataXceiverServer.java:&lt;init&gt;(75)) - Balancing bandwith is 6250000 bytes/s<br />&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; at org.apache.hadoop.hdfs.server.datanode.DataNode.initStorage(DataNode.java:969)<br />&nbsp;&nbsp;&nbsp;&nbsp;&nbs...【阅读全文】
levy-linux | 2015-10-09 14:50:43 | 阅读(3490) | 评论(0)
<br />ambari监控界面看到的信息:<br />stderr:&nbsp;&nbsp; /var/lib/ambari-agent/data/errors-11891.txt<br /><br />/usr/lib/python2.6/site-packages/jinja2/__init__.py:31: UserWarning: Module jinja2 was already imported from /usr/lib/python2.6/site-packages/jinja2/__init__.pyc, but /usr/lib64/pytho...【阅读全文】
levy-linux | 2015-09-24 11:55:04 | 阅读(2770) | 评论(0)
启动ambari报错

8) Error injecting constructor, java.lang.RuntimeException: java.sql.SQLException: null,  message from server: "Host 'ambari0.cloud' is blocked because of many connection errors; unblock with 'mysqladmin flush-hosts'"
  ...【阅读全文】
levy-linux | 2015-09-10 17:14:16 | 阅读(3240) | 评论(0)
最近处理一台,很久没有启动datanode服务的节点,启动后发现日志中一直有如下信息不断个产生,


2015-09-10 14:22:28,474 INFO  datanode.DataNode (DataXceiver.java:writeBlock(598)) - Receiving BP-219392391-192.168.20.101-
1404293177278:blk_1121179008_48430870 src: /192.168.20.1...【阅读全文】
levy-linux | 2015-09-10 14:46:21 | 阅读(3250) | 评论(0)
在运行中的ambari hadoop集中中动态添加或删除节点<br /><br /><strong>1. 下线节点</strong><br />1) namenode节点上dfs.exclude文件,看配置文件怎么配置的,里每行添加一个服务器名,如我要下线server7,server8,server9,则如下:<br />server7<br />server8<br /><br />resourcemanager节点上yarn.exclude文件里...【阅读全文】
xuemling | 2015-09-02 16:10:47 | 阅读(7680) | 评论(0)
Spark-Sql On YARN自动调整Executor数量配置【阅读全文】
xuemling | 2015-08-11 11:41:34 | 阅读(2150) | 评论(0)
hadoopV2HA简介及启动过程【阅读全文】
dirk2014 | 2015-08-06 13:17:12 | 阅读(650) | 评论(0)
在ubuntu上将hadoop安装及配置完毕后,接下来的工作就是在eclipse下配置开发hadoop应用程序的环境。目的很简单,为进行研究与学习,部署一个hadoop运行环境,并搭建一个hadoop开发与测试环境。环境:virtualbox  和  ubuntu12.04第一步:下载eclipse-jee-juno-SR1-linux-gtk.tar.gz.     注...【阅读全文】
【HADOOP】 HBase简易迁
xuexiaogang | 2015-07-24 16:00:53 | 阅读(0) | 评论(0)
levy-linux | 2015-07-20 13:00:28 | 阅读(3800) | 评论(0)
之前用的是hive-0.90 ,想与hbase整合下,所以更换hive为0.13.1版本,因为偷懒将原来的conf配置文件拷贝,<br />结果出现如下错误,<span style="color:#E53333;"><strong>hive.metastore.local,<span style="color:#E53333;"><strong>hive.metastore.ds.retry.*</strong></span></strong><span style="color:#E53333;">...【阅读全文】
levy-linux | 2015-07-15 16:08:39 | 阅读(2200) | 评论(0)
现象:在访问Master:50070之后,点击browse the filesystem后,该页无法显示。<br /><br />原因:点击browse the filesystem后,网页转向的地址用的是hadoop集群的某一个datanode的主机名,由于客户端的浏览器无法解析这个主机名,因此该页无法显示。<br /><br />解决:需要在客户端的hosts文件里加入hadoop集群的ip地...【阅读全文】
CuteB | 2015-07-05 22:50:51 | 阅读(2370) | 评论(0)
1.what is apache hadoop?<br />谁说大象不能跳舞?<br />轻松应对海量数据存储与分析带来的挑战<br />2.海量数据:<br />量:大,数目多,数据量达到PB,ZB级别,条目数达到几十亿条,几百亿条<br />1)存储:分布式,集群的概念进行存储管理(主节点、从节点),HDFS(hadoop<br />distribute file system)<br />...【阅读全文】
CuteB | 2015-07-05 21:30:03 | 阅读(1710) | 评论(0)
1.hadoop生成环境都是在linux环境下,hadoop 2.x开始支持win环境。掌握linux环境,熟悉基本命令和linux环境的基本配置。<br />2.vmware虚拟机环境的搭建<br />3.使用的是Centos 6.4 &nbsp; &nbsp;redhat 6.x 64位 &nbsp; &nbsp; 。<br />4.linux系统环境的基本配置,配置ip地址,配置主机名,关闭防火墙等。<br />5.远...【阅读全文】
fengzhanhai | 2015-05-27 11:58:10 | 阅读(4130) | 评论(0)
Chukwa是Yahoo开发的一个开源的用于监控大型分布式系统的数据收集系统。它构建在hadoop的hdfs map/reduce框架之上,继承了hadoop的可伸缩性和鲁棒性。Chukwa还包含了一个强大和灵活的工具集,可用于展示、监控和分析已收集的数据。当我们在管理和维护超过100个节点的集群时如何实时有效、轻松的监控各个集群节点的健康状况及自身的相关信息呢?而Chukwa为我们提供了一种简单可行的方案。【阅读全文】