搜索博文结果_ChinaUnix博客

博客首页博客专家往日推荐博客文集

热搜： iOS H3C cISCO Ruby 项目管理 AIX Hyper-V 高性能

博客首页〉搜索结果

按类别查询搜索结果

操作系统程序设计数据库热点技术综合架构与运维移动开发与应用 Web前端

虚拟化| 云计算| 大数据| HADOOP| 高性能计算|

关于关键词的检测结果，共 53 条

【HADOOP】 Tomcat 应用中并行流带来的类加载问题

vivo互联网技术 | 2019-09-25 21:43:12 | 阅读(1700) | 评论(0)

随着 Java8 的不断流行，越来越多的开发人员使用并行流（parallel）这一特性提升代码执行效率。但是，作者发现在 Tomcat 容器中使用并行流会出现动态加载类失败的情况，通过对比 Tomcat 多个版本的源码，结合并行流和 JVM 类加载机制的原理，成功定位到问题来源。本文对这个问题展开分析，并给出解决方案。【阅读全文】

【HADOOP】 hadoop-datanode启动不起来解决方案

清无 | 2017-01-06 23:28:24 | 阅读(920) | 评论(0)

root@localhost:/usr/local/hadoop-1.0.2# bin/hadoop namenode -format复制代码会出现datanode无法启动，查看日志，发现错误为：三、解决办法把配置文件中dfs.data.dir在本地系统的路径下的current/VERSION中的namespaceID改为与namenode一样。java.io.IOException: Incompatibl...【阅读全文】

【HADOOP】 centos添加系统变量

sanshugen | 2016-08-13 16:12:53 | 阅读(1870) | 评论(0)

CentOS添加环境变量在Linux CentOS系统上安装完php和MySQL后，为了使用方便，需要将php和mysql命令加到系统命令中，如果在没有添加到环境变量之前，执行“php -v”命令查看当前php版本信息时时，则会提示命令不存在的错误，下面我们详细介绍一下在linux下将php和mysql加入到环境变量中的方法（假设php和mysq...【阅读全文】

【HADOOP】 ambari增加journalnode服务节点

levy-linux | 2016-03-17 11:57:58 | 阅读(2660) | 评论(0)

ambari默认3个journalnode节点，但是如果一个节点出现问题，需要增加补充，ambari界面没有操作的选项，所以只能通过其他命令方式操作，看到之前有个文章是将HA降级，之后重新做HA，这样的风险太高了，操作负载，从网上找到了其他方式，分享给需要的朋友，也希望ambari新版本可以将这个增加journalnode功能，添加进去。增...【阅读全文】

【HADOOP】 datanode无法启动Block pool ID needed, but service not yet registered with NN

levy-linux | 2015-10-15 14:17:18 | 阅读(7170) | 评论(0)

2015-10-15 14:12:41,319 INFO  datanode.DataNode (DataXceiverServer.java:<init>(75)) - Balancing bandwith is 6250000 bytes/s         at org.apache.hadoop.hdfs.server.datanode.DataNode.initStorage(DataNode.java:969)     &nbs...【阅读全文】

【HADOOP】 ambari操作节点supervisor无法正常启动

levy-linux | 2015-10-09 14:50:43 | 阅读(3510) | 评论(0)

ambari监控界面看到的信息： stderr:   /var/lib/ambari-agent/data/errors-11891.txt /usr/lib/python2.6/site-packages/jinja2/__init__.py:31: UserWarning: Module jinja2 was already imported from /usr/lib/python2.6/site-packages/jinja2/__init__.pyc, but /usr/lib64/pytho...【阅读全文】

【HADOOP】 ambari-server启动报错 mysqladmin flush-hosts

levy-linux | 2015-09-24 11:55:04 | 阅读(2790) | 评论(0)

启动ambari报错

8) Error injecting constructor, java.lang.RuntimeException: java.sql.SQLException: null, message from server: "Host 'ambari0.cloud' is blocked because of many connection errors; unblock with 'mysqladmin flush-hosts'"
...【阅读全文】

【HADOOP】很久没有启动datanode服务的节点，重新启动，出现的Block更新情况

levy-linux | 2015-09-10 17:14:16 | 阅读(3270) | 评论(0)

最近处理一台，很久没有启动datanode服务的节点，启动后发现日志中一直有如下信息不断个产生，

2015-09-10 14:22:28,474 INFO datanode.DataNode (DataXceiver.java:writeBlock(598)) - Receiving BP-219392391-192.168.20.101-
1404293177278:blk_1121179008_48430870 src: /192.168.20.1...【阅读全文】

【HADOOP】 ambari动态添加datanode和nodemanager

levy-linux | 2015-09-10 14:46:21 | 阅读(3260) | 评论(0)

在运行中的ambari hadoop集中中动态添加或删除节点 1. 下线节点 1) namenode节点上dfs.exclude文件，看配置文件怎么配置的，里每行添加一个服务器名，如我要下线server7,server8,server9,则如下： server7 server8 resourcemanager节点上yarn.exclude文件里...【阅读全文】

【HADOOP】 Spark-Sql On YARN自动调整Executor数量配置

xuemling | 2015-09-02 16:10:47 | 阅读(7720) | 评论(0)

Spark-Sql On YARN自动调整Executor数量配置【阅读全文】

【HADOOP】 hadoopV2HA简介及启动过程

xuemling | 2015-08-11 11:41:34 | 阅读(2170) | 评论(0)

hadoopV2HA简介及启动过程【阅读全文】

【HADOOP】 Hadoop添加删除节点

levy-linux | 2015-08-06 17:58:10 | 阅读(1520) | 评论(0)

添加节点

1.修改host
和普通的datanode一样。添加namenode的ip

2.修改namenode的配置文件conf/slaves
添加新增节点的ip或host

3.在新节点的机器上，启动服务
[root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start datanode
[root@slave-004 hadoop...【阅读全文】

【HADOOP】 hive启动报错 hive.metastore.HiveMetaStoreClient

levy-linux | 2015-07-20 13:00:28 | 阅读(3830) | 评论(0)

之前用的是hive-0.90 ，想与hbase整合下，所以更换hive为0.13.1版本，因为偷懒将原来的conf配置文件拷贝， 结果出现如下错误，hive.metastore.local，hive.metastore.ds.retry.*...【阅读全文】

【HADOOP】 Hadoop集群中添加datanode节点

niao5929 | 2015-05-19 11:28:13 | 阅读(1040) | 评论(0)

Hadoop集群中添加datanode节点[日期：2015-05-19]来源：Linux社区作者：ljy2013[字体：大中小]随着业务的扩展，公司刚开始的三个节点已经不够用了，因此需要添加datanode。下面记录一下添加datanode节点的步骤：1、在新的...【阅读全文】

【HADOOP】上海市信息技术培训中心Cloudera Hadoop认证培训

sittc2 | 2015-04-16 10:12:57 | 阅读(760) | 评论(0)

作为大数据核心技术，Hadoop为企业提供了高扩展、高冗余、高容错、和经济有效的“数据驱动”解决方案，针对企业目前普遍缺乏海量数据技术人员的现状，上海市信息技术培训中心Cloudera Hadoop认证培训系列课程，为企业经理、CTO、架构师、技术带头人、系统管理员、数据管理员、数据/商务分析元和应用开发人员带来了业内最...【阅读全文】

【HADOOP】启动hadoop NoClassDefFoundError: javax/net/SocketFactory

levy-linux | 2015-04-14 14:32:29 | 阅读(2270) | 评论(0)

近期帮助一个朋友解决一个报错，在启动hadoop的时候报错，如下：Exception in thread "main" java.lang.NoClassDefFoundError: javax/net/SocketFactory at java.lang.ClassLoader.defineClass1(Native Method) at java.lang.ClassLoader.defineClassCond(ClassL...【阅读全文】

【HADOOP】 2015年上海市信息技术培训中心hadoop课程开班啦

sittc2 | 2015-02-26 10:14:03 | 阅读(650) | 评论(0)

2015年上海市信息技术培训中心hadoop课程开班啦【阅读全文】

【HADOOP】上海市信息技术培训中心Cloudera Hadoop管理认证培训

sittc2 | 2015-01-04 14:54:20 | 阅读(510) | 评论(0)

【HADOOP】数据文件数据加载到hive表

hxl | 2014-10-28 17:36:13 | 阅读(33780) | 评论(0)

下面是一个本地数据文件加载到hive表中的例子1.在hxl数据库下创建表hive> create table tb_emp_info > (id int, > name string, > age int, > tel string) > ROW FORMAT DELIMITED > FIEL...【阅读全文】

【HADOOP】 hadoop集群和网络

lorine168 | 2014-09-26 14:35:04 | 阅读(690) | 评论(0)

深入理解Hadoop集群和网络本文将着重于讨论Hadoop集群的体系结构和方法，及它如何与网络和服务器基础设施的关系。最开始我们先学习一下Hadoop集群运作的基础原理。AD：2014WOT全球软件技术峰会北京站课程视频发布云计算和Hadoop中网络是讨论得相对比较少的领域。本文原文由Dell企业技术专家Brad He...【阅读全文】

网络110 报警服务