搜索博文结果_ChinaUnix博客

博客首页博客专家往日推荐博客文集

热搜： C# Java PHP ubuntu HADOOP 信息移动开发 CCNA

博客首页〉搜索结果

按类别查询搜索结果

操作系统程序设计数据库热点技术综合架构与运维移动开发与应用 Web前端

虚拟化| 云计算| 大数据| HADOOP| 高性能计算|

关于关键词的检测结果，共 33 条

【HADOOP】 Tomcat 应用中并行流带来的类加载问题

vivo互联网技术 | 2019-09-25 21:43:12 | 阅读(1740) | 评论(0)

随着 Java8 的不断流行，越来越多的开发人员使用并行流（parallel）这一特性提升代码执行效率。但是，作者发现在 Tomcat 容器中使用并行流会出现动态加载类失败的情况，通过对比 Tomcat 多个版本的源码，结合并行流和 JVM 类加载机制的原理，成功定位到问题来源。本文对这个问题展开分析，并给出解决方案。【阅读全文】

【HADOOP】 Kafka C++客户端库librdkafka笔记

Aquester | 2018-05-03 19:10:32 | 阅读(14380) | 评论(0)

目录目录11. 前言22. 缩略语23. 配置和主题33.1. 配置和主题结构33.1.1. Conf33.1.2. ConfImpl33.1.3. Topic33.1.4. TopicImpl34. 线程45. 消费者55.1. 消费者结构55.1.1. Handle55....【阅读全文】

【HADOOP】 hadoop客户端部署

powerful_boy | 2017-11-09 17:36:44 | 阅读(1890) | 评论(0)

hadoop客户端部署【阅读全文】

【HADOOP】 centos添加系统变量

sanshugen | 2016-08-13 16:12:53 | 阅读(1910) | 评论(0)

CentOS添加环境变量在Linux CentOS系统上安装完php和MySQL后，为了使用方便，需要将php和mysql命令加到系统命令中，如果在没有添加到环境变量之前，执行“php -v”命令查看当前php版本信息时时，则会提示命令不存在的错误，下面我们详细介绍一下在linux下将php和mysql加入到环境变量中的方法（假设php和mysq...【阅读全文】

【HADOOP】 ambari增加journalnode服务节点

levy-linux | 2016-03-17 11:57:58 | 阅读(2720) | 评论(0)

ambari默认3个journalnode节点，但是如果一个节点出现问题，需要增加补充，ambari界面没有操作的选项，所以只能通过其他命令方式操作，看到之前有个文章是将HA降级，之后重新做HA，这样的风险太高了，操作负载，从网上找到了其他方式，分享给需要的朋友，也希望ambari新版本可以将这个增加journalnode功能，添加进去。增...【阅读全文】

【HADOOP】 hadoop强制进行Active/Standby切换需要注意的问题

levy-linux | 2016-01-13 15:29:57 | 阅读(8640) | 评论(0)

NN切换hdfs haadmin -transitionToActive/transitionToStandbyRM切换yarn rmadmin -transitionToActive/transitionToStandby但是，这种方式在启用了ZKFC做自动失效恢复的状态下是不允许修改的，提示信息里只说了可以强制执行，但是没有提供命令，其实强制切换主备命令很简单。加个forcemanual就好了。强制切换yar...【阅读全文】

【HADOOP】 ambari客户端一直lost状态（UnicodeDecodeError: 'utf8' codec can't decode）

levy-linux | 2015-12-09 10:09:19 | 阅读(3060) | 评论(0)

近期ambari有一台客户端一直为lost状态，各服务无法操作，查看ambari-agent状态正常。# service ambari-agent statusFound ambari-agent PID: 1313ambari-agent running.Agent PID at: /var/run/ambari-agent/ambari-agent.pidAgent out at: /var/log/ambari-agent/ambari-agent.outAgent log at: /var/log/ambari-a...【阅读全文】

【HADOOP】 Zookeeper客户端cli_st为何在crontab中运行不正常？

Aquester | 2015-11-25 13:07:33 | 阅读(4390) | 评论(1)

Zookeeper客户端cli_st为何在crontab中运行不正常？.pdf实践中，发现直接在命令行终端运行cli_st时，能够得到预期的结果，但一将它放到crontab中，则只收到：bye 相关的一段clit_st源代码如下： if (FD_ISSET(0, &rfd...【阅读全文】

【HADOOP】 ambari server调整IP的经历，部署前一定要检查环境

levy-linux | 2015-10-15 14:52:59 | 阅读(3860) | 评论(0)

使用ambari安装群集的时候，安装系统人员将eth0（192.168.201.20）和eth1（192.168.20.20）的网卡都设置IP地址了，实际上应该只设置eth1（192.168.20.20），hosts文件都是指向eth1（192.168.20.20），所以可以正常安装hadoop群集，但是ambari监控界面，显示的是（192.168.201.20）IP地址， 我将ambari的eth0关闭，重...【阅读全文】

【HADOOP】 ambari动态添加datanode和nodemanager

levy-linux | 2015-09-10 14:46:21 | 阅读(3320) | 评论(0)

在运行中的ambari hadoop集中中动态添加或删除节点 1. 下线节点 1) namenode节点上dfs.exclude文件，看配置文件怎么配置的，里每行添加一个服务器名，如我要下线server7,server8,server9,则如下： server7 server8 resourcemanager节点上yarn.exclude文件里...【阅读全文】

【HADOOP】 hadoop中主要进程

levy-linux | 2015-09-06 14:01:08 | 阅读(2770) | 评论(0)

hadoop集群中主要进程 master:   NameNode, ResourceManager, slaves:   DataNode, NodeManager,  RunJar, MRAppMaster,YarnChild 其中 RunJar, MRAppMaster,YarnChild与随着某个job的创建而创建，随着job的完成而终止。它们的作用分别是： RunJar：完成job的初始...【阅读全文】

【HADOOP】学习一篇关于zookeeper博客笔记

kevinchenchn | 2015-08-21 13:57:26 | 阅读(970) | 评论(0)

ZooKeeper是一个分布式的，开放源码的分布式应用程序，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。Zookeeper中的server机器之间会组成leader/follower集群，1：n</span...【阅读全文】

【HADOOP】 Hadoop添加删除节点

levy-linux | 2015-08-06 17:58:10 | 阅读(1590) | 评论(0)

添加节点

1.修改host
和普通的datanode一样。添加namenode的ip

2.修改namenode的配置文件conf/slaves
添加新增节点的ip或host

3.在新节点的机器上，启动服务
[root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start datanode
[root@slave-004 hadoop...【阅读全文】

【HADOOP】 Hadoop集群中添加datanode节点

niao5929 | 2015-05-19 11:28:13 | 阅读(1100) | 评论(0)

Hadoop集群中添加datanode节点[日期：2015-05-19]来源：Linux社区作者：ljy2013[字体：大中小]随着业务的扩展，公司刚开始的三个节点已经不够用了，因此需要添加datanode。下面记录一下添加datanode节点的步骤：1、在新的...【阅读全文】

【HADOOP】上海市信息技术培训中心Cloudera Hadoop认证培训

sittc2 | 2015-04-16 10:12:57 | 阅读(780) | 评论(0)

作为大数据核心技术，Hadoop为企业提供了高扩展、高冗余、高容错、和经济有效的“数据驱动”解决方案，针对企业目前普遍缺乏海量数据技术人员的现状，上海市信息技术培训中心Cloudera Hadoop认证培训系列课程，为企业经理、CTO、架构师、技术带头人、系统管理员、数据管理员、数据/商务分析元和应用开发人员带来了业内最...【阅读全文】

【HADOOP】 2015年上海市信息技术培训中心hadoop课程开班啦

sittc2 | 2015-02-26 10:14:03 | 阅读(690) | 评论(0)

2015年上海市信息技术培训中心hadoop课程开班啦【阅读全文】

【HADOOP】 ZooKeeper源码分析：Quorum请求的整个流程

niao5929 | 2015-02-21 16:05:29 | 阅读(960) | 评论(0)

ZooKeeper源码分析：Quorum请求的整个流程[日期：2015-02-20]来源：Linux社区作者：jeff_fangji[字体：大中小]Quorum请求是转发给Leader处理，并且需要得一个Follower Quorum确认...【阅读全文】

【HADOOP】上海市信息技术培训中心Cloudera Hadoop管理认证培训

sittc2 | 2015-01-04 14:54:20 | 阅读(540) | 评论(0)

【HADOOP】数据文件数据加载到hive表

hxl | 2014-10-28 17:36:13 | 阅读(33850) | 评论(0)

下面是一个本地数据文件加载到hive表中的例子1.在hxl数据库下创建表hive> create table tb_emp_info > (id int, > name string, > age int, > tel string) > ROW FORMAT DELIMITED > FIEL...【阅读全文】

【HADOOP】查看HDFS集群信息

Aquester | 2014-04-19 10:42:14 | 阅读(3590) | 评论(0)

clusterID：集群ID，必须保持一致1）在NameNode上查看cat $HADOOP_HOME/dfs/name/current/VERSION#Fri Apr 18 11:56:57 GMT 2014namespaceID=1397306199clusterID=CID-bfe869e9-fe7a-48c7-9606-08512f1708becTime=0storageType=NAME_NODEblockpoolID=BP-139798373-172.25.40.171-1397735615751layoutVersion=-56...【阅读全文】

网络110 报警服务