按类别查询搜索结果
关于关键词 的检测结果,共 55
vivo互联网技术 | 2019-09-25 21:43:12 | 阅读(1710) | 评论(0)
随着 Java8 的不断流行,越来越多的开发人员使用并行流(parallel)这一特性提升代码执行效率。但是,作者发现在 Tomcat 容器中使用并行流会出现动态加载类失败的情况,通过对比 Tomcat 多个版本的源码,结合并行流和 JVM 类加载机制的原理,成功定位到问题来源。本文对这个问题展开分析,并给出解决方案。【阅读全文】
【HADOOP】 Hive单版部署
yepyang | 2018-03-18 13:52:07 | 阅读(0) | 评论(0)
Hive-site.xml:   hive.metastore.warehouse.dir【阅读全文】
Aquester | 2017-04-30 14:25:07 | 阅读(4450) | 评论(0)
目录目录11. 前言32. 特性介绍43. 部署53.1. 机器列表63.2. 主机名63.2.1. 临时修改主机名73.2.2. 永久修改主机名73.3. 免密码登录范围73.4. 修改最大可打开文件数83.5. OOM相关:vm.overcommit_memory 84...【阅读全文】
shilei1 | 2016-09-07 21:49:14 | 阅读(11490) | 评论(0)
目录目录11. 前言22. 部署32.1. 机器列表32.2. 主机名32.2.1. 临时修改主机名42.2.2. 永久修改主机名42.3. 免密码登录范围43. 约定53.1. 安装目录约定53.2. 服务端口约定64. 工作详单75. ...【阅读全文】
sanshugen | 2016-08-13 16:12:53 | 阅读(1870) | 评论(0)
CentOS添加环境变量在Linux CentOS系统上安装完php和MySQL后,为了使用方便,需要将php和mysql命令加到系统命令中,如果在没有添加到环境变量之前,执行“php -v”命令查看当前php版本信息时时,则会提示命令不存在的错误,下面我们详细介绍一下在linux下将php和mysql加入到环境变量中的方法(假设php和mysq...【阅读全文】
levy-linux | 2016-03-17 11:57:58 | 阅读(2670) | 评论(0)
ambari默认3个journalnode节点,但是如果一个节点出现问题,需要增加补充,ambari界面没有操作的选项,所以只能通过其他命令方式操作,看到之前有个文章是将HA降级,之后重新做HA,这样的风险太高了,操作负载,从网上找到了其他方式,分享给需要的朋友,也希望ambari新版本可以将这个增加journalnode功能,添加进去。增...【阅读全文】
levy-linux | 2016-01-19 19:11:45 | 阅读(2060) | 评论(0)
今天处理一个CDH问题,由于各种原理,CDH装的一半的时候退出了,导致再次进入添加主机界面,无法进行下一步,解决方法,重启CDH server端服务器,等待5分钟后登录下,在管理界面删除对应的主机,之后再重新添加主机就好了。...【阅读全文】
Aquester | 2015-11-25 09:10:43 | 阅读(7080) | 评论(1)
目录目录11. 前言22. 部署32.1. 机器列表32.2. 主机名32.2.1. 临时修改主机名42.2.2. 永久修改主机名42.3. 免密码登录范围43. 约定53.1. 安装目录约定53.2. 服务端口约定64. 工作详单75. ...【阅读全文】
levy-linux | 2015-09-10 14:46:21 | 阅读(3280) | 评论(0)
在运行中的ambari hadoop集中中动态添加或删除节点<br /><br /><strong>1. 下线节点</strong><br />1) namenode节点上dfs.exclude文件,看配置文件怎么配置的,里每行添加一个服务器名,如我要下线server7,server8,server9,则如下:<br />server7<br />server8<br /><br />resourcemanager节点上yarn.exclude文件里...【阅读全文】
levy-linux | 2015-08-17 16:19:42 | 阅读(1680) | 评论(0)
由于公司机房异常断电,导致测试环境的hadoop集群数据全部down掉。重启hadoop集群后,访问:http://xxx.xxx.xxx.xx:50070/dfshealth.html

提示:
NameNode is still loading. Redirecting to the Startup Progress page.

这个不是错误。因为hadoop启动时,会进入安全模式进行自检,自检完...【阅读全文】
安浪天 | 2015-08-11 15:07:20 | 阅读(1000) | 评论(0)
说明:系统为centos6.5、jdk版本为1.7、Hadoop版本为2.7.红色字体为输入内容,紫色字体为路径及注意<strong><br />一、jdk安装<br /></strong>1、安装jdk1.7<br />&nbsp; &nbsp; <span style="color:#E53333;">rpm -ivh jdk-7u79-linux-x64.rpm</span><br /><div>2、配置环境变量 &nbsp;&nbsp;&nbsp;在/etc/profile文...【阅读全文】
levy-linux | 2015-08-06 17:58:10 | 阅读(1530) | 评论(0)
添加节点

1.修改host
和普通的datanode一样。添加namenode的ip

2.修改namenode的配置文件conf/slaves
添加新增节点的ip或host

3.在新节点的机器上,启动服务
[root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start datanode
[root@slave-004 hadoop...【阅读全文】
CuteB | 2015-07-05 22:50:51 | 阅读(2400) | 评论(0)
1.what is apache hadoop?<br />谁说大象不能跳舞?<br />轻松应对海量数据存储与分析带来的挑战<br />2.海量数据:<br />量:大,数目多,数据量达到PB,ZB级别,条目数达到几十亿条,几百亿条<br />1)存储:分布式,集群的概念进行存储管理(主节点、从节点),HDFS(hadoop<br />distribute file system)<br />...【阅读全文】
CuteB | 2015-07-05 21:30:03 | 阅读(1730) | 评论(0)
1.hadoop生成环境都是在linux环境下,hadoop 2.x开始支持win环境。掌握linux环境,熟悉基本命令和linux环境的基本配置。<br />2.vmware虚拟机环境的搭建<br />3.使用的是Centos 6.4 &nbsp; &nbsp;redhat 6.x 64位 &nbsp; &nbsp; 。<br />4.linux系统环境的基本配置,配置ip地址,配置主机名,关闭防火墙等。<br />5.远...【阅读全文】
niao5929 | 2015-05-19 11:28:13 | 阅读(1050) | 评论(0)
Hadoop集群中添加datanode节点[日期:2015-05-19]来源:Linux社区  作者:ljy2013[字体:大 中 小]随着业务的扩展,公司刚开始的三个节点已经不够用了,因此需要添加datanode。下面记录一下添加datanode节点的步骤:1、在新的...【阅读全文】
sittc2 | 2015-04-16 10:12:57 | 阅读(770) | 评论(0)
作为大数据核心技术,Hadoop为企业提供了高扩展、高冗余、高容错、和经济有效的“数据驱动”解决方案,针对企业目前普遍缺乏海量数据技术人员的现状,上海市信息技术培训中心Cloudera Hadoop认证培训系列课程,为企业经理、CTO、架构师、技术带头人、系统管理员、数据管理员、数据/商务分析元和应用开发人员带来了业内最...【阅读全文】
sittc2 | 2015-02-26 10:14:03 | 阅读(660) | 评论(0)
2015年上海市信息技术培训中心hadoop课程开班啦【阅读全文】
sittc2 | 2015-01-04 14:54:20 | 阅读(520) | 评论(0)
作为大数据核心技术,Hadoop为企业提供了高扩展、高冗余、高容错、和经济有效的“数据驱动”解决方案,针对企业目前普遍缺乏海量数据技术人员的现状,上海市信息技术培训中心Cloudera Hadoop认证培训系列课程,为企业经理、CTO、架构师、技术带头人、系统管理员、数据管理员、数据/商务分析元和应用开发人员带来了业内最领...【阅读全文】
eanhdw | 2014-11-15 15:43:43 | 阅读(0) | 评论(0)
年年红鞭炮机【阅读全文】
hxl | 2014-10-28 17:36:13 | 阅读(33800) | 评论(0)
  下面是一个本地数据文件加载到hive表中的例子1.在hxl数据库下创建表hive> create table tb_emp_info    > (id int,    > name string,    > age int,    > tel string)    > ROW FORMAT DELIMITED    > FIEL...【阅读全文】