ChinaUnix首页
|
论坛
|
博客
博客首页
博客专家
往日推荐
博客文集
博文
博主
热搜:
Android
存储
Ruby
嵌入式
敏捷
Mysql
高性能
CCNA
博客首页 〉
搜索结果
按类别查询搜索结果
操作系统
程序设计
数据库
热点技术
综合
架构与运维
移动开发与应用
Web前端
LINUX
|
BSD
|
WINDOWS
|
其他UNIX
|
AIX
|
SOLARIS
|
C/C++
|
Java
|
Python/Ruby
|
项目管理
|
Web开发
|
嵌入式
|
C#/.net
|
PHP
|
Delphi
|
PERL
|
Erlang
|
Verilog
|
敏捷开发
|
Mysql/postgreSQL
|
Oracle
|
DB2/Informix
|
Sybase
|
数据库开发技术
|
SQLite/嵌入式数据库
|
SQLServer
|
NOSQL
|
虚拟化
|
云计算
|
大数据
|
HADOOP
|
高性能计算
|
IT业界
|
IT职场
|
信息化
|
网络与安全
|
系统运维
|
服务器与存储
|
架构设计与优化
|
Android平台
|
iOS平台
|
Windows平台
|
其他平台
|
Html/Css
|
JavaScript
|
jQuery
|
HTML5
|
关于关键词 的检测结果,共
32
条
【HADOOP】
HBase快照迁移数据失败原因及解决
办
法
aquester
| 2019-10-22 14:28:03 | 阅读(2040) | 评论(0)
目录目录 11. 背景 12. 环境 13. 执行语句 14. 问题描述 15. 错误信息 26. 问题原因 37. 解决办法 4 1. 背景机房裁撤,需将源HBase集群的数据迁移到目标HBase集群,采用快照迁移方式。2. 环境Hadoop-3.1.2 + HBase-2.2.13. 执行语句...
【阅读全文】
【HADOOP】
Tomcat 应用中并行流带来的类
加
载问题
vivo互联网技术
| 2019-09-25 21:43:12 | 阅读(1710) | 评论(0)
随着 Java8 的不断流行,越来越多的开发人员使用并行流(parallel)这一特性提升代码执行效率。但是,作者发现在 Tomcat 容器中使用并行流会出现动态加载类失败的情况,通过对比 Tomcat 多个版本的源码,结合并行流和 JVM 类加载机制的原理,成功定位到问题来源。本文对这个问题展开分析,并给出解决方案。
【阅读全文】
【HADOOP】
开源大数据平台如何才能保
证
身份认
证
安全?
charliewei
| 2018-12-11 17:50:04 | 阅读(2250) | 评论(0)
在信息技术界,Kerberos是一种被广泛采用的网络认证协议,通过对称加密的技术,保护网络系统的安全。
【阅读全文】
【HADOOP】
验
证
hadoop安装lzo是否成功
hxl
| 2017-12-07 14:46:24 | 阅读(0) | 评论(0)
1.创建目录:[hadoop@master exter_data]$ hadoop fs -mkdir /user/hive/provcode/2.上传文本文件hadoop fs -put /opt/hadoop/exter_data/provcode.TXT.utf8 /user/hive/provcode/3.压缩[hadoop@master exter_data]$ hadoop jar /opt/hadoop/hadoop-2.8.2/share/hadoop/tools/lib/hadoop-streaming-2.8.2.jar -Dmapr...
【阅读全文】
【HADOOP】
centos添
加
系统变量
sanshugen
| 2016-08-13 16:12:53 | 阅读(1870) | 评论(0)
CentOS添加环境变量在Linux CentOS系统上安装完php和MySQL后,为了使用方便,需要将php和mysql命令加到系统命令中,如果在没有添加到环境变量之前,执行“php -v”命令查看当前php版本信息时时,则会提示命令不存在的错误,下面我们详细介绍一下在linux下将php和mysql加入到环境变量中的方法(假设php和mysq...
【阅读全文】
【HADOOP】
Hadoop之气象数据分析Unix脚本验
证
(awk)
linux_kaige
| 2016-05-19 15:45:45 | 阅读(2840) | 评论(0)
在Hadoop权威指南的第二张《关于mapreduce》中,提到了气象数据的分析问题,使用到Unix脚本,我就抽空把气象数据给下载下来,然后放到服务器上,用书中的脚本测试一下。实际发现书上有错误的地方,这么多年很少看书,第一次发现书中的错误,已圈红色:我按照上面的方式下载文件 ftp://ftp.ncdc.noaa.gov/pub/data/...
【阅读全文】
【HADOOP】
hive2.0 安装过程问题解决
办
法
OowarrioroO
| 2016-04-24 16:40:38 | 阅读(2010) | 评论(0)
HIVE安装环境:ubuntu14.04 hadoop-2.6.0 hive-2.0.0
?1.下载安装
?下载链接:http://mirror.bit.edu.cn/apache/hive/
?解压安装:
2.参数配置
?2.1设置环境变量
2.2设置配置文件
3错误信息:
Exception in thread "main" java.lang.RuntimeException: Hive metastore database is not initialized.
Exception in thread "main" java.lang.IllegalArgumentException: java.net.URISyntaxException:
【阅读全文】
【HADOOP】
Hadoop虚拟化扩展(HVE)之
资
源扩展技术
zzjlzx
| 2016-03-21 10:38:53 | 阅读(2110) | 评论(0)
Hadoop虚拟化扩展(HVE)之资源扩展技术作者:vBigData 发布日期:2013-11-07 10:22:29背景在虚拟化的云环境中,Hadoop可以有更好的“弹性”,这是云计算的一个重要优势,例如亚马逊的EMR(ElasticMapReduce)服务, 用户可以迅速的在云中根据需求部署一个H...
【阅读全文】
【HADOOP】
ambari增
加
journalnode服务节点
levy-linux
| 2016-03-17 11:57:58 | 阅读(2670) | 评论(0)
ambari默认3个journalnode节点,但是如果一个节点出现问题,需要增加补充,ambari界面没有操作的选项,所以只能通过其他命令方式操作,看到之前有个文章是将HA降级,之后重新做HA,这样的风险太高了,操作负载,从网上找到了其他方式,分享给需要的朋友,也希望ambari新版本可以将这个增加journalnode功能,添加进去。增...
【阅读全文】
【HADOOP】
ambari动态添
加
datanode和nodemanager
levy-linux
| 2015-09-10 14:46:21 | 阅读(3270) | 评论(0)
在运行中的ambari hadoop集中中动态添加或删除节点<br /><br /><strong>1. 下线节点</strong><br />1) namenode节点上dfs.exclude文件,看配置文件怎么配置的,里每行添加一个服务器名,如我要下线server7,server8,server9,则如下:<br />server7<br />server8<br /><br />resourcemanager节点上yarn.exclude文件里...
【阅读全文】
【HADOOP】
Hadoop添
加
删除节点
levy-linux
| 2015-08-06 17:58:10 | 阅读(1530) | 评论(0)
添加节点
1.修改host
和普通的datanode一样。添加namenode的ip
2.修改namenode的配置文件conf/slaves
添加新增节点的ip或host
3.在新节点的机器上,启动服务
[root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start datanode
[root@slave-004 hadoop...
【阅读全文】
【HADOOP】
Hadoop集群中添
加
datanode节点
niao5929
| 2015-05-19 11:28:13 | 阅读(1050) | 评论(0)
Hadoop集群中添加datanode节点[日期:2015-05-19]来源:Linux社区 作者:ljy2013[字体:大 中 小]随着业务的扩展,公司刚开始的三个节点已经不够用了,因此需要添加datanode。下面记录一下添加datanode节点的步骤:1、在新的...
【阅读全文】
【HADOOP】
上海
市
信
息技术培训中心Cloudera Hadoop认
证
培训
sittc2
| 2015-04-16 10:12:57 | 阅读(770) | 评论(0)
作为大数据核心技术,Hadoop为企业提供了高扩展、高冗余、高容错、和经济有效的“数据驱动”解决方案,针对企业目前普遍缺乏海量数据技术人员的现状,上海市信息技术培训中心Cloudera Hadoop认证培训系列课程,为企业经理、CTO、架构师、技术带头人、系统管理员、数据管理员、数据/商务分析元和应用开发人员带来了业内最...
【阅读全文】
【HADOOP】
2015年上海
市
信
息技术培训中心hadoop课程开班啦
sittc2
| 2015-02-26 10:14:03 | 阅读(660) | 评论(0)
2015年上海市信息技术培训中心hadoop课程开班啦
【阅读全文】
【HADOOP】
上海
市
信
息技术培训中心Cloudera Hadoop管理认
证
培训
sittc2
| 2015-01-04 14:54:20 | 阅读(510) | 评论(0)
作为大数据核心技术,Hadoop为企业提供了高扩展、高冗余、高容错、和经济有效的“数据驱动”解决方案,针对企业目前普遍缺乏海量数据技术人员的现状,上海市信息技术培训中心Cloudera Hadoop认证培训系列课程,为企业经理、CTO、架构师、技术带头人、系统管理员、数据管理员、数据/商务分析元和应用开发人员带来了业内最领...
【阅读全文】
【HADOOP】
hadoop集群运行python mapreduce程序错误及其解决
办
法
9768p1
| 2014-11-26 20:24:04 | 阅读(2620) | 评论(0)
自己用python写了个mapreduce程序,结果运行时候一直报错;运行命令:点击(此处)折叠或打开hadoop jar /usr/lib/hadoop-0.20/contrib/streaming/hadoop-streaming-0.20.2-cdh3u6.jar -mapper /Application/lianshuchengjin/MR/map.py -reducer /Application/lianshuchengjin/MR/reduce.py -...
【阅读全文】
【HADOOP】
数据文件数据
加
载到hive表
hxl
| 2014-10-28 17:36:13 | 阅读(33790) | 评论(0)
下面是一个本地数据文件加载到hive表中的例子1.在hxl数据库下创建表hive> create table tb_emp_info > (id int, > name string, > age int, > tel string) > ROW FORMAT DELIMITED > FIEL...
【阅读全文】
【HADOOP】
hadoop集群运行python mapreduce程序错误及其解决
办
法
dsy851009
| 2014-10-22 18:35:06 | 阅读(9840) | 评论(3)
自己用python写了个mapreduce程序,结果运行时候一直报错;运行命令:点击(此处)折叠或打开hadoop jar /usr/lib/hadoop-0.20/contrib/streaming/hadoop-streaming-0.20.2-cdh3u6.jar -mapper /Application/lianshuchengjin/MR/map.py -reducer /Application/lianshuchengjin/MR/reduce.py -...
【阅读全文】
【HADOOP】
eclipse里无法上传文件到hadoop的解决
办
法
niao5929
| 2014-07-16 11:25:21 | 阅读(500) | 评论(0)
今天部署好了eclipse在hadoop中的开发环境,在ide环境下可以浏览到hadoop上的目录和文件,但是无法创建目录和上传文件,解决办法是在hdfs-site.xml中添加红色部分的参数.[hadoop1@node1 conf]$ more hdfs-site.xml<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Pu...
【阅读全文】
【HADOOP】
eclipse里无法上传文件到hadoop的解决
办
法
hxl
| 2014-07-15 14:50:40 | 阅读(9840) | 评论(0)
今天部署好了eclipse在hadoop中的开发环境,在ide环境下可以浏览到hadoop上的目录和文件,但是无法创建目录和上传文件,解决办法是在hdfs-site.xml中添加红色部分的参数.[hadoop1@node1 conf]$ more hdfs-site.xml
【阅读全文】
首页
<<
1
2
>>
末页