搜索博文结果_ChinaUnix博客

博客首页博客专家往日推荐博客文集

热搜： Android iOS H3C 服务器 C# 敏捷 ubuntu 信息

博客首页〉搜索结果

按类别查询搜索结果

操作系统程序设计数据库热点技术综合架构与运维移动开发与应用 Web前端

虚拟化| 云计算| 大数据| HADOOP| 高性能计算|

关于关键词的检测结果，共 66 条

【HADOOP】 HBase快照迁移数据失败原因及解决办法

aquester | 2019-10-22 14:28:03 | 阅读(2060) | 评论(0)

目录目录 11. 背景 12. 环境 13. 执行语句 14. 问题描述 15. 错误信息 26. 问题原因 37. 解决办法 4 1. 背景机房裁撤，需将源HBase集群的数据迁移到目标HBase集群，采用快照迁移方式。2. 环境Hadoop-3.1.2 + HBase-2.2.13. 执行语句...【阅读全文】

【HADOOP】 Tomcat 应用中并行流带来的类加载问题

vivo互联网技术 | 2019-09-25 21:43:12 | 阅读(1710) | 评论(0)

随着 Java8 的不断流行，越来越多的开发人员使用并行流（parallel）这一特性提升代码执行效率。但是，作者发现在 Tomcat 容器中使用并行流会出现动态加载类失败的情况，通过对比 Tomcat 多个版本的源码，结合并行流和 JVM 类加载机制的原理，成功定位到问题来源。本文对这个问题展开分析，并给出解决方案。【阅读全文】

【HADOOP】开源大数据平台如何才能保证身份认证安全？

charliewei | 2018-12-11 17:50:04 | 阅读(2250) | 评论(0)

在信息技术界，Kerberos是一种被广泛采用的网络认证协议，通过对称加密的技术，保护网络系统的安全。
【阅读全文】

【HADOOP】 Hadoop大数据平台运维工程师须掌握的基本命令集分享

豆浆_tony | 2018-07-21 20:04:39 | 阅读(5790) | 评论(0)

本博文收集和整理了在日常维护hadoop集群时运维工程师需要掌握的最基本的hadoop管理与维护的相关命令，在此分享出来供大家参考学习~博主也是刚刚接触hadoop不久，如有问题欢迎批评指正~非常感谢【阅读全文】

【HADOOP】验证hadoop安装lzo是否成功

hxl | 2017-12-07 14:46:24 | 阅读(0) | 评论(0)

1.创建目录:[hadoop@master exter_data]$ hadoop fs -mkdir /user/hive/provcode/2.上传文本文件hadoop fs -put /opt/hadoop/exter_data/provcode.TXT.utf8 /user/hive/provcode/3.压缩[hadoop@master exter_data]$ hadoop jar /opt/hadoop/hadoop-2.8.2/share/hadoop/tools/lib/hadoop-streaming-2.8.2.jar -Dmapr...【阅读全文】

【HADOOP】 Hadoop大数据平台运维工程师须掌握的基本命令集分享

linux521 | 2016-10-27 17:21:25 | 阅读(1230) | 评论(0)

【HADOOP】 hadoop和spark的区别

jeffchencsj | 2016-09-25 20:20:09 | 阅读(1940) | 评论(0)

谈到大数据，相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上，并没有对它们进行深入的思考，下面不妨跟我一块看下它们究竟有什么异同。解决问题的层面不一样首先，Hadoop和Apache Spark两者都是大数据框架，但是各自存在的目的不尽相同。Hadoop实质上更多是一个分布...【阅读全文】

【HADOOP】 centos添加系统变量

sanshugen | 2016-08-13 16:12:53 | 阅读(1870) | 评论(0)

CentOS添加环境变量在Linux CentOS系统上安装完php和MySQL后，为了使用方便，需要将php和mysql命令加到系统命令中，如果在没有添加到环境变量之前，执行“php -v”命令查看当前php版本信息时时，则会提示命令不存在的错误，下面我们详细介绍一下在linux下将php和mysql加入到环境变量中的方法（假设php和mysq...【阅读全文】

【HADOOP】 Hadoop之气象数据分析Unix脚本验证（awk）

linux_kaige | 2016-05-19 15:45:45 | 阅读(2890) | 评论(0)

在Hadoop权威指南的第二张《关于mapreduce》中，提到了气象数据的分析问题，使用到Unix脚本，我就抽空把气象数据给下载下来，然后放到服务器上，用书中的脚本测试一下。实际发现书上有错误的地方，这么多年很少看书，第一次发现书中的错误，已圈红色：我按照上面的方式下载文件 ftp://ftp.ncdc.noaa.gov/pub/data/...【阅读全文】

【HADOOP】 Hadoop大数据平台运维工程师须掌握的基本命令集分享

woaimaidong | 2016-05-07 23:17:31 | 阅读(3520) | 评论(0)

【HADOOP】 hive2.0 安装过程问题解决办法

OowarrioroO | 2016-04-24 16:40:38 | 阅读(2010) | 评论(0)

HIVE安装环境：ubuntu14.04 hadoop-2.6.0 hive-2.0.0
?1.下载安装
?下载链接：http://mirror.bit.edu.cn/apache/hive/
?解压安装：
2.参数配置
?2.1设置环境变量
2.2设置配置文件
3错误信息：
Exception in thread "main" java.lang.RuntimeException: Hive metastore database is not initialized.
Exception in thread "main" java.lang.IllegalArgumentException: java.net.URISyntaxException: 【阅读全文】

【HADOOP】正式生产环境下hadoop集群的DNS+NFS+ssh免密码登陆配置

zzjlzx | 2016-03-21 10:35:48 | 阅读(2170) | 评论(0)

正式生产环境下hadoop集群的DNS+NFS+ssh免密码登陆配置作者：weir2010 发布日期：2014-06-09 18:03:05环境虚拟机centos6.5主机名h3 IP 192.168.137.11 作为DNS FNS的服务器主机名h4 IP 192.168.137.12主机名h3 I...【阅读全文】

【HADOOP】 ambari增加journalnode服务节点

levy-linux | 2016-03-17 11:57:58 | 阅读(2680) | 评论(0)

ambari默认3个journalnode节点，但是如果一个节点出现问题，需要增加补充，ambari界面没有操作的选项，所以只能通过其他命令方式操作，看到之前有个文章是将HA降级，之后重新做HA，这样的风险太高了，操作负载，从网上找到了其他方式，分享给需要的朋友，也希望ambari新版本可以将这个增加journalnode功能，添加进去。增...【阅读全文】

【HADOOP】 Hadoop大数据平台运维工程师须掌握的基本命令集分享

hackeruncle | 2016-02-25 16:37:00 | 阅读(2550) | 评论(0)

【HADOOP】 CDH 主机准备就绪，无法继续问题

levy-linux | 2016-01-19 19:11:45 | 阅读(2060) | 评论(0)

今天处理一个CDH问题，由于各种原理，CDH装的一半的时候退出了，导致再次进入添加主机界面，无法进行下一步，解决方法，重启CDH server端服务器，等待5分钟后登录下，在管理界面删除对应的主机，之后再重新添加主机就好了。...【阅读全文】

【HADOOP】 Hadoop平台关闭THP解决服务器高负载问题

levy-linux | 2015-12-23 11:12:05 | 阅读(3550) | 评论(0)

Ambari和CM管理平台都提示，建议关闭THP，这是为什么？如果不关闭THP，发现Hadoop的系统态CPU使用率很高，原因是RHEL6优化了内存申请的效率，而且在某些场景下对KVM的性能有明显提升。而Hadoop是个高密集型内存运算系统，这个改动似乎给它带来了副作用。理论上运算型Java程序应该更多的使用用户态CPU才对，Cloudera官...【阅读全文】

【HADOOP】 ambari动态添加datanode和nodemanager

levy-linux | 2015-09-10 14:46:21 | 阅读(3280) | 评论(0)

在运行中的ambari hadoop集中中动态添加或删除节点 1. 下线节点 1) namenode节点上dfs.exclude文件，看配置文件怎么配置的，里每行添加一个服务器名，如我要下线server7,server8,server9,则如下： server7 server8 resourcemanager节点上yarn.exclude文件里...【阅读全文】

【HADOOP】文件副本数量问题，设置的dfs.replication没有生效

levy-linux | 2015-08-28 17:00:16 | 阅读(2930) | 评论(0)

问题描述： 前几天发现hadoophdfs磁盘空间经常满，导致任务失败，但是查看hadoop fs -du -h /  这个根目录的文件大小总计150T左右，但是在50070端口页面查看到的磁盘使用接近390T，怀疑是文件备份数出问题了。 执行 hadoop dfs -ls [filename]  近期的文件都是3份，上个月的抽几个文件...【阅读全文】

【HADOOP】 Hadoop添加删除节点

levy-linux | 2015-08-06 17:58:10 | 阅读(1530) | 评论(0)

添加节点

1.修改host
和普通的datanode一样。添加namenode的ip

2.修改namenode的配置文件conf/slaves
添加新增节点的ip或host

3.在新节点的机器上，启动服务
[root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start datanode
[root@slave-004 hadoop...【阅读全文】

【HADOOP】 Hadoop初探之Hadoop生态圈

dirk2014 | 2015-08-06 13:30:13 | 阅读(600) | 评论(0)

一、简介 Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。简单地说来，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。图1 Hadoop主要项目 &...【阅读全文】

首页
<<
1
2
3
4
>>
末页

网络110 报警服务