搜索博文结果_ChinaUnix博客

博客首页博客专家往日推荐博客文集

热搜：网络安全 cISCO 系统运维 Java 敏捷 ubuntu 高性能 CCNA

博客首页〉搜索结果

按类别查询搜索结果

操作系统程序设计数据库热点技术综合架构与运维移动开发与应用 Web前端

虚拟化| 云计算| 大数据| HADOOP| 高性能计算|

关于关键词的检测结果，共 230 条

【HADOOP】正式生产环境下hadoop集群的DNS+NFS+ssh免密码登陆配置

zzjlzx | 2016-03-21 10:35:48 | 阅读(2160) | 评论(0)

正式生产环境下hadoop集群的DNS+NFS+ssh免密码登陆配置作者：weir2010 发布日期：2014-06-09 18:03:05环境虚拟机centos6.5主机名h3 IP 192.168.137.11 作为DNS FNS的服务器主机名h4 IP 192.168.137.12主机名h3 I...【阅读全文】

【HADOOP】 Hadoop大数据平台运维工程师须掌握的基本命令集分享

hackeruncle | 2016-02-25 16:37:00 | 阅读(2550) | 评论(0)

本博文收集和整理了在日常维护hadoop集群时运维工程师需要掌握的最基本的hadoop管理与维护的相关命令，在此分享出来供大家参考学习~博主也是刚刚接触hadoop不久，如有问题欢迎批评指正~非常感谢【阅读全文】

【HADOOP】 Hadoop监控页面查看Hive的完整SQL

levy-linux | 2016-02-18 09:34:02 | 阅读(4170) | 评论(0)

想看看执行的hive job提交了什么语句，有没有方法从hadoop job监控页面查看？方法如下，这里看到简单的一段SQL，几乎看不出具体在执行什么任务。1、点开一个application，点击Tracking URL: ApplicationMaster 或者 History（历史任务显示History），进入到MapReduce Job job_1409xxxx，Job页面2、点击左侧的Config...【阅读全文】

【HADOOP】 Ubuntu安装Hadoop进行namenode格式化出现Format aborted in path

神域风云再起 | 2016-02-11 16:26:22 | 阅读(1660) | 评论(0)

在使用hadoop namenode -format进行namenode的格式化时候，出现错误Format aborted in path出现错误的原因是：在对namenode格式化之前，要确保dfs.name.dir参数指定的目录不存在（hdfs-site.xml文件）。hadoop这样做的目的是防止错误的将已存在的集群格式化了。解决方法：关闭hadoop服务将上面参数指定的文件夹删除，...【阅读全文】

【HADOOP】 R实现MapReduce的协同过滤算法

hiyachen | 2016-01-29 12:45:14 | 阅读(4040) | 评论(0)

R实现MapReduce的协同过滤算法【阅读全文】

【HADOOP】 hadoop强制进行Active/Standby切换需要注意的问题

levy-linux | 2016-01-13 15:29:57 | 阅读(8590) | 评论(0)

NN切换hdfs haadmin -transitionToActive/transitionToStandbyRM切换yarn rmadmin -transitionToActive/transitionToStandby但是，这种方式在启用了ZKFC做自动失效恢复的状态下是不允许修改的，提示信息里只说了可以强制执行，但是没有提供命令，其实强制切换主备命令很简单。加个forcemanual就好了。强制切换yar...【阅读全文】

【HADOOP】部署Hadoop集群的步骤

yejuanbai | 2015-12-16 17:25:07 | 阅读(330) | 评论(0)

Hadoop集群的部署方法简介，以Suse11为操作系统的Hadoop集群搭建实例。【阅读全文】

【HADOOP】 Hadoop运行mapreduce实例时,抛出错误 All datanodes are bad. Aborting…

levy-linux | 2015-12-12 18:29:44 | 阅读(4070) | 评论(0)

Hadoop运行mapreduce实例时,抛出错误ava.io.IOException: All datanodes xxx.xxx.xxx.xxx:xxx are bad. Aborting…at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.processDatanodeError(DFSClient.java:2158)at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.access$1400(DFSClient.java:1735)at org.apach...【阅读全文】

【HADOOP】 Ambari卸载已安装的服务组件

levy-linux | 2015-12-01 17:11:48 | 阅读(8820) | 评论(0)

Ambari 常用的 REST API 介绍Ambari 借鉴了很多成熟分布式软件的 API 设计。Rest API 就是一个很好地体现。通过 Ambari 的 Rest API，可以在脚本中通过 curl 维护整个集群。并且，我们可以用 Rest API 实现一些无法在 Ambari GUI 上面做的操作。下面是一些实例。实例 1，通过 API 卸载已安装的 Service目前 Ambari 不...【阅读全文】

【HADOOP】编译hadoop的libhdfs.a

Aquester | 2015-11-27 10:44:44 | 阅读(4300) | 评论(0)

进入hadoop-hdfs-project/hadoop-hdfs/src目录，执行cmake以生成Makefile文件。如果遇到如下的错误：~/hadoop-2.7.1-src/hadoop-hdfs-project/hadoop-hdfs/src]$ cmake .JAVA_HOME=, JAVA_JVM_LIBRARY=/data/jdk/jre/lib/amd64/server/libjvm.soJAVA_INCLUDE_PATH=/data/jdk/include, JAVA_INCLUDE_PATH2=/data/jdk/i...【阅读全文】

【HADOOP】 HBase的FlushLargeStoresPolicy多例族支持

Aquester | 2015-11-18 11:43:09 | 阅读(3860) | 评论(0)

HBase的FlushLargeStoresPolicy.pdf众所周知，HBase的一个例族flush时，会导致所有例族都跟着被flush。在HBase-0.94的官方说明（http://hbase.apache.org/0.94/book/number.of.cfs.html）也明确HBase不能很好的支持一个以上的例族。 HBase-2.0.0和HBase-1.1.0（https://issues.apache.org/jira/browse/HBAS...【阅读全文】

【HADOOP】基于Hadoop集群的大规模分布式深度学习

aqiandao | 2015-11-13 16:56:04 | 阅读(1360) | 评论(0)

　　前言　　在过去的十年里，Yahoo 一直持续投资建设和扩展 Apache Hadoop 集群，到目前为止共有超过 4 万台服务器和 600PB 数据分布在 19 个集群上。正如在 2015 Hadoop 峰会上介绍的，我们在自己的服务器上开发了可扩展的机器学习算法，用于分类、排序和计算词向量。目前，Hadoop 集群已成为 Yahoo 大规模机器学...【阅读全文】

【HADOOP】牛，量化派基于Hadoop、Spark、Storm的大数据风控架构

aqiandao | 2015-11-13 16:50:28 | 阅读(2030) | 评论(0)

　　量化派是一家金融大数据公司，为金融机构提供数据服务和技术支持，也通过旗下产品“信用钱包”帮助个人用户展示经济财务等状况，撮合金融机构为用户提供最优质的贷款服务。金融的本质是风险和流动性，但是目前中国对于个人方面的征信行业发展落后于欧美国家，个人消费金融的需求没有得到很好的满足。按照央行最新数据...【阅读全文】

【HADOOP】 Linux上编译hadoop-2.7.1的libhdfs.so和libhdfs.a

Aquester | 2015-11-13 11:00:39 | 阅读(3800) | 评论(0)

hadoop提供了CMake来编译libhdfs，因此在编译之前需要先安装好CMake工具。然后进入libhdfs的源代码目录，如：/data/hadoop-2.7.1-src/hadoop-hdfs-project/hadoop-hdfs/src执行cmake以生成Makefile文件（假设jdk的安装目录为/data/jdk1.7.0_55）：cmake -DGENERATED_JAVAH=/data/jdk1.7.0_55 -DJAVA_HOME=/data/jdk1...【阅读全文】

【HADOOP】 hadoop群集运行job慢的问题

levy-linux | 2015-11-04 18:22:26 | 阅读(1510) | 评论(0)

近期业务需求使用ambari安装了新的hadoop群集，大概30台服务器，安装比较顺利，但是群集安装后，job运行的很慢，但可以完成，反复查找问题，hadoop参数调整优化，代码开发检查，反复的测试，群集的本地读写能力，就是慢，经过几天的奋战，终于找到问题的原因，竟然是有各别的datanode节点网络有问题，scp数据的时候每秒...【阅读全文】

【HADOOP】修改hadoop的备份系数dfs.replication后操作

levy-linux | 2015-10-27 21:53:55 | 阅读(2870) | 评论(0)

Hadoop中常常需要增加新的节点，或者变更备份系数。在完成这些操作后，往往出现数据未自动备份，或者数据节点不可用的情况。 Hadoop的备份系数是指每个block在hadoop集群中有几份，系数越高，冗余性越好，占用存储也越多。备份系数在hdfs-site.xml中定义，默认值为3. 如何变更备份系数? 首先stop-...【阅读全文】

【HADOOP】 CDH 的Cloudera Manager免费与收费版的对比表

levy-linux | 2015-10-27 16:30:18 | 阅读(2430) | 评论(0)

CDH 特性免费版付费版Deployment, Configuration & Management系统管理Automated Deployment & Hadoop Readiness Checks...【阅读全文】

【HADOOP】 hadoop群集设置block副本，对于数据传输很有影响的

levy-linux | 2015-10-15 19:33:23 | 阅读(2050) | 评论(0)

最近测试了下hadoop读写数据的情况，将结果分享给大家，

datanode
mem：128G
cup：2cpu 26** 4核共8核

namenode
mem：192G
cup：2cpu 26** 4核共8核

datanode15台
namenode2台

单个文件2G 使用-put方式
data block repl...【阅读全文】

【HADOOP】 ambari server调整IP的经历，部署前一定要检查环境

levy-linux | 2015-10-15 14:52:59 | 阅读(3800) | 评论(0)

使用ambari安装群集的时候，安装系统人员将eth0（192.168.201.20）和eth1（192.168.20.20）的网卡都设置IP地址了，实际上应该只设置eth1（192.168.20.20），hosts文件都是指向eth1（192.168.20.20），所以可以正常安装hadoop群集，但是ambari监控界面，显示的是（192.168.201.20）IP地址，<br />我将ambari的eth0关闭，重...【阅读全文】

【HADOOP】问题笔记：oracle char类型映射到hive string类型时无法查出数据的原因

Helianthus_lu | 2015-10-11 22:30:16 | 阅读(8220) | 评论(0)

oracle char 《-----》hive string【阅读全文】

首页
<<
1
2
3
4
5
6
7
8
9
10
>>
末页

网络110 报警服务