搜索博文结果_ChinaUnix博客

博客首页博客专家往日推荐博客文集

热搜： iOS Windows 项目管理 Mysql Oracle LINUX 信息 FTP

博客首页〉搜索结果

按类别查询搜索结果

操作系统程序设计数据库热点技术综合架构与运维移动开发与应用 Web前端

虚拟化| 云计算| 大数据| HADOOP| 高性能计算|

关于关键词的检测结果，共 183 条

【HADOOP】 hadoop强制进行Active/Standby切换需要注意的问题

levy-linux | 2016-01-13 15:29:57 | 阅读(8580) | 评论(0)

NN切换hdfs haadmin -transitionToActive/transitionToStandbyRM切换yarn rmadmin -transitionToActive/transitionToStandby但是，这种方式在启用了ZKFC做自动失效恢复的状态下是不允许修改的，提示信息里只说了可以强制执行，但是没有提供命令，其实强制切换主备命令很简单。加个forcemanual就好了。强制切换yar...【阅读全文】

【HADOOP】部署Hadoop集群的步骤

yejuanbai | 2015-12-16 17:25:07 | 阅读(330) | 评论(0)

Hadoop集群的部署方法简介，以Suse11为操作系统的Hadoop集群搭建实例。【阅读全文】

【HADOOP】 Ambari卸载已安装的服务组件

levy-linux | 2015-12-01 17:11:48 | 阅读(8810) | 评论(0)

Ambari 常用的 REST API 介绍Ambari 借鉴了很多成熟分布式软件的 API 设计。Rest API 就是一个很好地体现。通过 Ambari 的 Rest API，可以在脚本中通过 curl 维护整个集群。并且，我们可以用 Rest API 实现一些无法在 Ambari GUI 上面做的操作。下面是一些实例。实例 1，通过 API 卸载已安装的 Service目前 Ambari 不...【阅读全文】

【HADOOP】编译hadoop的libhdfs.a

Aquester | 2015-11-27 10:44:44 | 阅读(4290) | 评论(0)

进入hadoop-hdfs-project/hadoop-hdfs/src目录，执行cmake以生成Makefile文件。如果遇到如下的错误：~/hadoop-2.7.1-src/hadoop-hdfs-project/hadoop-hdfs/src]$ cmake .JAVA_HOME=, JAVA_JVM_LIBRARY=/data/jdk/jre/lib/amd64/server/libjvm.soJAVA_INCLUDE_PATH=/data/jdk/include, JAVA_INCLUDE_PATH2=/data/jdk/i...【阅读全文】

【HADOOP】 Zookeeper客户端cli_st为何在crontab中运行不正常？

Aquester | 2015-11-25 13:07:33 | 阅读(4350) | 评论(1)

Zookeeper客户端cli_st为何在crontab中运行不正常？.pdf实践中，发现直接在命令行终端运行cli_st时，能够得到预期的结果，但一将它放到crontab中，则只收到：bye 相关的一段clit_st源代码如下： if (FD_ISSET(0, &rfd...【阅读全文】

【HADOOP】 HBase的FlushLargeStoresPolicy多例族支持

Aquester | 2015-11-18 11:43:09 | 阅读(3860) | 评论(0)

HBase的FlushLargeStoresPolicy.pdf众所周知，HBase的一个例族flush时，会导致所有例族都跟着被flush。在HBase-0.94的官方说明（http://hbase.apache.org/0.94/book/number.of.cfs.html）也明确HBase不能很好的支持一个以上的例族。 HBase-2.0.0和HBase-1.1.0（https://issues.apache.org/jira/browse/HBAS...【阅读全文】

【HADOOP】基于Hadoop集群的大规模分布式深度学习

aqiandao | 2015-11-13 16:56:04 | 阅读(1360) | 评论(0)

　　前言　　在过去的十年里，Yahoo 一直持续投资建设和扩展 Apache Hadoop 集群，到目前为止共有超过 4 万台服务器和 600PB 数据分布在 19 个集群上。正如在 2015 Hadoop 峰会上介绍的，我们在自己的服务器上开发了可扩展的机器学习算法，用于分类、排序和计算词向量。目前，Hadoop 集群已成为 Yahoo 大规模机器学...【阅读全文】

【HADOOP】牛，量化派基于Hadoop、Spark、Storm的大数据风控架构

aqiandao | 2015-11-13 16:50:28 | 阅读(2030) | 评论(0)

　　量化派是一家金融大数据公司，为金融机构提供数据服务和技术支持，也通过旗下产品“信用钱包”帮助个人用户展示经济财务等状况，撮合金融机构为用户提供最优质的贷款服务。金融的本质是风险和流动性，但是目前中国对于个人方面的征信行业发展落后于欧美国家，个人消费金融的需求没有得到很好的满足。按照央行最新数据...【阅读全文】

【HADOOP】 Linux上编译hadoop-2.7.1的libhdfs.so和libhdfs.a

Aquester | 2015-11-13 11:00:39 | 阅读(3800) | 评论(0)

hadoop提供了CMake来编译libhdfs，因此在编译之前需要先安装好CMake工具。然后进入libhdfs的源代码目录，如：/data/hadoop-2.7.1-src/hadoop-hdfs-project/hadoop-hdfs/src执行cmake以生成Makefile文件（假设jdk的安装目录为/data/jdk1.7.0_55）：cmake -DGENERATED_JAVAH=/data/jdk1.7.0_55 -DJAVA_HOME=/data/jdk1...【阅读全文】

【HADOOP】 hadoop群集运行job慢的问题

levy-linux | 2015-11-04 18:22:26 | 阅读(1510) | 评论(0)

近期业务需求使用ambari安装了新的hadoop群集，大概30台服务器，安装比较顺利，但是群集安装后，job运行的很慢，但可以完成，反复查找问题，hadoop参数调整优化，代码开发检查，反复的测试，群集的本地读写能力，就是慢，经过几天的奋战，终于找到问题的原因，竟然是有各别的datanode节点网络有问题，scp数据的时候每秒...【阅读全文】

【HADOOP】修改hadoop的备份系数dfs.replication后操作

levy-linux | 2015-10-27 21:53:55 | 阅读(2870) | 评论(0)

Hadoop中常常需要增加新的节点，或者变更备份系数。在完成这些操作后，往往出现数据未自动备份，或者数据节点不可用的情况。 Hadoop的备份系数是指每个block在hadoop集群中有几份，系数越高，冗余性越好，占用存储也越多。备份系数在hdfs-site.xml中定义，默认值为3. 如何变更备份系数? 首先stop-...【阅读全文】

【HADOOP】 CDH 的Cloudera Manager免费与收费版的对比表

levy-linux | 2015-10-27 16:30:18 | 阅读(2430) | 评论(0)

CDH 特性免费版付费版Deployment, Configuration & Management系统管理Automated Deployment & Hadoop Readiness Checks...【阅读全文】

【HADOOP】 hadoop群集设置block副本，对于数据传输很有影响的

levy-linux | 2015-10-15 19:33:23 | 阅读(2050) | 评论(0)

最近测试了下hadoop读写数据的情况，将结果分享给大家，

datanode
mem：128G
cup：2cpu 26** 4核共8核

namenode
mem：192G
cup：2cpu 26** 4核共8核

datanode15台
namenode2台

单个文件2G 使用-put方式
data block repl...【阅读全文】

【HADOOP】 ambari server调整IP的经历，部署前一定要检查环境

levy-linux | 2015-10-15 14:52:59 | 阅读(3800) | 评论(0)

使用ambari安装群集的时候，安装系统人员将eth0（192.168.201.20）和eth1（192.168.20.20）的网卡都设置IP地址了，实际上应该只设置eth1（192.168.20.20），hosts文件都是指向eth1（192.168.20.20），所以可以正常安装hadoop群集，但是ambari监控界面，显示的是（192.168.201.20）IP地址， 我将ambari的eth0关闭，重...【阅读全文】

【HADOOP】问题笔记：oracle char类型映射到hive string类型时无法查出数据的原因

Helianthus_lu | 2015-10-11 22:30:16 | 阅读(8210) | 评论(0)

oracle char 《-----》hive string【阅读全文】

【HADOOP】 hadoop群集出现crontab job不执行的情况

levy-linux | 2015-09-16 19:04:08 | 阅读(2220) | 评论(0)

今天hadoop群集出现crontab job不执行的情况，手动运行job，报错如下： org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.RetriableException): org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot delete /user/hdfs/.staging/job_1441592436807_1892.<span style="back...【阅读全文】

【HADOOP】 hadoop群集get文件的时候出现报错

levy-linux | 2015-09-15 10:47:51 | 阅读(4070) | 评论(0)

今天hadoop群集get文件的时候出现报错，如下： $hdfs dfs -get /test/part-r-00000.gz ./ 15/09/15 09:20:33 INFO hdfs.DFSClient: Access token was invalid when connecting to /192.168.2.42:50010 : org.apache.hadoop.hdfs.security.token.block.InvalidBlockTokenException: Got access token err...【阅读全文】

【HADOOP】很久没有启动datanode服务的节点，重新启动，出现的Block更新情况

levy-linux | 2015-09-10 17:14:16 | 阅读(3280) | 评论(0)

最近处理一台，很久没有启动datanode服务的节点，启动后发现日志中一直有如下信息不断个产生，

2015-09-10 14:22:28,474 INFO datanode.DataNode (DataXceiver.java:writeBlock(598)) - Receiving BP-219392391-192.168.20.101-
1404293177278:blk_1121179008_48430870 src: /192.168.20.1...【阅读全文】

【HADOOP】使用Spark SQL 的JDBC server

xuemling | 2015-09-07 11:20:58 | 阅读(1860) | 评论(0)

使用 spark SQL的JDBC Server【阅读全文】

【HADOOP】 hadoop中控制map的个数

levy-linux | 2015-09-06 14:04:14 | 阅读(1070) | 评论(0)

hadooop提供了一个设置map个数的参数mapred.map.tasks，我们可以通过这个参数来控制map的个数。但是通过这种方式设置map的个数，并不是每次都有效的。原因是mapred.map.tasks只是一个hadoop的参考数值，最终map的个数，还取决于其他的因素。 为了方便介绍，先来看几个名词： block_size : hdfs的文件块...【阅读全文】

首页
<<
1
2
3
4
5
6
7
8
9
10
>>
末页

网络110 报警服务