搜索博文结果_ChinaUnix博客

博客首页博客专家往日推荐博客文集

热搜： JavaScript H3C C++ PHP 数据库负载均衡 CCNA FTP

博客首页〉搜索结果

按类别查询搜索结果

操作系统程序设计数据库热点技术综合架构与运维移动开发与应用 Web前端

关于关键词的检测结果，共 1134 条

【HADOOP】 hadoop群集运行job慢的问题

levy-linux | 2015-11-04 18:22:26 | 阅读(1510) | 评论(0)

近期业务需求使用ambari安装了新的hadoop群集，大概30台服务器，安装比较顺利，但是群集安装后，job运行的很慢，但可以完成，反复查找问题，hadoop参数调整优化，代码开发检查，反复的测试，群集的本地读写能力，就是慢，经过几天的奋战，终于找到问题的原因，竟然是有各别的datanode节点网络有问题，scp数据的时候每秒...【阅读全文】

【HADOOP】 hadoop部署

davie5201314 | 2015-11-03 18:56:59 | 阅读(0) | 评论(0)

1、环境准备：一台namenode，两台datanode2、三台机器建立ssh信任关系在namenode上执行ssh-keygen -t rsa，生成的两个文件，mv id_rsa.pub authorized_keys ，修改sshd_config中的点击(此处)折叠或打开PubkeyAuthentication yesAuthorizedKeysFile .ssh/autho...【阅读全文】

【HADOOP】 Hadoop工具书推荐

powerful_boy | 2015-11-02 09:30:39 | 阅读(1170) | 评论(0)

向Hadoop感兴趣的朋友推荐两本书：1、Hadoop权威指南（第三版，清华大学出版社）作者：Tom White2、Hadoop源代码分析（中国铁道出版社）作者：张鑫【阅读全文】

【HADOOP】修改hadoop的备份系数dfs.replication后操作

levy-linux | 2015-10-27 21:53:55 | 阅读(2870) | 评论(0)

Hadoop中常常需要增加新的节点，或者变更备份系数。在完成这些操作后，往往出现数据未自动备份，或者数据节点不可用的情况。 Hadoop的备份系数是指每个block在hadoop集群中有几份，系数越高，冗余性越好，占用存储也越多。备份系数在hdfs-site.xml中定义，默认值为3. 如何变更备份系数? 首先stop-...【阅读全文】

【HADOOP】 hadoop群集设置block副本，对于数据传输很有影响的

levy-linux | 2015-10-15 19:33:23 | 阅读(2050) | 评论(0)

最近测试了下hadoop读写数据的情况，将结果分享给大家，

datanode
mem：128G
cup：2cpu 26** 4核共8核

namenode
mem：192G
cup：2cpu 26** 4核共8核

datanode15台
namenode2台

单个文件2G 使用-put方式
data block repl...【阅读全文】

【服务器与存储】 hadoop启动和运行中的error总结和处理方法

xiong9937 | 2015-10-13 14:45:55 | 阅读(1420) | 评论(0)

d【阅读全文】

【HADOOP】使用 Spark-sql 导入数据到hadoop

xuemling | 2015-09-17 15:41:50 | 阅读(2330) | 评论(0)

使用 Spark-sql 导入数据，hive模式，比如导入数据到hadoop【阅读全文】

【HADOOP】 hadoop群集出现crontab job不执行的情况

levy-linux | 2015-09-16 19:04:08 | 阅读(2210) | 评论(0)

今天hadoop群集出现crontab job不执行的情况，手动运行job，报错如下： org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.RetriableException): org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot delete /user/hdfs/.staging/job_1441592436807_1892.<span style="back...【阅读全文】

【HADOOP】 hadoop群集get文件的时候出现报错

levy-linux | 2015-09-15 10:47:51 | 阅读(4060) | 评论(0)

今天hadoop群集get文件的时候出现报错，如下： $hdfs dfs -get /test/part-r-00000.gz ./ 15/09/15 09:20:33 INFO hdfs.DFSClient: Access token was invalid when connecting to /192.168.2.42:50010 : org.apache.hadoop.hdfs.security.token.block.InvalidBlockTokenException: Got access token err...【阅读全文】

【HADOOP】 Hadoop

毕赖子 | 2015-09-14 21:29:31 | 阅读(1910) | 评论(0)

http://baike.baidu.com/view/908354.htm?fr=aladdinHadoop技术已经无处不在。不管是好是坏，Hadoop已经成为大数据的代名词。短短几年间，Hadoop从一种边缘技术成为事实上的标准。看来，不仅现在Hadoop是企业大数据的标准，而且在未来，它的地位似乎一时难以动摇。一个分布式系统基础架构，由Apache基金会...【阅读全文】

【HADOOP】 hadoop中控制map的个数

levy-linux | 2015-09-06 14:04:14 | 阅读(1070) | 评论(0)

hadooop提供了一个设置map个数的参数mapred.map.tasks，我们可以通过这个参数来控制map的个数。但是通过这种方式设置map的个数，并不是每次都有效的。原因是mapred.map.tasks只是一个hadoop的参考数值，最终map的个数，还取决于其他的因素。 为了方便介绍，先来看几个名词： block_size : hdfs的文件块...【阅读全文】

【HADOOP】 hadoop中主要进程

levy-linux | 2015-09-06 14:01:08 | 阅读(2730) | 评论(0)

hadoop集群中主要进程 master:   NameNode, ResourceManager, slaves:   DataNode, NodeManager,  RunJar, MRAppMaster,YarnChild 其中 RunJar, MRAppMaster,YarnChild与随着某个job的创建而创建，随着job的完成而终止。它们的作用分别是： RunJar：完成job的初始...【阅读全文】

【HADOOP】 Hadoop群集balancer说明

levy-linux | 2015-09-02 18:54:15 | 阅读(1440) | 评论(0)

集群平衡介绍
Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，比如集群中添加新的数据节点。当HDFS出现不平衡状况的时候，将引发很多问题，比如MR程序无法很好地利用本地计算的优势，机器之间无法达到更好的网络带宽使用率，机器磁盘无法利用等等。可见，保证HDFS中的数据平衡...【阅读全文】

【HADOOP】 Hadoop集群日常运维

levy-linux | 2015-08-29 22:32:34 | 阅读(1580) | 评论(0)

（一）备份namenode的元数据 namenode中的元数据非常重要，如丢失或者损坏，则整个系统无法使用。因此应该经常对元数据进行备份，最好是异地备份。 1、将元数据复制到远程站点 （1）以下代码将secondary namenode中的元数据复制到一个时间命名的目录下，然后通过scp命令远程发送到其它机器 ...【阅读全文】

【系统运维】常见的Hadoop和Ceph的命令总结

linux一叶 | 2015-08-28 22:26:46 | 阅读(1320) | 评论(0)

把最近经常使用的Hadoop，Ceph的命令总结一下，很实用。

Hadoop【阅读全文】

【大数据】 Ubuntu14.04下hadoop eclipse开发环境

mingfei10 | 2015-08-26 10:35:51 | 阅读(1250) | 评论(0)

我是在linux环境下，Ubuntu14.04下配置的
资源:java+eclipse+hadoop2.6.2
里面包括了...【阅读全文】

【系统运维】常见的Hadoop和Ceph的命令总结

Larpenteur | 2015-08-20 01:17:57 | 阅读(1720) | 评论(0)

把最近经常使用的Hadoop，Ceph的命令总结一下，很实用。

Hadoop【阅读全文】

【HADOOP】 hadoop测试群集机房断电宕机处理

levy-linux | 2015-08-17 16:19:42 | 阅读(1660) | 评论(0)

由于公司机房异常断电，导致测试环境的hadoop集群数据全部down掉。重启hadoop集群后，访问：http://xxx.xxx.xxx.xx:50070/dfshealth.html

提示：
NameNode is still loading. Redirecting to the Startup Progress page.

这个不是错误。因为hadoop启动时，会进入安全模式进行自检，自检完...【阅读全文】

【HADOOP】 Hadoop、Spark、Hbase常用配置参数总结

levy-linux | 2015-08-16 13:34:53 | 阅读(1220) | 评论(0)

MapReduce重要配置参数
1. 资源相关参数
(1) mapreduce.map.memory.mb: 一个Map Task可使用的资源上限（单位:MB），默认为1024。如果Map Task实际使用的资源量超过该值，则会被强制杀死。
(2) mapreduce.reduce.memory.mb: 一个Reduce Task可使用的资源上限（单位:MB），默认为1024。如果Reduce Ta...【阅读全文】

【HADOOP】 Spark VS Hadoop

xuemling | 2015-08-14 16:29:23 | 阅读(1460) | 评论(0)

Spark VS Hadoop【阅读全文】

首页
<<
3
4
5
6
7
8
9
10
11
12
>>
末页

网络110 报警服务