搜索博文结果_ChinaUnix博客

博客首页博客专家往日推荐博客文集

热搜： iOS .net C++ Ruby 敏捷 Oracle WINDOWS Hyper-V

博客首页〉搜索结果

按类别查询搜索结果

操作系统程序设计数据库热点技术综合架构与运维移动开发与应用 Web前端

虚拟化| 云计算| 大数据| HADOOP| 高性能计算|

关于关键词的检测结果，共 230 条

【HADOOP】 hadoop群集出现crontab job不执行的情况

levy-linux | 2015-09-16 19:04:08 | 阅读(2220) | 评论(0)

今天hadoop群集出现crontab job不执行的情况，手动运行job，报错如下： org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.RetriableException): org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot delete /user/hdfs/.staging/job_1441592436807_1892.<span style="back...【阅读全文】

【HADOOP】 hadoop群集get文件的时候出现报错

levy-linux | 2015-09-15 10:47:51 | 阅读(4080) | 评论(0)

今天hadoop群集get文件的时候出现报错，如下： $hdfs dfs -get /test/part-r-00000.gz ./ 15/09/15 09:20:33 INFO hdfs.DFSClient: Access token was invalid when connecting to /192.168.2.42:50010 : org.apache.hadoop.hdfs.security.token.block.InvalidBlockTokenException: Got access token err...【阅读全文】

【HADOOP】很久没有启动datanode服务的节点，重新启动，出现的Block更新情况

levy-linux | 2015-09-10 17:14:16 | 阅读(3280) | 评论(0)

最近处理一台，很久没有启动datanode服务的节点，启动后发现日志中一直有如下信息不断个产生，

2015-09-10 14:22:28,474 INFO datanode.DataNode (DataXceiver.java:writeBlock(598)) - Receiving BP-219392391-192.168.20.101-
1404293177278:blk_1121179008_48430870 src: /192.168.20.1...【阅读全文】

【HADOOP】使用Spark SQL 的JDBC server

xuemling | 2015-09-07 11:20:58 | 阅读(1870) | 评论(0)

使用 spark SQL的JDBC Server【阅读全文】

【HADOOP】 hadoop中控制map的个数

levy-linux | 2015-09-06 14:04:14 | 阅读(1080) | 评论(0)

hadooop提供了一个设置map个数的参数mapred.map.tasks，我们可以通过这个参数来控制map的个数。但是通过这种方式设置map的个数，并不是每次都有效的。原因是mapred.map.tasks只是一个hadoop的参考数值，最终map的个数，还取决于其他的因素。 为了方便介绍，先来看几个名词： block_size : hdfs的文件块...【阅读全文】

【HADOOP】 hdfs中Missing Block 的文件处理方法

levy-linux | 2015-08-28 19:55:50 | 阅读(7320) | 评论(0)

今天巡检的时候发现很多Missing Block信息，大概有1千多个，基本上是error文件，我针对一个文件进行fsck，如下信息： [root@nn ~]# hdfs fsck /kafka/kafka-sample/history/2014/errors-m-00003 -files -blocks -racks -locations SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".<br...【阅读全文】

【HADOOP】文件副本数量问题，设置的dfs.replication没有生效

levy-linux | 2015-08-28 17:00:16 | 阅读(2920) | 评论(0)

问题描述： 前几天发现hadoophdfs磁盘空间经常满，导致任务失败，但是查看hadoop fs -du -h /  这个根目录的文件大小总计150T左右，但是在50070端口页面查看到的磁盘使用接近390T，怀疑是文件备份数出问题了。 执行 hadoop dfs -ls [filename]  近期的文件都是3份，上个月的抽几个文件...【阅读全文】

【HADOOP】大数据时代的技术【一】Hive

xuemling | 2015-08-24 15:27:25 | 阅读(1360) | 评论(0)

大数据时代的技术之Hive介绍，hive的简单介绍【阅读全文】

【HADOOP】学习一篇关于zookeeper博客笔记

kevinchenchn | 2015-08-21 13:57:26 | 阅读(940) | 评论(0)

ZooKeeper是一个分布式的，开放源码的分布式应用程序，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。Zookeeper中的server机器之间会组成leader/follower集群，1：n</span...【阅读全文】

【HADOOP】 Hadoop初探之Hadoop生态圈

dirk2014 | 2015-08-06 13:30:13 | 阅读(600) | 评论(0)

一、简介 Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。简单地说来，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。图1 Hadoop主要项目 &...【阅读全文】

【HADOOP】 hadoop反编译安装包自带的例子

levy-linux | 2015-07-07 13:03:49 | 阅读(2230) | 评论(0)

hadoop-mapreduce-examples-2.7.0.jar包 直接解压，看到下面内容： <img src="/attachment/201507/7/25691489_1436245262vVnV.jpg" alt="" height="504" width="579" /> 上面是编译的文件。我们该如何看到源码 我们下载jad <a href="/blog/downLoad/fileid/11510.html" target...【阅读全文】

【HADOOP】 hadoop安装软件的规则

CuteB | 2015-07-06 18:46:48 | 阅读(1460) | 评论(0)

1. /opt         父目录                     /opt/modules   存放软件的安装目录                 ...【阅读全文】

【HADOOP】学习笔记——Hadoop 1.x 服务讲解

CuteB | 2015-07-06 14:18:35 | 阅读(1290) | 评论(0)

1.对于分布式系统和框架的架构来说，一般分为两部分： 第一部分：管理层，用于管理应用层的 第二部分：应用层（工作的） NameNode(元数据服务器) Secondary NameNode(辅助元数据服务器) JobTracker(任务调度员) DataNodes(块存储)    TaskTracker(任务执行) HD...【阅读全文】

【HADOOP】云帆大数据_Hadoop从入门到上手企业开发----学习笔记

CuteB | 2015-07-05 22:50:51 | 阅读(2400) | 评论(0)

1.what is apache hadoop? 谁说大象不能跳舞？ 轻松应对海量数据存储与分析带来的挑战 2.海量数据： 量：大，数目多，数据量达到PB，ZB级别，条目数达到几十亿条，几百亿条 1）存储：分布式，集群的概念进行存储管理（主节点、从节点），HDFS（hadoop distribute file system） ...【阅读全文】

【HADOOP】云帆大数据_Hadoop从入门到上手企业开发----学习笔记

CuteB | 2015-07-05 21:30:03 | 阅读(1730) | 评论(0)

1.hadoop生成环境都是在linux环境下，hadoop 2.x开始支持win环境。掌握linux环境，熟悉基本命令和linux环境的基本配置。 2.vmware虚拟机环境的搭建 3.使用的是Centos 6.4    redhat 6.x 64位     。 4.linux系统环境的基本配置，配置ip地址，配置主机名，关闭防火墙等。 5.远...【阅读全文】

【HADOOP】 Hadoop大数据平台运维工程师须掌握的基本命令集分享

douyaqiang123 | 2015-06-30 16:40:07 | 阅读(1830) | 评论(0)

本博文收集和整理了在日常维护hadoop集群时运维工程师需要掌握的最基本的hadoop管理与维护的相关命令，在此分享出来供大家参考学习~博主也是刚刚接触hadoop不久，如有问题欢迎批评指正~非常感谢【阅读全文】

【HADOOP】 Zookeeper3.4.6的安装

niao5929 | 2015-05-19 09:42:30 | 阅读(890) | 评论(0)

Zookeeper3.4.6的安装[日期：2015-05-19]来源：Linux社区作者：ljy2013[字体：大中小]　　最近为了解决HDFS的单点故障的问题，采用了HA的方式是实现，并通过zookeeper来实现自动切换，既然需自动切换的话，那么必须要安装zookeep...【阅读全文】

【HADOOP】 Hadoop2.x通过Zookeeper实现Namenode的HA方案及ResourceManager单点故障解决

niao5929 | 2015-05-19 09:38:23 | 阅读(1090) | 评论(0)

Hadoop2.x通过Zookeeper实现Namenode的HA方案及ResourceManager单点故障解决[日期：2015-05-19]来源：Linux社区作者：ljy2013[字体：大中小]我们知道Hadoop1.x之前的namenode存在两个主要的问题：1、namenode内存瓶颈的问题，2、...【阅读全文】

【HADOOP】 hadoop安装的时候，提前确认hadoop版本是32位还是64位。

levy-linux | 2015-05-12 11:08:15 | 阅读(3580) | 评论(0)

hadoop在安装的时候，需要知道hadoop版本是32位还是64位。hadoop官网原来提供的都是32位，因为我们大部分服务器都是64位，所以不得不重新编译。后来官网从hadoop2.5版本开始就提供了64位。我们来从官网下载的hadoop2.4.1安装包.hadoop是32位还是64位，我们查看本地库即可。即进入$hadoop_home/lib/native，使用file命...【阅读全文】

【HADOOP】 Hadoop 学习总结之一：HDFS简介

ilffe | 2015-04-27 14:31:00 | 阅读(710) | 评论(0)

转载：http://forfuture1978.iteye.com/blog/615033一、HDFS的基本概念 1.1、数据块(block) HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。和普通文件系统相同的是，HDFS中的文件是被分成64M一块的数据块存储的。不同于普通文件系统的是，HDFS中，如果一个文件...【阅读全文】

首页
<<
1
2
3
4
5
6
7
8
9
10
>>
末页

网络110 报警服务