ChinaUnix首页 | 论坛 | 博客
博客首页 博客专家 往日推荐 博客文集
热搜： iOS JavaScript 系统运维 C语言 Python Oracle 高性能 负载均衡
博客首页 〉搜索结果
按类别查询搜索结果
操作系统 程序设计 数据库 热点技术 综合 架构与运维 移动开发与应用 Web前端
关于关键词 的检测结果，共 117 条
【HADOOP】 Ambari卸载已安装的服务组件
levy-linux | 2015-12-01 17:11:48 | 阅读(8820) | 评论(0)
Ambari 常用的 REST API 介绍Ambari 借鉴了很多成熟分布式软件的 API 设计。Rest API 就是一个很好地体现。通过 Ambari 的 Rest API，可以在脚本中通过 curl 维护整个集群。并且，我们可以用 Rest API 实现一些无法在 Ambari GUI 上面做的操作。下面是一些实例。实例 1，通过 API 卸载已安装的 Service目前 Ambari 不...【阅读全文】
【HADOOP】 【亲测好用】centos 安装hadoop 教程
jackson1668 | 2015-11-27 14:29:03 | 阅读(1470) | 评论(0)
1、集群部署介绍 1.1 Hadoop简介 　　       Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统...【阅读全文】
【HADOOP】 Apache Eagle——eBay开源分布式实时Hadoop数据安全方案
aqiandao | 2015-11-06 17:40:42 | 阅读(1240) | 评论(0)
　　日前，eBay公司隆重宣布正式向开源业界推出分布式实时安全监控引方案—— Apache Eagle，该项目已正式加入Apache 称为孵化器项目。Apache Eagle提供一套高效分布式的流式策略引擎，具有高实时、可伸缩、易扩展、交互友好等特点，同时集成机器学习对用户行为建立Profile以实现实时智能实时地保护Hadoop生态系统中大...【阅读全文】
【HADOOP】 ZooKeeper典型应用场景
地荒荒 | 2015-10-12 10:01:29 | 阅读(1940) | 评论(0)
ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现，使该框架保证了分布式环境中数据的强一致性，也正是基于这样的特性，使得ZooKeeper解决很多分布式问题。网上对ZK的应用场景也有不少介绍，本文将结合作者身边的项目例子，系统地对ZK的应用场景进行一个分门归类的介绍。【阅读全文】
【HADOOP】 Ubuntu下如何禁用IPv6
xdzbb | 2015-10-09 22:04:07 | 阅读(1190) | 评论(0)
     分布式下的hadoop/hbase运行总出问题，zookeeper连接总是出问题，怀疑可能是ipv6的问题，于是决定在Ubuntu下禁用IPv4。自己的版本是Ubuntu-12.04，貌似8.0之后的版本禁用ipv6都需要修改内核的加载项进行设置：1. sudo vim /etc/default/grub2. 将文件中的  GRUB_CMDLINE_LINUX_DEFAULT="...【阅读全文】
【HADOOP】 Spark 安装及使用详解
xuemling | 2015-09-17 16:02:21 | 阅读(1710) | 评论(0)
Spark 安装及使用详解，包括spark-sql 以及 JDBC-Server 模式【阅读全文】
【HADOOP】 使用 Spark-sql 导入数据到hadoop
xuemling | 2015-09-17 15:41:50 | 阅读(2350) | 评论(0)
使用 Spark-sql 导入数据，hive模式，比如导入数据到hadoop【阅读全文】
【HADOOP】 ZooKeeper典型应用场景
chaohona | 2015-09-07 17:55:46 | 阅读(2810) | 评论(0)
ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现，使该框架保证了分布式环境中数据的强一致性，也正是基于这样的特性，使得ZooKeeper解决很多分布式问题。网上对ZK的应用场景也有不少介绍，本文将结合作者身边的项目例子，系统地对ZK的应用场景进行一个分门归类的介绍。【阅读全文】
【HADOOP】 使用Spark SQL 的JDBC server
xuemling | 2015-09-07 11:20:58 | 阅读(1870) | 评论(0)
使用 spark SQL的JDBC Server【阅读全文】
【HADOOP】 hdfs中Missing Block 的文件处理方法
levy-linux | 2015-08-28 19:55:50 | 阅读(7330) | 评论(0)
今天巡检的时候发现很多Missing Block信息，大概有1千多个，基本上是error文件，我针对一个文件进行fsck，如下信息：<br /><br />[root@nn ~]# hdfs fsck /kafka/kafka-sample/history/2014/errors-m-00003 -files -blocks -racks -locations<br />SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".<br...【阅读全文】
【HADOOP】 HA-Federation-HDFS +Yarn集群部署方式
niao5929 | 2015-08-27 20:08:28 | 阅读(1610) | 评论(0)
<div style="font-size:12px;color:#333333;font-family:tahoma, 宋体;line-height:normal;white-space:normal;text-align:center;background-color:#FAFAFC;"><h1 class="aTitle" style="font-size:16px;position:relative;padding-top:10px;">HA-Federation-HDFS +Yarn集群部署方式</h1></div><table width="97%...【阅读全文】
【HADOOP】 HA-Federation-HDFS +Yarn集群部署方式
niao5929 | 2015-08-25 15:16:38 | 阅读(950) | 评论(0)
<div style="font-size:12px;color:#333333;font-family:tahoma, 宋体;line-height:normal;white-space:normal;text-align:center;background-color:#FAFAFC;"><h1 class="aTitle" style="font-size:16px;position:relative;padding-top:10px;">HA-Federation-HDFS +Yarn集群部署方式</h1></div><table width="97%...【阅读全文】
【HADOOP】 Hadoop、Spark、Hbase常用配置参数总结
levy-linux | 2015-08-16 13:34:53 | 阅读(1230) | 评论(0)
MapReduce重要配置参数
1.  资源相关参数
(1) mapreduce.map.memory.mb: 一个Map Task可使用的资源上限（单位:MB），默认为1024。如果Map Task实际使用的资源量超过该值，则会被强制杀死。
(2) mapreduce.reduce.memory.mb: 一个Reduce Task可使用的资源上限（单位:MB），默认为1024。如果Reduce Ta...【阅读全文】
【HADOOP】 windows下安装hadoop伪分布式遇到问题汇总
dsy851009 | 2015-08-08 21:48:36 | 阅读(3150) | 评论(0)
本来想着很简单的一个安装，结果花费了一天时间才搞定，中间遇到很多问题，最终安装成功，记录下。
安装步骤简单说下(网上有很多安装详细步骤，这里不详细说明，主要是中间的问题解决)：
一、安装jdk1.7，配置环境变量；
二、下载cygwin并安装，记得记得选择openssh包的安装；
三、配置ssh；【阅读全文】
【HADOOP】 Ubuntu下eclipse开发hadoop应用程序环境配置
dirk2014 | 2015-08-06 13:17:12 | 阅读(670) | 评论(0)
在ubuntu上将hadoop安装及配置完毕后，接下来的工作就是在eclipse下配置开发hadoop应用程序的环境。目的很简单，为进行研究与学习，部署一个hadoop运行环境，并搭建一个hadoop开发与测试环境。环境：virtualbox  和  ubuntu12.04第一步：下载eclipse-jee-juno-SR1-linux-gtk.tar.gz.     注...【阅读全文】
【HADOOP】 使用HIVE注意点
levy-linux | 2015-07-17 16:24:15 | 阅读(2450) | 评论(0)
<strong>字符集</strong><br />Hadoop和Hive都是用UTF-8编码的，所有中文必须是UTF-8编码, 才能正常使用<br />备注：中文数据load到表里面, 如果字符集不同，很有可能全是乱码需要做转码的, 但是hive本身没有函数来做这个<br />&nbsp;<br /><strong>压缩</strong><br />hive.exec.compress.output 这个参数, 默认是 fa...【阅读全文】
【HADOOP】 使用Maven构建hadoop项目
levy-linux | 2015-07-15 15:05:54 | 阅读(2930) | 评论(0)
一. Maven介绍
Apache Maven，是一个Java的项目管理及自动构建工具，由Apache软件基金会所提供。基于项目对象模型（缩写：POM）概念，Maven利用一个中央信息片断能管理一个项目的构建、报告和文档等步骤。曾是Jakarta项目的子项目，现为独立Apache项目。

Windows 7
hadoop 1.2.1
Maven 3.3....【阅读全文】
【HADOOP】 HBase分布式数据库管理常用shell命令
douyaqiang123 | 2015-06-30 16:39:05 | 阅读(1980) | 评论(0)
HBase是一个分布式的、面向列的开源数据库。HBase利用Hadoop HDFS作为其文件存储系统，MapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。 HBase以表的形式存储数据。表有行和列组成。列划分为若干个列族/列簇(column family)，列族下面包含若干列。本文主要是介绍分享一下在日常维护HBase时经常使用到的一些命令的心得和体会。【阅读全文】
【HADOOP】 Hadoop2.x通过Zookeeper实现Namenode的HA方案及ResourceManager单点故障解决
niao5929 | 2015-05-19 09:38:23 | 阅读(1090) | 评论(0)
Hadoop2.x通过Zookeeper实现Namenode的HA方案及ResourceManager单点故障解决[日期：2015-05-19]来源：Linux社区  作者：ljy2013[字体：大 中 小]我们知道Hadoop1.x之前的namenode存在两个主要的问题：1、namenode内存瓶颈的问题，2、...【阅读全文】
【HADOOP】 redis 虚拟内存工作方式简介
超人学院1 | 2015-05-11 17:37:00 | 阅读(580) | 评论(0)
当vm-max-threads 设为0 时（阻塞方式）换出主线程定期检查发现内存超出最大上限后，会直接以阻塞的方式,将选中的对象保存到swap文件中，并释放对象占用的内存空间，此过程会一直重复直到下面条件满足1.内存使用降到最大限制以下2.swap 文件满了。3.几乎全部的对象都被交换到磁盘了换入当有客户端请求已经被换出的v...【阅读全文】

盛拓传媒简介 | 关于IT168 | 合作伙伴 | 广告服务 | 使用条款 | 投稿指南 | 诚聘精英 | 联系我们 | 法律声明 | 网站导航 | 往日回顾

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年人举报专区
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员

网络110 报警服务