搜索博文结果_ChinaUnix博客

博客首页博客专家往日推荐博客文集

热搜：服务器 C语言 Python 项目管理 Mysql LINUX WINDOWS CCNA

博客首页〉搜索结果

按类别查询搜索结果

操作系统程序设计数据库热点技术综合架构与运维移动开发与应用 Web前端

关于关键词的检测结果，共 1134 条

【HADOOP】 Hadoop平台关闭THP解决服务器高负载问题

levy-linux | 2015-12-23 11:12:05 | 阅读(3540) | 评论(0)

Ambari和CM管理平台都提示，建议关闭THP，这是为什么？如果不关闭THP，发现Hadoop的系统态CPU使用率很高，原因是RHEL6优化了内存申请的效率，而且在某些场景下对KVM的性能有明显提升。而Hadoop是个高密集型内存运算系统，这个改动似乎给它带来了副作用。理论上运算型Java程序应该更多的使用用户态CPU才对，Cloudera官...【阅读全文】

【HADOOP】部署Hadoop集群的步骤

yejuanbai | 2015-12-16 17:25:07 | 阅读(310) | 评论(0)

Hadoop集群的部署方法简介，以Suse11为操作系统的Hadoop集群搭建实例。【阅读全文】

【数据库开发技术】 hadoop install

yangmin24 | 2015-12-15 17:12:10 | 阅读(0) | 评论(0)

http://www.tutorialspoint.com/hadoop/hadoop_multi_node_cluster.htm【阅读全文】

【HADOOP】 Hadoop运行mapreduce实例时,抛出错误 All datanodes are bad. Aborting…

levy-linux | 2015-12-12 18:29:44 | 阅读(4050) | 评论(0)

Hadoop运行mapreduce实例时,抛出错误ava.io.IOException: All datanodes xxx.xxx.xxx.xxx:xxx are bad. Aborting…at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.processDatanodeError(DFSClient.java:2158)at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.access$1400(DFSClient.java:1735)at org.apach...【阅读全文】

【HADOOP】 hadoop Unhealthy Nodes问题解决

levy-linux | 2015-12-10 11:52:00 | 阅读(5460) | 评论(0)

1、问题前几天因为一个hive SQL的问题，导致其中很多节点机器的磁盘空间不足，job执行结束后，临时文件删除解决了空间不足的问题；查看http://hostname:8088/cluster/nodes发现出现了一个unhealty节点，错误信息如下1/4 local-dirs turned bad: /data1/hadoop/yarn/local;1/4 log-dirs turned bad: /data1/hadoop/yarn/...【阅读全文】

【NOSQL】 hadoop数据迁移工具Sqoop和淘宝DataX功能比较

oracle_ren | 2015-12-09 12:17:23 | 阅读(3210) | 评论(0)

Hadoop迁移工具对比【阅读全文】

【NOSQL】将Oracle数据库迁移到Hadoop平台迁移工具总结

oracle_ren | 2015-12-09 11:59:26 | 阅读(4560) | 评论(0)

Hadoop 迁移【阅读全文】

【HADOOP】【亲测好用】centos 安装hadoop 教程

jackson1668 | 2015-11-27 14:29:03 | 阅读(1370) | 评论(0)

1、集群部署介绍 1.1 Hadoop简介　　 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统...【阅读全文】

【HADOOP】编译hadoop的libhdfs.a

Aquester | 2015-11-27 10:44:44 | 阅读(4270) | 评论(0)

进入hadoop-hdfs-project/hadoop-hdfs/src目录，执行cmake以生成Makefile文件。如果遇到如下的错误：~/hadoop-2.7.1-src/hadoop-hdfs-project/hadoop-hdfs/src]$ cmake .JAVA_HOME=, JAVA_JVM_LIBRARY=/data/jdk/jre/lib/amd64/server/libjvm.soJAVA_INCLUDE_PATH=/data/jdk/include, JAVA_INCLUDE_PATH2=/data/jdk/i...【阅读全文】

【HADOOP】 Hadoop-2.7.2分布式安装手册

Aquester | 2015-11-25 09:10:43 | 阅读(7070) | 评论(1)

目录目录11. 前言22. 部署32.1. 机器列表32.2. 主机名32.2.1. 临时修改主机名42.2.2. 永久修改主机名42.3. 免密码登录范围43. 约定53.1. 安装目录约定53.2. 服务端口约定64. 工作详单75. ...【阅读全文】

【LINUX】 Hadoop的namenode做NFS灾备

niao5929 | 2015-11-23 07:46:53 | 阅读(1380) | 评论(0)

Hadoop的namenode做NFS灾备[日期：2015-11-21]来源：www.jianshu.com 作者：hogface[字体：大中小]1.首先选定一台灾备机器作为NFS服务器（1）安装如下：apt-get install nfs-kernel-server (NFS服务器,提供nf...【阅读全文】

【LINUX】 Hadoop VS Spark

niao5929 | 2015-11-23 07:45:52 | 阅读(1580) | 评论(0)

Hadoop VS Spark[日期：2015-11-21]来源：jianshu.com 作者：hogface[字体：大中小]Hadoop就是解决了大数据（大到一台计算机无法进行存储，一台计算机无法在要求的时间内进行处理）的可靠存储和处理。HDFS，在由普通PC组成...【阅读全文】

【HADOOP】 Hadoop企业级集群架构 - Hadoop安装

niao5929 | 2015-11-17 12:51:52 | 阅读(1390) | 评论(0)

Hadoop企业级集群架构 - Hadoop安装[日期：2015-11-16]来源：Linux社区作者：chujq[字体：大中小]Hadoop企业级集群架构 - Hadoop安装1. 在h1.hadoop上解压并配置hadoop-2.5.22. 在hadoop安装目录下，创建tmp,data...【阅读全文】

【HADOOP】 Hadoop企业级集群架构 - NFS安装

niao5929 | 2015-11-17 12:50:21 | 阅读(1190) | 评论(0)

Hadoop企业级集群架构 - NFS安装[日期：2015-11-16]来源：Linux社区作者：chujq[字体：大中小]Hadoop企业级集群架构 - NFS安装服务器地址：192.168.1.230 安装NFS软件检查nfs是否安装完成...【阅读全文】

【HADOOP】 Hadoop企业级集群架构 - DNS安装

niao5929 | 2015-11-17 12:49:18 | 阅读(1300) | 评论(0)

Hadoop企业级集群架构 - DNS安装[日期：2015-11-16]来源：Linux社区作者：chujq[字体：大中小]Hadoop企业级集群架构 - DNS安装1. 配置IP vi /etc/sysconfig/network-scripts/ifcfg-eno16777736s...【阅读全文】

【HADOOP】基于Hadoop集群的大规模分布式深度学习

aqiandao | 2015-11-13 16:56:04 | 阅读(1350) | 评论(0)

　　前言　　在过去的十年里，Yahoo 一直持续投资建设和扩展 Apache Hadoop 集群，到目前为止共有超过 4 万台服务器和 600PB 数据分布在 19 个集群上。正如在 2015 Hadoop 峰会上介绍的，我们在自己的服务器上开发了可扩展的机器学习算法，用于分类、排序和计算词向量。目前，Hadoop 集群已成为 Yahoo 大规模机器学...【阅读全文】

【HADOOP】牛，量化派基于Hadoop、Spark、Storm的大数据风控架构

aqiandao | 2015-11-13 16:50:28 | 阅读(2020) | 评论(0)

　　量化派是一家金融大数据公司，为金融机构提供数据服务和技术支持，也通过旗下产品“信用钱包”帮助个人用户展示经济财务等状况，撮合金融机构为用户提供最优质的贷款服务。金融的本质是风险和流动性，但是目前中国对于个人方面的征信行业发展落后于欧美国家，个人消费金融的需求没有得到很好的满足。按照央行最新数据...【阅读全文】

【HADOOP】 Linux上编译hadoop-2.7.1的libhdfs.so和libhdfs.a

Aquester | 2015-11-13 11:00:39 | 阅读(3800) | 评论(0)

hadoop提供了CMake来编译libhdfs，因此在编译之前需要先安装好CMake工具。然后进入libhdfs的源代码目录，如：/data/hadoop-2.7.1-src/hadoop-hdfs-project/hadoop-hdfs/src执行cmake以生成Makefile文件（假设jdk的安装目录为/data/jdk1.7.0_55）：cmake -DGENERATED_JAVAH=/data/jdk1.7.0_55 -DJAVA_HOME=/data/jdk1...【阅读全文】

【服务器与存储】 Hadoop分布式安装及其集群配置笔记

niao5929 | 2015-11-10 22:52:17 | 阅读(870) | 评论(0)

Hadoop分布式安装及其集群配置笔记[日期：2015-11-10]来源：Linux社区作者：bornot[字体：大中小]各机器及角色信息：共10台机器，hostname与ip地址映射在此不做赘述。此为开发环境安装，所以不考虑将NameNode和SecondaryN...【阅读全文】

【HADOOP】 Apache Eagle——eBay开源分布式实时Hadoop数据安全方案

aqiandao | 2015-11-06 17:40:42 | 阅读(1220) | 评论(0)

　　日前，eBay公司隆重宣布正式向开源业界推出分布式实时安全监控引方案—— Apache Eagle，该项目已正式加入Apache 称为孵化器项目。Apache Eagle提供一套高效分布式的流式策略引擎，具有高实时、可伸缩、易扩展、交互友好等特点，同时集成机器学习对用户行为建立Profile以实现实时智能实时地保护Hadoop生态系统中大...【阅读全文】

首页
<<
2
3
4
5
6
7
8
9
10
11
>>
末页

网络110 报警服务