ChinaUnix首页
|
论坛
|
博客
博客首页
博客专家
往日推荐
博客文集
博文
博主
热搜:
Windows
JavaScript
网络安全
PHP
敏捷
LINUX
HADOOP
高性能
博客首页 〉
搜索结果
按类别查询搜索结果
操作系统
程序设计
数据库
热点技术
综合
架构与运维
移动开发与应用
Web前端
LINUX
|
BSD
|
WINDOWS
|
其他UNIX
|
AIX
|
SOLARIS
|
C/C++
|
Java
|
Python/Ruby
|
项目管理
|
Web开发
|
嵌入式
|
C#/.net
|
PHP
|
Delphi
|
PERL
|
Erlang
|
Verilog
|
敏捷开发
|
Mysql/postgreSQL
|
Oracle
|
DB2/Informix
|
Sybase
|
数据库开发技术
|
SQLite/嵌入式数据库
|
SQLServer
|
NOSQL
|
虚拟化
|
云计算
|
大数据
|
HADOOP
|
高性能计算
|
IT业界
|
IT职场
|
信息化
|
网络与安全
|
系统运维
|
服务器与存储
|
架构设计与优化
|
Android平台
|
iOS平台
|
Windows平台
|
其他平台
|
Html/Css
|
JavaScript
|
jQuery
|
HTML5
|
关于关键词 的检测结果,共
361
条
【HADOOP】
Hadoop
企业级集群架构 - DNS安装
niao5929
| 2015-11-17 12:49:18 | 阅读(1320) | 评论(0)
Hadoop企业级集群架构 - DNS安装[日期:2015-11-16]来源:Linux社区 作者:chujq[字体:大 中 小]Hadoop企业级集群架构 - DNS安装1. 配置IP vi /etc/sysconfig/network-scripts/ifcfg-eno16777736s...
【阅读全文】
【HADOOP】
基于
Hadoop
集群的大规模分布式深度学习
aqiandao
| 2015-11-13 16:56:04 | 阅读(1360) | 评论(0)
前言 在过去的十年里,Yahoo 一直持续投资建设和扩展 Apache Hadoop 集群,到目前为止共有超过 4 万台服务器和 600PB 数据分布在 19 个集群上。正如在 2015 Hadoop 峰会上介绍的,我们在自己的服务器上开发了可扩展的机器学习算法,用于分类、排序和计算词向量。目前,Hadoop 集群已成为 Yahoo 大规模机器学...
【阅读全文】
【HADOOP】
牛,量化派基于
Hadoop
、Spark、Storm的大数据风控架构
aqiandao
| 2015-11-13 16:50:28 | 阅读(2030) | 评论(0)
量化派是一家金融大数据公司,为金融机构提供数据服务和技术支持,也通过旗下产品“信用钱包”帮助个人用户展示经济财务等状况,撮合金融机构为用户提供最优质的贷款服务。金融的本质是风险和流动性,但是目前中国对于个人方面的征信行业发展落后于欧美国家,个人消费金融的需求没有得到很好的满足。按照央行最新数据...
【阅读全文】
【HADOOP】
Linux上编译
hadoop
-2.7.1的libhdfs.so和libhdfs.a
Aquester
| 2015-11-13 11:00:39 | 阅读(3800) | 评论(0)
hadoop提供了CMake来编译libhdfs,因此在编译之前需要先安装好CMake工具。然后进入libhdfs的源代码目录,如:/data/hadoop-2.7.1-src/hadoop-hdfs-project/hadoop-hdfs/src执行cmake以生成Makefile文件(假设jdk的安装目录为/data/jdk1.7.0_55):cmake -DGENERATED_JAVAH=/data/jdk1.7.0_55 -DJAVA_HOME=/data/jdk1...
【阅读全文】
【HADOOP】
Apache Eagle——eBay开源分布式实时
Hadoop
数据安全方案
aqiandao
| 2015-11-06 17:40:42 | 阅读(1230) | 评论(0)
日前,eBay公司隆重宣布正式向开源业界推出分布式实时安全监控引方案—— Apache Eagle,该项目已正式加入Apache 称为孵化器项目。Apache Eagle提供一套高效分布式的流式策略引擎,具有高实时、可伸缩、易扩展、交互友好等特点,同时集成机器学习对用户行为建立Profile以实现实时智能实时地保护Hadoop生态系统中大...
【阅读全文】
【HADOOP】
hadoop
群集运行job慢的问题
levy-linux
| 2015-11-04 18:22:26 | 阅读(1510) | 评论(0)
近期业务需求使用ambari安装了新的hadoop群集,大概30台服务器,安装比较顺利,但是群集安装后,job运行的很慢,但可以完成,反复查找问题,hadoop参数调整优化,代码开发检查,反复的测试,群集的本地读写能力,就是慢,经过几天的奋战,终于找到问题的原因,竟然是有各别的datanode节点网络有问题,scp数据的时候每秒...
【阅读全文】
【HADOOP】
hadoop
部署
davie5201314
| 2015-11-03 18:56:59 | 阅读(0) | 评论(0)
1、环境准备:一台namenode,两台datanode2、三台机器建立ssh信任关系 在namenode上执行ssh-keygen -t rsa,生成的两个文件,mv id_rsa.pub authorized_keys ,修改sshd_config中的点击(此处)折叠或打开PubkeyAuthentication yesAuthorizedKeysFile .ssh/autho...
【阅读全文】
【HADOOP】
Hadoop
工具书推荐
powerful_boy
| 2015-11-02 09:30:39 | 阅读(1170) | 评论(0)
向Hadoop感兴趣的朋友推荐两本书:1、Hadoop权威指南(第三版,清华大学出版社)作者:Tom White2、Hadoop源代码分析(中国铁道出版社) 作者:张鑫
【阅读全文】
【HADOOP】
修改
hadoop
的备份系数dfs.replication后操作
levy-linux
| 2015-10-27 21:53:55 | 阅读(2870) | 评论(0)
Hadoop中常常需要增加新的节点,或者变更备份系数。在完成这些操作后,往往出现数据未自动备份,或者数据节点不可用的情况。 Hadoop的备份系数是指每个block在hadoop集群中有几份,系数越高,冗余性越好,占用存储也越多。备份系数在hdfs-site.xml中定义,默认值为3. 如何变更备份系数? 首先stop-...
【阅读全文】
【HADOOP】
hadoop
群集设置block副本,对于数据传输很有影响的
levy-linux
| 2015-10-15 19:33:23 | 阅读(2050) | 评论(0)
最近测试了下hadoop读写数据的情况,将结果分享给大家,
datanode
mem:128G
cup:2cpu 26** 4核 共8核
namenode
mem:192G
cup:2cpu 26** 4核 共8核
datanode15台
namenode2台
单个文件2G 使用-put方式
data block repl...
【阅读全文】
【HADOOP】
使用 Spark-sql 导入数据到
hadoop
xuemling
| 2015-09-17 15:41:50 | 阅读(2350) | 评论(0)
使用 Spark-sql 导入数据,hive模式,比如导入数据到hadoop
【阅读全文】
【HADOOP】
hadoop
群集出现crontab job不执行的情况
levy-linux
| 2015-09-16 19:04:08 | 阅读(2220) | 评论(0)
今天hadoop群集出现crontab job不执行的情况,手动运行job,报错如下:<br />org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.RetriableException): org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot <br /><br />delete /user/hdfs/.staging/job_1441592436807_1892.<span style="back...
【阅读全文】
【HADOOP】
hadoop
群集get文件的时候出现报错
levy-linux
| 2015-09-15 10:47:51 | 阅读(4080) | 评论(0)
今天hadoop群集get文件的时候出现报错,如下:<br />$hdfs dfs -get /test/part-r-00000.gz ./<br /><br />15/09/15 09:20:33 INFO hdfs.DFSClient: Access token was invalid when connecting to /192.168.2.42:50010 : org.apache.hadoop.hdfs.security.token.block.InvalidBlockTokenException: Got access token err...
【阅读全文】
【HADOOP】
Hadoop
毕赖子
| 2015-09-14 21:29:31 | 阅读(1910) | 评论(0)
http://baike.baidu.com/view/908354.htm?fr=aladdinHadoop技术已经无处不在。不管是好是坏,Hadoop已经成为大数据的代名词。短短几年间,Hadoop从一种边缘技术成为事实上的标准。看来,不仅现在Hadoop是企业大数据的标准,而且在未来,它的地位似乎一时难以动摇。一个分布式系统基础架构,由Apache基金会...
【阅读全文】
【HADOOP】
hadoop
中控制map的个数
levy-linux
| 2015-09-06 14:04:14 | 阅读(1080) | 评论(0)
hadooop提供了一个设置map个数的参数mapred.map.tasks,我们可以通过这个参数来控制map的个数。但是通过这种方式设置map的个数,并不是每次都有效的。原因是mapred.map.tasks只是一个hadoop的参考数值,最终map的个数,还取决于其他的因素。<br /><br />为了方便介绍,先来看几个名词:<br />block_size : hdfs的文件块...
【阅读全文】
【HADOOP】
hadoop
中主要进程
levy-linux
| 2015-09-06 14:01:08 | 阅读(2740) | 评论(0)
hadoop集群中主要进程<br />master: NameNode, ResourceManager,<br />slaves: DataNode, NodeManager, RunJar, MRAppMaster,YarnChild<br /><br />其中 RunJar, MRAppMaster,YarnChild与随着某个job的创建而创建,随着job的完成而终止。它们的作用分别是:<br />RunJar:完成job的初始...
【阅读全文】
【HADOOP】
Hadoop
群集balancer说明
levy-linux
| 2015-09-02 18:54:15 | 阅读(1450) | 评论(0)
集群平衡介绍
Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况,比如集群中添加新的数据节点。当HDFS出现不平衡状况的时候,将引发很多问题,比如MR程序无法很好地利用本地计算的优势,机器之间无法达到更好的网络带宽使用率,机器磁盘无法利用等等。可见,保证HDFS中的数据平衡...
【阅读全文】
【HADOOP】
Hadoop
集群日常运维
levy-linux
| 2015-08-29 22:32:34 | 阅读(1580) | 评论(0)
(一)备份namenode的元数据<br />namenode中的元数据非常重要,如丢失或者损坏,则整个系统无法使用。因此应该经常对元数据进行备份,最好是异地备份。<br />1、将元数据复制到远程站点<br />(1)以下代码将secondary namenode中的元数据复制到一个时间命名的目录下,然后通过scp命令远程发送到其它机器<br /><br />...
【阅读全文】
【HADOOP】
hadoop
测试群集机房断电宕机处理
levy-linux
| 2015-08-17 16:19:42 | 阅读(1670) | 评论(0)
由于公司机房异常断电,导致测试环境的hadoop集群数据全部down掉。重启hadoop集群后,访问:http://xxx.xxx.xxx.xx:50070/dfshealth.html
提示:
NameNode is still loading. Redirecting to the Startup Progress page.
这个不是错误。因为hadoop启动时,会进入安全模式进行自检,自检完...
【阅读全文】
【HADOOP】
Hadoop
、Spark、Hbase常用配置参数总结
levy-linux
| 2015-08-16 13:34:53 | 阅读(1230) | 评论(0)
MapReduce重要配置参数
1. 资源相关参数
(1) mapreduce.map.memory.mb: 一个Map Task可使用的资源上限(单位:MB),默认为1024。如果Map Task实际使用的资源量超过该值,则会被强制杀死。
(2) mapreduce.reduce.memory.mb: 一个Reduce Task可使用的资源上限(单位:MB),默认为1024。如果Reduce Ta...
【阅读全文】
首页
<<
1
2
3
4
5
6
7
8
9
10
>>
末页