搜索博文结果_ChinaUnix博客

博客首页博客专家往日推荐博客文集

热搜： iOS 系统运维服务器 .net C语言项目管理 AIX Hyper-V

博客首页〉搜索结果

按类别查询搜索结果

操作系统程序设计数据库热点技术综合架构与运维移动开发与应用 Web前端

虚拟化| 云计算| 大数据| HADOOP| 高性能计算|

关于关键词的检测结果，共 361 条

【HADOOP】 Hadoop企业级集群架构 - DNS安装

niao5929 | 2015-11-17 12:49:18 | 阅读(1300) | 评论(0)

Hadoop企业级集群架构 - DNS安装[日期：2015-11-16]来源：Linux社区作者：chujq[字体：大中小]Hadoop企业级集群架构 - DNS安装1. 配置IP vi /etc/sysconfig/network-scripts/ifcfg-eno16777736s...【阅读全文】

【HADOOP】基于Hadoop集群的大规模分布式深度学习

aqiandao | 2015-11-13 16:56:04 | 阅读(1350) | 评论(0)

　　前言　　在过去的十年里，Yahoo 一直持续投资建设和扩展 Apache Hadoop 集群，到目前为止共有超过 4 万台服务器和 600PB 数据分布在 19 个集群上。正如在 2015 Hadoop 峰会上介绍的，我们在自己的服务器上开发了可扩展的机器学习算法，用于分类、排序和计算词向量。目前，Hadoop 集群已成为 Yahoo 大规模机器学...【阅读全文】

【HADOOP】牛，量化派基于Hadoop、Spark、Storm的大数据风控架构

aqiandao | 2015-11-13 16:50:28 | 阅读(2020) | 评论(0)

　　量化派是一家金融大数据公司，为金融机构提供数据服务和技术支持，也通过旗下产品“信用钱包”帮助个人用户展示经济财务等状况，撮合金融机构为用户提供最优质的贷款服务。金融的本质是风险和流动性，但是目前中国对于个人方面的征信行业发展落后于欧美国家，个人消费金融的需求没有得到很好的满足。按照央行最新数据...【阅读全文】

【HADOOP】 Linux上编译hadoop-2.7.1的libhdfs.so和libhdfs.a

Aquester | 2015-11-13 11:00:39 | 阅读(3800) | 评论(0)

hadoop提供了CMake来编译libhdfs，因此在编译之前需要先安装好CMake工具。然后进入libhdfs的源代码目录，如：/data/hadoop-2.7.1-src/hadoop-hdfs-project/hadoop-hdfs/src执行cmake以生成Makefile文件（假设jdk的安装目录为/data/jdk1.7.0_55）：cmake -DGENERATED_JAVAH=/data/jdk1.7.0_55 -DJAVA_HOME=/data/jdk1...【阅读全文】

【HADOOP】 Apache Eagle——eBay开源分布式实时Hadoop数据安全方案

aqiandao | 2015-11-06 17:40:42 | 阅读(1220) | 评论(0)

　　日前，eBay公司隆重宣布正式向开源业界推出分布式实时安全监控引方案—— Apache Eagle，该项目已正式加入Apache 称为孵化器项目。Apache Eagle提供一套高效分布式的流式策略引擎，具有高实时、可伸缩、易扩展、交互友好等特点，同时集成机器学习对用户行为建立Profile以实现实时智能实时地保护Hadoop生态系统中大...【阅读全文】

【HADOOP】 hadoop群集运行job慢的问题

levy-linux | 2015-11-04 18:22:26 | 阅读(1500) | 评论(0)

近期业务需求使用ambari安装了新的hadoop群集，大概30台服务器，安装比较顺利，但是群集安装后，job运行的很慢，但可以完成，反复查找问题，hadoop参数调整优化，代码开发检查，反复的测试，群集的本地读写能力，就是慢，经过几天的奋战，终于找到问题的原因，竟然是有各别的datanode节点网络有问题，scp数据的时候每秒...【阅读全文】

【HADOOP】 hadoop部署

davie5201314 | 2015-11-03 18:56:59 | 阅读(0) | 评论(0)

1、环境准备：一台namenode，两台datanode2、三台机器建立ssh信任关系在namenode上执行ssh-keygen -t rsa，生成的两个文件，mv id_rsa.pub authorized_keys ，修改sshd_config中的点击(此处)折叠或打开PubkeyAuthentication yesAuthorizedKeysFile .ssh/autho...【阅读全文】

【HADOOP】 Hadoop工具书推荐

powerful_boy | 2015-11-02 09:30:39 | 阅读(1160) | 评论(0)

向Hadoop感兴趣的朋友推荐两本书：1、Hadoop权威指南（第三版，清华大学出版社）作者：Tom White2、Hadoop源代码分析（中国铁道出版社）作者：张鑫【阅读全文】

【HADOOP】修改hadoop的备份系数dfs.replication后操作

levy-linux | 2015-10-27 21:53:55 | 阅读(2870) | 评论(0)

Hadoop中常常需要增加新的节点，或者变更备份系数。在完成这些操作后，往往出现数据未自动备份，或者数据节点不可用的情况。 Hadoop的备份系数是指每个block在hadoop集群中有几份，系数越高，冗余性越好，占用存储也越多。备份系数在hdfs-site.xml中定义，默认值为3. 如何变更备份系数? 首先stop-...【阅读全文】

【HADOOP】 hadoop群集设置block副本，对于数据传输很有影响的

levy-linux | 2015-10-15 19:33:23 | 阅读(2050) | 评论(0)

最近测试了下hadoop读写数据的情况，将结果分享给大家，

datanode
mem：128G
cup：2cpu 26** 4核共8核

namenode
mem：192G
cup：2cpu 26** 4核共8核

datanode15台
namenode2台

单个文件2G 使用-put方式
data block repl...【阅读全文】

【HADOOP】使用 Spark-sql 导入数据到hadoop

xuemling | 2015-09-17 15:41:50 | 阅读(2330) | 评论(0)

使用 Spark-sql 导入数据，hive模式，比如导入数据到hadoop【阅读全文】

【HADOOP】 hadoop群集出现crontab job不执行的情况

levy-linux | 2015-09-16 19:04:08 | 阅读(2210) | 评论(0)

今天hadoop群集出现crontab job不执行的情况，手动运行job，报错如下： org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.RetriableException): org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot delete /user/hdfs/.staging/job_1441592436807_1892.<span style="back...【阅读全文】

【HADOOP】 hadoop群集get文件的时候出现报错

levy-linux | 2015-09-15 10:47:51 | 阅读(4050) | 评论(0)

今天hadoop群集get文件的时候出现报错，如下： $hdfs dfs -get /test/part-r-00000.gz ./ 15/09/15 09:20:33 INFO hdfs.DFSClient: Access token was invalid when connecting to /192.168.2.42:50010 : org.apache.hadoop.hdfs.security.token.block.InvalidBlockTokenException: Got access token err...【阅读全文】

【HADOOP】 Hadoop

毕赖子 | 2015-09-14 21:29:31 | 阅读(1900) | 评论(0)

http://baike.baidu.com/view/908354.htm?fr=aladdinHadoop技术已经无处不在。不管是好是坏，Hadoop已经成为大数据的代名词。短短几年间，Hadoop从一种边缘技术成为事实上的标准。看来，不仅现在Hadoop是企业大数据的标准，而且在未来，它的地位似乎一时难以动摇。一个分布式系统基础架构，由Apache基金会...【阅读全文】

【HADOOP】 hadoop中控制map的个数

levy-linux | 2015-09-06 14:04:14 | 阅读(1070) | 评论(0)

hadooop提供了一个设置map个数的参数mapred.map.tasks，我们可以通过这个参数来控制map的个数。但是通过这种方式设置map的个数，并不是每次都有效的。原因是mapred.map.tasks只是一个hadoop的参考数值，最终map的个数，还取决于其他的因素。 为了方便介绍，先来看几个名词： block_size : hdfs的文件块...【阅读全文】

【HADOOP】 hadoop中主要进程

levy-linux | 2015-09-06 14:01:08 | 阅读(2730) | 评论(0)

hadoop集群中主要进程 master:   NameNode, ResourceManager, slaves:   DataNode, NodeManager,  RunJar, MRAppMaster,YarnChild 其中 RunJar, MRAppMaster,YarnChild与随着某个job的创建而创建，随着job的完成而终止。它们的作用分别是： RunJar：完成job的初始...【阅读全文】

【HADOOP】 Hadoop群集balancer说明

levy-linux | 2015-09-02 18:54:15 | 阅读(1420) | 评论(0)

集群平衡介绍
Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，比如集群中添加新的数据节点。当HDFS出现不平衡状况的时候，将引发很多问题，比如MR程序无法很好地利用本地计算的优势，机器之间无法达到更好的网络带宽使用率，机器磁盘无法利用等等。可见，保证HDFS中的数据平衡...【阅读全文】

【HADOOP】 Hadoop集群日常运维

levy-linux | 2015-08-29 22:32:34 | 阅读(1570) | 评论(0)

（一）备份namenode的元数据 namenode中的元数据非常重要，如丢失或者损坏，则整个系统无法使用。因此应该经常对元数据进行备份，最好是异地备份。 1、将元数据复制到远程站点 （1）以下代码将secondary namenode中的元数据复制到一个时间命名的目录下，然后通过scp命令远程发送到其它机器 ...【阅读全文】

【HADOOP】 hadoop测试群集机房断电宕机处理

levy-linux | 2015-08-17 16:19:42 | 阅读(1660) | 评论(0)

由于公司机房异常断电，导致测试环境的hadoop集群数据全部down掉。重启hadoop集群后，访问：http://xxx.xxx.xxx.xx:50070/dfshealth.html

提示：
NameNode is still loading. Redirecting to the Startup Progress page.

这个不是错误。因为hadoop启动时，会进入安全模式进行自检，自检完...【阅读全文】

【HADOOP】 Hadoop、Spark、Hbase常用配置参数总结

levy-linux | 2015-08-16 13:34:53 | 阅读(1220) | 评论(0)

MapReduce重要配置参数
1. 资源相关参数
(1) mapreduce.map.memory.mb: 一个Map Task可使用的资源上限（单位:MB），默认为1024。如果Map Task实际使用的资源量超过该值，则会被强制杀死。
(2) mapreduce.reduce.memory.mb: 一个Reduce Task可使用的资源上限（单位:MB），默认为1024。如果Reduce Ta...【阅读全文】

首页
<<
1
2
3
4
5
6
7
8
9
10
>>
末页

网络110 报警服务