搜索博文结果_ChinaUnix博客

博客首页博客专家往日推荐博客文集

热搜： Android JavaScript cISCO 存储 C语言 C++ WINDOWS AIX

博客首页〉搜索结果

按类别查询搜索结果

操作系统程序设计数据库热点技术综合架构与运维移动开发与应用 Web前端

虚拟化| 云计算| 大数据| HADOOP| 高性能计算|

关于关键词的检测结果，共 74 条

【HADOOP】 Tomcat 应用中并行流带来的类加载问题

vivo互联网技术 | 2019-09-25 21:43:12 | 阅读(1700) | 评论(0)

随着 Java8 的不断流行，越来越多的开发人员使用并行流（parallel）这一特性提升代码执行效率。但是，作者发现在 Tomcat 容器中使用并行流会出现动态加载类失败的情况，通过对比 Tomcat 多个版本的源码，结合并行流和 JVM 类加载机制的原理，成功定位到问题来源。本文对这个问题展开分析，并给出解决方案。【阅读全文】

【HADOOP】强制DataNode向NameNode上报blocks

Aquester | 2017-05-19 10:25:55 | 阅读(9310) | 评论(0)

一次机房搬迁中，原机房hadoop版本为2.7.2，新机房版本为2.8.0，采用先扩容再缩容的方式搬迁。由于新旧机房机型不同和磁盘数不同，操作过程搞混过hdfs-site.xml，因为两种不同的机型，hdfs-site.xml不便做到相同，导致了NameNode报大量“missing block”。然而依据NameNode所报信息，在DataNode能找到那些被标记为“miss...【阅读全文】

【HADOOP】 Hadoop-2.8.0分布式安装手册

Aquester | 2017-04-30 14:25:07 | 阅读(4410) | 评论(0)

目录目录11. 前言32. 特性介绍43. 部署53.1. 机器列表63.2. 主机名63.2.1. 临时修改主机名73.2.2. 永久修改主机名73.3. 免密码登录范围73.4. 修改最大可打开文件数83.5. OOM相关：vm.overcommit_memory 84...【阅读全文】

【HADOOP】 HBase的读写

dream_my_dream | 2017-02-27 11:10:42 | 阅读(970) | 评论(0)

在HBase 0.96以前，HBase有两个特殊的Table：-ROOT-和.META.（如BigTable中的设计），其中-ROOT- Table的位置存储在ZooKeeper，它存储了.META. Table的RegionInfo信息，并且它只能存在一个HRegion，而.META. Table则存储了用户Table的RegionInfo信息，它可以被切分成多个HRegion，因而对第一次访问用户Table时，首先从ZooKeeper中读取-ROOT- Table所在HRegionServer；然后从该HRegionServer中根据请求的TableName，RowKey读取.META. Table所在HRegionServer；最后从该HRegionServer中读取.META. Table的内容而获取此次请求需要访问的HRegion所在的位置，然后访问该HRegionSever获取请求的数据，这需要三次请求才能找到用户Table所在的位置，然后第四次请求开始获取真正的数据。当然为了提升性能，客户端会缓存-ROOT- Table位置以及-ROOT-/.META. Table的内容【阅读全文】

【HADOOP】 Hadoop-将python代码运行在hadoop上

清无 | 2017-01-07 12:29:21 | 阅读(1720) | 评论(0)

1.启动hadoop, start-all.sh 启动hadoop2. copy local example data to hdfs bin/hadoop jar contrib/streaming/hadoop-*streaming*.jar -file /home/hduser/reducer.py -reducer /home/hduser/reducer.py bin/hadoop dfs -cat /user/hduser/gutenberg-output/part-00000【阅读全文】

【HADOOP】 Hadoop-2.7.2分布式安装手册

shilei1 | 2016-09-07 21:49:14 | 阅读(11440) | 评论(0)

目录目录11. 前言22. 部署32.1. 机器列表32.2. 主机名32.2.1. 临时修改主机名42.2.2. 永久修改主机名42.3. 免密码登录范围43. 约定53.1. 安装目录约定53.2. 服务端口约定64. 工作详单75. ...【阅读全文】

【HADOOP】 centos添加系统变量

sanshugen | 2016-08-13 16:12:53 | 阅读(1870) | 评论(0)

CentOS添加环境变量在Linux CentOS系统上安装完php和MySQL后，为了使用方便，需要将php和mysql命令加到系统命令中，如果在没有添加到环境变量之前，执行“php -v”命令查看当前php版本信息时时，则会提示命令不存在的错误，下面我们详细介绍一下在linux下将php和mysql加入到环境变量中的方法（假设php和mysq...【阅读全文】

【HADOOP】 hadoop namenode -formate后，上传文件报错 0 datanode(s) running and no node(s)

OowarrioroO | 2016-04-01 21:28:43 | 阅读(2600) | 评论(0)

hadoop namenode -formate后，上传文件报错 0 datanode(s) running and no node(s) are excluded
1.报错内容：
?put: File /user/username/testData/matrixdata.txt._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1). There are 0 datanode(s) running and no node(s) are excluded in this operation.
2.错误分析与解决
?打开hdfs-site.xml里配置的datanode和namenode对应的目录，分别打开current文件夹里的VERSION，可以看到clusterID项正如日志里记录的一样，确实不一致，修改datanode里VERSION文件的clusterID 与namenode里的一致，再重新启动dfs（执行start-dfs.sh）再执行jps命令可以看【阅读全文】

【HADOOP】正式生产环境下hadoop集群的DNS+NFS+ssh免密码登陆配置

zzjlzx | 2016-03-21 10:35:48 | 阅读(2150) | 评论(0)

正式生产环境下hadoop集群的DNS+NFS+ssh免密码登陆配置作者：weir2010 发布日期：2014-06-09 18:03:05环境虚拟机centos6.5主机名h3 IP 192.168.137.11 作为DNS FNS的服务器主机名h4 IP 192.168.137.12主机名h3 I...【阅读全文】

【HADOOP】 ambari增加journalnode服务节点

levy-linux | 2016-03-17 11:57:58 | 阅读(2660) | 评论(0)

ambari默认3个journalnode节点，但是如果一个节点出现问题，需要增加补充，ambari界面没有操作的选项，所以只能通过其他命令方式操作，看到之前有个文章是将HA降级，之后重新做HA，这样的风险太高了，操作负载，从网上找到了其他方式，分享给需要的朋友，也希望ambari新版本可以将这个增加journalnode功能，添加进去。增...【阅读全文】

【HADOOP】 Yarn上运行spark-1.6.0

Aquester | 2016-02-17 12:51:57 | 阅读(7780) | 评论(0)

Yarn上运行spark-1.6.0.pdf目录目录11. 约定12. 安装Scala 12.1. 下载22.2. 安装22.3. 设置环境变量23. 安装Spark 23.1. 下载23.2. 安装23.3. 配置33.3.1. 修改conf/spark-env.sh 34. 启动Spark 3...【阅读全文】

【HADOOP】 Zookeeper客户端cli_st为何在crontab中运行不正常？

Aquester | 2015-11-25 13:07:33 | 阅读(4350) | 评论(1)

Zookeeper客户端cli_st为何在crontab中运行不正常？.pdf实践中，发现直接在命令行终端运行cli_st时，能够得到预期的结果，但一将它放到crontab中，则只收到：bye 相关的一段clit_st源代码如下： if (FD_ISSET(0, &rfd...【阅读全文】

【HADOOP】 Hadoop-2.7.2分布式安装手册

Aquester | 2015-11-25 09:10:43 | 阅读(7070) | 评论(1)

【HADOOP】基于Hadoop集群的大规模分布式深度学习

aqiandao | 2015-11-13 16:56:04 | 阅读(1350) | 评论(0)

　　前言　　在过去的十年里，Yahoo 一直持续投资建设和扩展 Apache Hadoop 集群，到目前为止共有超过 4 万台服务器和 600PB 数据分布在 19 个集群上。正如在 2015 Hadoop 峰会上介绍的，我们在自己的服务器上开发了可扩展的机器学习算法，用于分类、排序和计算词向量。目前，Hadoop 集群已成为 Yahoo 大规模机器学...【阅读全文】

【HADOOP】 Linux上编译hadoop-2.7.1的libhdfs.so和libhdfs.a

Aquester | 2015-11-13 11:00:39 | 阅读(3800) | 评论(0)

hadoop提供了CMake来编译libhdfs，因此在编译之前需要先安装好CMake工具。然后进入libhdfs的源代码目录，如：/data/hadoop-2.7.1-src/hadoop-hdfs-project/hadoop-hdfs/src执行cmake以生成Makefile文件（假设jdk的安装目录为/data/jdk1.7.0_55）：cmake -DGENERATED_JAVAH=/data/jdk1.7.0_55 -DJAVA_HOME=/data/jdk1...【阅读全文】

【HADOOP】 ambari操作节点supervisor无法正常启动

levy-linux | 2015-10-09 14:50:43 | 阅读(3520) | 评论(0)

ambari监控界面看到的信息： stderr:   /var/lib/ambari-agent/data/errors-11891.txt /usr/lib/python2.6/site-packages/jinja2/__init__.py:31: UserWarning: Module jinja2 was already imported from /usr/lib/python2.6/site-packages/jinja2/__init__.pyc, but /usr/lib64/pytho...【阅读全文】

【HADOOP】 ambari动态添加datanode和nodemanager

levy-linux | 2015-09-10 14:46:21 | 阅读(3260) | 评论(0)

在运行中的ambari hadoop集中中动态添加或删除节点 1. 下线节点 1) namenode节点上dfs.exclude文件，看配置文件怎么配置的，里每行添加一个服务器名，如我要下线server7,server8,server9,则如下： server7 server8 resourcemanager节点上yarn.exclude文件里...【阅读全文】

【HADOOP】中小规模Hadoop集群优化

levy-linux | 2015-08-06 18:12:31 | 阅读(1580) | 评论(0)

我们有一个Hadoop集群从上个月开始遇到一系列性能问题，在逐一解决的过程中，积累了以下的优化经验。 1. 网络带宽 Hadoop集群的服务器在规划时就在统一的交换机下，这是在官方文档中建议的部署方式。 但是我们的这台交换机和其他交换机的互联带宽有限，所以在客户端遇到了HDFS访问...【阅读全文】

【HADOOP】 Hadoop添加删除节点

levy-linux | 2015-08-06 17:58:10 | 阅读(1530) | 评论(0)

添加节点

1.修改host
和普通的datanode一样。添加namenode的ip

2.修改namenode的配置文件conf/slaves
添加新增节点的ip或host

3.在新节点的机器上，启动服务
[root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start datanode
[root@slave-004 hadoop...【阅读全文】

【HADOOP】 hadoop安装软件的规则

CuteB | 2015-07-06 18:46:48 | 阅读(1450) | 评论(0)

1. /opt         父目录                     /opt/modules   存放软件的安装目录                 ...【阅读全文】

首页
<<
1
2
3
4
>>
末页

网络110 报警服务