搜索博文结果_ChinaUnix博客

charliewei | 2018-12-11 17:50:04 | 阅读(2250) | 评论(0)

在信息技术界，Kerberos是一种被广泛采用的网络认证协议，通过对称加密的技术，保护网络系统的安全。
【阅读全文】

hxl | 2017-10-27 17:42:40 | 阅读(0) | 评论(0)

1.停掉服务[root@master opt]# /opt/cm-5.13.0/etc/init.d/cloudera-scm-server stopStopping cloudera-scm-server: [ OK ][root@master opt]# /opt/cm-5.13.0/etc/init.d/cloudera-scm-agent stopStopping cloudera-scm-agent: [ OK ]2.Agent节点的UUIDrm -rf /opt/cm-5.13.0/lib/clouder...【阅读全文】

【HADOOP】 Ubuntu下如何禁用IPv6

kongkong011 | 2015-12-04 16:06:56 | 阅读(2160) | 评论(0)

分布式下的hadoop/hbase运行总出问题，zookeeper连接总是出问题，怀疑可能是ipv6的问题，于是决定在Ubuntu下禁用IPv4。自己的版本是Ubuntu-12.04，貌似8.0之后的版本禁用ipv6都需要修改内核的加载项进行设置：1. sudo vim /etc/default/grub2. 将文件中的 GRUB_CMDLINE_LINUX_DEFAULT="...【阅读全文】

【HADOOP】如何优化YARN和MapReduce内存

levy-linux | 2015-11-25 14:52:17 | 阅读(2040) | 评论(0)

This section describes how to manually calculate YARN and MapReduce memory allocation settings based on the node hardware specifications.YARN takes into account all of the available resources on each machine in the cluster. Based on the available resources, YARN negotiates resource requests...【阅读全文】

【HADOOP】 Zookeeper客户端cli_st为何在crontab中运行不正常？

Aquester | 2015-11-25 13:07:33 | 阅读(4350) | 评论(1)

Zookeeper客户端cli_st为何在crontab中运行不正常？.pdf实践中，发现直接在命令行终端运行cli_st时，能够得到预期的结果，但一将它放到crontab中，则只收到：bye 相关的一段clit_st源代码如下： if (FD_ISSET(0, &rfd...【阅读全文】

【HADOOP】 Ubuntu下如何禁用IPv6

xdzbb | 2015-10-09 22:04:07 | 阅读(1190) | 评论(0)

分布式下的hadoop/hbase运行总出问题，zookeeper连接总是出问题，怀疑可能是ipv6的问题，于是决定在Ubuntu下禁用IPv4。自己的版本是Ubuntu-12.04，貌似8.0之后的版本禁用ipv6都需要修改内核的加载项进行设置：1. sudo vim /etc/default/grub2. 将文件中的 GRUB_CMDLINE_LINUX_DEFAULT="...【阅读全文】

【HADOOP】 hbase shell下如何使用删除键

fengzhanhai | 2015-04-20 17:56:46 | 阅读(2380) | 评论(0)

今天刚安装好了hbase，通过Secure CRT登录hbase shell，敲入错误命令无法使用删除键(Backspace或是Ctrl+Backspace都不管用)删除，后来在终端-->仿真下选择 Linux问题解决,设置如下:删除键使用Ctrl+BackSpace-- The End --【阅读全文】

【HADOOP】如何快速搭建HBase分布式NoSQL数据库

fengzhanhai | 2015-04-20 14:32:52 | 阅读(3910) | 评论(0)

博主在安装HBase1.0的过程中参考了很多网上的资料进行配置安装，得到的一个结论就是太坑嗲了，按照我看到的所有安装部署文档都走了一遍都存在这样或者那样的问题，最后浪费了大把的时间也没有搞定。建议后来者在搭建HBase分布式环境时多参考一下官方资料或者按照我整理的文档进行搭建（注释：以下操作步骤博主均默认为您已经完成hadoop和zookeeper安装和配置，若没有完成请参考博主大数据专栏的hadoop和zookeeper的安装博文进行搭建后再实施hbase的相关部署工作）。【阅读全文】

【HADOOP】上海市信息技术培训中心Cloudera Hadoop认证培训

sittc2 | 2015-04-16 10:12:57 | 阅读(770) | 评论(0)

作为大数据核心技术，Hadoop为企业提供了高扩展、高冗余、高容错、和经济有效的“数据驱动”解决方案，针对企业目前普遍缺乏海量数据技术人员的现状，上海市信息技术培训中心Cloudera Hadoop认证培训系列课程，为企业经理、CTO、架构师、技术带头人、系统管理员、数据管理员、数据/商务分析元和应用开发人员带来了业内最...【阅读全文】

【HADOOP】 2015年上海市信息技术培训中心hadoop课程开班啦

sittc2 | 2015-02-26 10:14:03 | 阅读(660) | 评论(0)

2015年上海市信息技术培训中心hadoop课程开班啦【阅读全文】

【HADOOP】上海市信息技术培训中心Cloudera Hadoop管理认证培训

sittc2 | 2015-01-04 14:54:20 | 阅读(510) | 评论(0)

作为大数据核心技术，Hadoop为企业提供了高扩展、高冗余、高容错、和经济有效的“数据驱动”解决方案，针对企业目前普遍缺乏海量数据技术人员的现状，上海市信息技术培训中心Cloudera Hadoop认证培训系列课程，为企业经理、CTO、架构师、技术带头人、系统管理员、数据管理员、数据/商务分析元和应用开发人员带来了业内最领...【阅读全文】

【HADOOP】如何在hadoop中控制map的个数

gray1982 | 2014-12-27 17:11:07 | 阅读(3210) | 评论(0)

hadooop提供了一个设置map个数的参数mapred.map.tasks，我们可以通过这个参数来控制map的个数。但是通过这种方式设置map的个数，并不是每次都有效的。原因是mapred.map.tasks只是一个hadoop的参考数值，最终map的个数，还取决于其他的因素。为了方便介绍，先来看几个名词：block_size ...【阅读全文】

【HADOOP】企业如何选择Hadoop

644924073 | 2014-12-03 12:31:12 | 阅读(1050) | 评论(0)

本文讨论Apache Hadoop大数据工具及技术，帮助有效管理实时的大数据，并讨论Apache Hadoop大数据分析的优缺点。帮助企业认识Hadoop，在选择Hadoop技术方案上做出抉择。一、什么是大数据分析工具及技术Hadoop是目前的处理和存储海量数据的最佳工具。Hadoop可以利用数百台甚至数千台计算机处理大数据问题，而不是使用...【阅读全文】

【HADOOP】 hive自定义函数(返回号码归属省份)

hxl | 2014-11-21 13:09:42 | 阅读(0) | 评论(0)

1.hive中加载调用省份函数hive> add jar /home/hadoop1/hive.jar;hive> create temporary function getprovcode as 'com.hxl.GetProvcode';hive> select getprovcode('8615889559092') > ;T...【阅读全文】

【HADOOP】 hbase shell下如何使用删除键

hxl | 2014-10-28 13:57:11 | 阅读(8650) | 评论(0)

今天刚安装好了hbase，通过Secure CRT登录hbase shell，敲入错误命令无法使用删除键(Backspace或是Ctrl+Backspace都不管用)删除，后来在终端-->仿真下选择 Linux问题解决,设置如下:删除键使用Ctrl+BackSpace-- The End --【阅读全文】

【HADOOP】使用二次排序自动查找最小值

double_lq | 2014-07-20 21:18:18 | 阅读(0) | 评论(0)

键的值可以根据需要对其进行多次排序操作，例如一个键中既包含Text类型，又包含IntWritable类型，那么可以通过二次排序对键进行排序操作。例如有一部分数据，数据内容如下：需要对数据中的值求得每个键对应的最小值。实现的完整代码如下： package yuu;import java.io.DataInput;...【阅读全文】

【HADOOP】查看HDFS集群信息

Aquester | 2014-04-19 10:42:14 | 阅读(3540) | 评论(0)

clusterID：集群ID，必须保持一致1）在NameNode上查看cat $HADOOP_HOME/dfs/name/current/VERSION#Fri Apr 18 11:56:57 GMT 2014namespaceID=1397306199clusterID=CID-bfe869e9-fe7a-48c7-9606-08512f1708becTime=0storageType=NAME_NODEblockpoolID=BP-139798373-172.25.40.171-1397735615751layoutVersion=-56...【阅读全文】

【HADOOP】 Hadoop分布式文件系统和OpenStack对象存储有何不同？

zzjlzx | 2014-02-18 17:19:31 | 阅读(910) | 评论(0)

Hadoop分布式文件系统和OpenStack对象存储有何不同？“HDFS (Hadoop分布式文件系统)和OpenStack对象存储(OpenStack Object Storage)似乎都有着相似的目的：实现冗余、快速、联网的存储。什么样的技术特性让这两种系统因而不一样?这两种存储系统最终趋于融合是否大有意义?”...【阅读全文】

【HADOOP】企业如何选择Hadoop

圣剑蓝骑士 | 2013-12-19 06:58:53 | 阅读(590) | 评论(0)

本文讨论Apache Hadoop大数据工具及技术，帮助有效管理实时的大数据，并讨论Apache Hadoop大数据分析的优缺点。帮助企业认识Hadoop，在选择Hadoop技术方案上做出抉择。一、什么是大数据分析工具及技术Hadoop是目前的处理和存储海量数据的最佳工具。Hadoop可以利用数百台甚至数千台计算机处理大数据问题，而不是使用...【阅读全文】

【HADOOP】 Hadoop如何实现关联计算

jiongtoast | 2013-11-05 08:39:29 | 阅读(770) | 评论(0)

hadoop如何实现关联计算。【阅读全文】