搜索博文结果_ChinaUnix博客

博客首页博客专家往日推荐博客文集

热搜： iOS 系统运维 C语言 Oracle LINUX 高性能 CCNA FTP

博客首页〉搜索结果

按类别查询搜索结果

操作系统程序设计数据库热点技术综合架构与运维移动开发与应用 Web前端

虚拟化| 云计算| 大数据| HADOOP| 高性能计算|

关于关键词的检测结果，共 101 条

【HADOOP】 CDH5.4.0安装中，Validations界面提示修改swappiness

levy-linux | 2015-08-12 10:01:12 | 阅读(1230) | 评论(0)

安装CDH5.4.0的时候，Validations界面中有以下提示内容，意思是需要在/etc/sysctl.conf中设置swappiness值为10，<br /><br />Cloudera recommends setting /proc/sys/vm/swappiness <span style="color:#E53333;">to at most 10. Current setting is 60</span>. Use the sysctl command to change this setting at runtim...【阅读全文】

【HADOOP】中小规模Hadoop集群优化

levy-linux | 2015-08-06 18:12:31 | 阅读(1590) | 评论(0)

我们有一个Hadoop集群从上个月开始遇到一系列性能问题，在逐一解决的过程中，积累了以下的优化经验。<br /><br />1. 网络带宽<br /><br />Hadoop集群的服务器在规划时就在统一的交换机下，这是在官方文档中建议的部署方式。<br /><br />但是我们的这台交换机和其他交换机的互联带宽有限，所以在客户端遇到了HDFS访问...【阅读全文】

【HADOOP】 Spark 中算子功能与分类介绍

OowarrioroO | 2015-07-22 17:01:18 | 阅读(2680) | 评论(0)

Spark 中算子功能与分类介绍 value型算子 Key-Value算子【阅读全文】

【HADOOP】 Hadoop入门经典: WordCount程序

levy-linux | 2015-07-14 17:12:24 | 阅读(2100) | 评论(0)

WordCount程序在 hadoop1.2.1 测试成功。<br /><br /><br /><div><div class="codeheads"><p>点击(<span style="cursor:pointer;color:red;" onclick="code_hide('code705')">此处</span>)折叠或打开</p></div><div id="code705" class="codeText"><ol style="margin:0 1px 0 0px;padding-left:40px...【阅读全文】

【HADOOP】 Hadoop大数据平台运维工程师须掌握的基本命令集分享

douyaqiang123 | 2015-06-30 16:40:07 | 阅读(1840) | 评论(0)

本博文收集和整理了在日常维护hadoop集群时运维工程师需要掌握的最基本的hadoop管理与维护的相关命令，在此分享出来供大家参考学习~博主也是刚刚接触hadoop不久，如有问题欢迎批评指正~非常感谢【阅读全文】

【HADOOP】 Hadoop集群中添加datanode节点

niao5929 | 2015-05-19 11:28:13 | 阅读(1050) | 评论(0)

Hadoop集群中添加datanode节点[日期：2015-05-19]来源：Linux社区作者：ljy2013[字体：大中小]随着业务的扩展，公司刚开始的三个节点已经不够用了，因此需要添加datanode。下面记录一下添加datanode节点的步骤：1、在新的...【阅读全文】

【HADOOP】 Solr部署配置（二）中文分词设置 ?

超人学院1 | 2015-05-12 17:35:35 | 阅读(460) | 评论(0)

一、IKAnalyzer1、把IKAnalyzer4.0.jar,IKAnalyzer.cfg,stopword.dic放到solr目录下的lib中2、schema.xml文件中添加 <fieldType name="text_ik" class="solr.TextField" > <analyzer class="org.wltea.analyzer.lucene.IKAn...【阅读全文】

【HADOOP】上海市信息技术培训中心Cloudera Hadoop认证培训

sittc2 | 2015-04-16 10:12:57 | 阅读(770) | 评论(0)

作为大数据核心技术，Hadoop为企业提供了高扩展、高冗余、高容错、和经济有效的“数据驱动”解决方案，针对企业目前普遍缺乏海量数据技术人员的现状，上海市信息技术培训中心Cloudera Hadoop认证培训系列课程，为企业经理、CTO、架构师、技术带头人、系统管理员、数据管理员、数据/商务分析元和应用开发人员带来了业内最...【阅读全文】

【HADOOP】 Hadoop大数据平台运维工程师须掌握的基本命令集分享

fengzhanhai | 2015-04-08 17:32:36 | 阅读(9070) | 评论(0)

【HADOOP】 Hadoop内置作业调度器与调度平台的集成

ecjtubaowp | 2015-04-04 09:19:30 | 阅读(2460) | 评论(0)

Hadoop 现在几乎已经成为业界在大数据上事实的标准，越来越多的企业开始采用hadoop进行数据的存储及处理。既然涉及数据处理，一个不可不提的术语就是“作业” or “job”，大量的作业必然要引入作业管理及调度，hadoop也不能例外。传统企业中的调度工具，不管像是简单crontab，或者企业级的如control-M，很容易注...【阅读全文】

【HADOOP】 “稳扎稳打泵中的小金刚”

xdilm87 | 2015-02-28 13:44:45 | 阅读(270) | 评论(0)

文章出自于：靖江市东盛泵阀制造有限公司整理转载请注明出处！
http://www.dongsheng-pump.com/products-detail.asp?cpid=49【阅读全文】

【HADOOP】 2015年上海市信息技术培训中心hadoop课程开班啦

sittc2 | 2015-02-26 10:14:03 | 阅读(660) | 评论(0)

2015年上海市信息技术培训中心hadoop课程开班啦【阅读全文】

【HADOOP】 Hadoop中HDFS读取文件的原理剖析

niao5929 | 2015-02-19 16:50:26 | 阅读(510) | 评论(0)

Hadoop中HDFS读取文件的原理剖析[日期：2015-02-18]来源：Linux社区作者：snwz[字体：大中小]上一篇文章中简单介绍了一下Hadoop文件存储的一些逻辑与简单原理（见 http://www.linuxidc.com/Linux/2015-02/113638.htm），既...【阅读全文】

【HADOOP】 Hadoop中HDFS写入文件的原理剖析

niao5929 | 2015-02-19 16:48:46 | 阅读(450) | 评论(0)

Hadoop中HDFS写入文件的原理剖析[日期：2015-02-18]来源：Linux社区作者：snwz[字体：大中小]要为即将到来的大数据时代最准备不是，下面的大白话简单记录了Hadoop中HDFS在存储文件时都做了哪些个事情，位将来集群问题的排查提供...【阅读全文】

【HADOOP】在MapReduce中使用压缩

ningbohezhijun | 2015-02-09 11:53:59 | 阅读(430) | 评论(0)

我在看Hadoop实战第7章的时候，看到了关于使用压缩的好。我就按照书上输入文件的大小伪随机生成了近300M的文件(单词个数统计的hadoop输入)，下面是生成输入的C++程序。点击(此处)折叠或打开/* * Author: tender * Created Time: 2015/2/9 10:31:20...【阅读全文】

【HADOOP】上海市信息技术培训中心Cloudera Hadoop管理认证培训

sittc2 | 2015-01-04 14:54:20 | 阅读(520) | 评论(0)

【HADOOP】如何在hadoop中控制map的个数

gray1982 | 2014-12-27 17:11:07 | 阅读(3210) | 评论(0)

hadooop提供了一个设置map个数的参数mapred.map.tasks，我们可以通过这个参数来控制map的个数。但是通过这种方式设置map的个数，并不是每次都有效的。原因是mapred.map.tasks只是一个hadoop的参考数值，最终map的个数，还取决于其他的因素。为了方便介绍，先来看几个名词：block_size ...【阅读全文】

【HADOOP】 hive中创建udf

hxl | 2014-11-21 09:49:27 | 阅读(0) | 评论(0)

在hive中我们可以根据自己的需要自定义创建udf,如下是一个例子:1.chu点击(此处)折叠或打开package com.hxl;import org.apache.hadoop.hive.ql.exec.UDF;public class helloUDF extends UDF { ...【阅读全文】

【HADOOP】年年红鞭炮机经济效益

eanhdw | 2014-11-15 15:43:43 | 阅读(0) | 评论(0)

年年红鞭炮机【阅读全文】

【HADOOP】在hive创建跟hbase互联的表

hxl | 2014-11-12 16:14:38 | 阅读(0) | 评论(0)

1.在hive中创建如下表CREATE TABLE hive_table_test(key int, id int,name string) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,info:id,info:name") TBLPROPERTIES ("hbase.table.name" = "hbase_table_test");2.在hbase...【阅读全文】

首页
<<
1
2
3
4
5
6
>>
末页

网络110 报警服务