搜索博文结果_ChinaUnix博客

博客首页博客专家往日推荐博客文集

热搜： Android iOS PHP Mysql AIX ubuntu 虚拟化移动开发

博客首页〉搜索结果

按类别查询搜索结果

操作系统程序设计数据库热点技术综合架构与运维移动开发与应用 Web前端

虚拟化| 云计算| 大数据| HADOOP| 高性能计算|

关于关键词的检测结果，共 105 条

【HADOOP】 Spark 安装及使用详解

xuemling | 2015-09-17 16:02:21 | 阅读(1720) | 评论(0)

Spark 安装及使用详解，包括spark-sql 以及 JDBC-Server 模式【阅读全文】

【HADOOP】使用 Spark-sql 导入数据到hadoop

xuemling | 2015-09-17 15:41:50 | 阅读(2360) | 评论(0)

使用 Spark-sql 导入数据，hive模式，比如导入数据到hadoop【阅读全文】

【HADOOP】很久没有启动datanode服务的节点，重新启动，出现的Block更新情况

levy-linux | 2015-09-10 17:14:16 | 阅读(3310) | 评论(0)

最近处理一台，很久没有启动datanode服务的节点，启动后发现日志中一直有如下信息不断个产生，

2015-09-10 14:22:28,474 INFO datanode.DataNode (DataXceiver.java:writeBlock(598)) - Receiving BP-219392391-192.168.20.101-
1404293177278:blk_1121179008_48430870 src: /192.168.20.1...【阅读全文】

【HADOOP】 ZooKeeper典型应用场景

chaohona | 2015-09-07 17:55:46 | 阅读(2820) | 评论(0)

ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现，使该框架保证了分布式环境中数据的强一致性，也正是基于这样的特性，使得ZooKeeper解决很多分布式问题。网上对ZK的应用场景也有不少介绍，本文将结合作者身边的项目例子，系统地对ZK的应用场景进行一个分门归类的介绍。【阅读全文】

【HADOOP】使用Spark SQL 的JDBC server

xuemling | 2015-09-07 11:20:58 | 阅读(1880) | 评论(0)

使用 spark SQL的JDBC Server【阅读全文】

【HADOOP】文件副本数量问题，设置的dfs.replication没有生效

levy-linux | 2015-08-28 17:00:16 | 阅读(2930) | 评论(0)

问题描述： 前几天发现hadoophdfs磁盘空间经常满，导致任务失败，但是查看hadoop fs -du -h /  这个根目录的文件大小总计150T左右，但是在50070端口页面查看到的磁盘使用接近390T，怀疑是文件备份数出问题了。 执行 hadoop dfs -ls [filename]  近期的文件都是3份，上个月的抽几个文件...【阅读全文】

【HADOOP】 Hadoop、Spark、Hbase常用配置参数总结

levy-linux | 2015-08-16 13:34:53 | 阅读(1240) | 评论(0)

MapReduce重要配置参数
1. 资源相关参数
(1) mapreduce.map.memory.mb: 一个Map Task可使用的资源上限（单位:MB），默认为1024。如果Map Task实际使用的资源量超过该值，则会被强制杀死。
(2) mapreduce.reduce.memory.mb: 一个Reduce Task可使用的资源上限（单位:MB），默认为1024。如果Reduce Ta...【阅读全文】

【HADOOP】 Ubuntu下eclipse开发hadoop应用程序环境配置

dirk2014 | 2015-08-06 13:17:12 | 阅读(680) | 评论(0)

在ubuntu上将hadoop安装及配置完毕后，接下来的工作就是在eclipse下配置开发hadoop应用程序的环境。目的很简单，为进行研究与学习，部署一个hadoop运行环境，并搭建一个hadoop开发与测试环境。环境：virtualbox 和 ubuntu12.04第一步：下载eclipse-jee-juno-SR1-linux-gtk.tar.gz. 注...【阅读全文】

【HADOOP】使用HIVE注意点

levy-linux | 2015-07-17 16:24:15 | 阅读(2450) | 评论(0)

字符集 Hadoop和Hive都是用UTF-8编码的，所有中文必须是UTF-8编码, 才能正常使用 备注：中文数据load到表里面, 如果字符集不同，很有可能全是乱码需要做转码的, 但是hive本身没有函数来做这个   压缩 hive.exec.compress.output 这个参数, 默认是 fa...【阅读全文】

【HADOOP】使用Maven构建hadoop项目

levy-linux | 2015-07-15 15:05:54 | 阅读(2940) | 评论(0)

一. Maven介绍
Apache Maven，是一个Java的项目管理及自动构建工具，由Apache软件基金会所提供。基于项目对象模型（缩写：POM）概念，Maven利用一个中央信息片断能管理一个项目的构建、报告和文档等步骤。曾是Jakarta项目的子项目，现为独立Apache项目。

Windows 7
hadoop 1.2.1
Maven 3.3....【阅读全文】

【HADOOP】 HBase分布式数据库管理常用shell命令

douyaqiang123 | 2015-06-30 16:39:05 | 阅读(1980) | 评论(0)

HBase是一个分布式的、面向列的开源数据库。HBase利用Hadoop HDFS作为其文件存储系统，MapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。 HBase以表的形式存储数据。表有行和列组成。列划分为若干个列族/列簇(column family)，列族下面包含若干列。本文主要是介绍分享一下在日常维护HBase时经常使用到的一些命令的心得和体会。【阅读全文】

【HADOOP】 redis 虚拟内存工作方式简介

超人学院1 | 2015-05-11 17:37:00 | 阅读(590) | 评论(0)

当vm-max-threads 设为0 时（阻塞方式）换出主线程定期检查发现内存超出最大上限后，会直接以阻塞的方式,将选中的对象保存到swap文件中，并释放对象占用的内存空间，此过程会一直重复直到下面条件满足1.内存使用降到最大限制以下2.swap 文件满了。3.几乎全部的对象都被交换到磁盘了换入当有客户端请求已经被换出的v...【阅读全文】

【HADOOP】 HBase分布式数据库管理常用shell命令

fengzhanhai | 2015-04-21 13:10:15 | 阅读(4210) | 评论(2)

【HADOOP】 hbase shell下如何使用删除键

fengzhanhai | 2015-04-20 17:56:46 | 阅读(2390) | 评论(0)

今天刚安装好了hbase，通过Secure CRT登录hbase shell，敲入错误命令无法使用删除键(Backspace或是Ctrl+Backspace都不管用)删除，后来在终端-->仿真下选择 Linux问题解决,设置如下:删除键使用Ctrl+BackSpace-- The End --【阅读全文】

【HADOOP】上海市信息技术培训中心Cloudera Hadoop认证培训

sittc2 | 2015-04-16 10:12:57 | 阅读(770) | 评论(0)

作为大数据核心技术，Hadoop为企业提供了高扩展、高冗余、高容错、和经济有效的“数据驱动”解决方案，针对企业目前普遍缺乏海量数据技术人员的现状，上海市信息技术培训中心Cloudera Hadoop认证培训系列课程，为企业经理、CTO、架构师、技术带头人、系统管理员、数据管理员、数据/商务分析元和应用开发人员带来了业内最...【阅读全文】

【HADOOP】 Hadoop内置作业调度器与调度平台的集成

ecjtubaowp | 2015-04-04 09:19:30 | 阅读(2460) | 评论(0)

Hadoop 现在几乎已经成为业界在大数据上事实的标准，越来越多的企业开始采用hadoop进行数据的存储及处理。既然涉及数据处理，一个不可不提的术语就是“作业” or “job”，大量的作业必然要引入作业管理及调度，hadoop也不能例外。传统企业中的调度工具，不管像是简单crontab，或者企业级的如control-M，很容易注...【阅读全文】

【HADOOP】 hadoop学习视频教程超低大回馈，风暴元宵节

幸福彼岸ing | 2015-03-04 15:34:23 | 阅读(480) | 评论(0)

hadoop学习视频教程超低大回馈，风暴元宵节 ------极低风暴，“拳力”出击【活动内容】北风网IT教程买一送一（合作课程和套餐课程除外）,礼品课程随你挑！凡是活动期间购买套餐课程全部6折，另北风网特推出原价8000元包就业.net课程现在购买只需4800元！ 2015风...【阅读全文】

【HADOOP】 pig日常操作

hxl | 2015-03-04 10:42:09 | 阅读(0) | 评论(0)

1.以指定分割符加载数据records = load '/hive/warehouse/analysis.db/tb_sso_ver_login_day/statedate=20141201/000000_0' using PigStorage('|') as (provcode: chararray,areacode: chararray,loginfrom: chararray,day_login_count: int,day_logn_user_count: int,mon_login_count: int,mon_logn_user_count: int,c...【阅读全文】

【HADOOP】 2015年上海市信息技术培训中心hadoop课程开班啦

sittc2 | 2015-02-26 10:14:03 | 阅读(670) | 评论(0)

2015年上海市信息技术培训中心hadoop课程开班啦【阅读全文】

【HADOOP】 ZooKeeper伪分布式集群安装及使用

niao5929 | 2015-02-19 14:04:46 | 阅读(490) | 评论(0)

ZooKeeper伪分布式集群安装及使用[日期：2015-02-18]来源：Linux社区作者：snwz[字体：大中小]1. zookeeper介绍ZooKeeper是一个为分布式应用所设计的分布的、开源的协调服务，它主要是用来解决分布式应用中经常遇到的一...【阅读全文】

首页
<<
1
2
3
4
5
6
>>
末页

网络110 报警服务