搜索博文结果_ChinaUnix博客

博客首页博客专家往日推荐博客文集

热搜： Android 网络安全 Python 项目管理 MongoDB 数据库 ubuntu 高性能

博客首页〉搜索结果

按类别查询搜索结果

操作系统程序设计数据库热点技术综合架构与运维移动开发与应用 Web前端

虚拟化| 云计算| 大数据| HADOOP| 高性能计算|

关于关键词的检测结果，共 101 条

【HADOOP】 SecondaryNameNode中的“Inconsistent checkpoint fields”错误原因

Aquester | 2014-04-19 11:00:10 | 阅读(5600) | 评论(0)

该错误原因，可能是因为没有设置好SecondaryNameNode上core-site.xml文件中的“hadoop.tmp.dir”。2014-04-17 11:42:18,189 INFO org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Log Size Trigger :1000000 txns2014-04-17 11:43:18,365 ERROR org.apache.hadoop.hdfs.server.namenode.Secon...【阅读全文】

【HADOOP】查看HDFS集群信息

Aquester | 2014-04-19 10:42:14 | 阅读(3540) | 评论(0)

clusterID：集群ID，必须保持一致1）在NameNode上查看cat $HADOOP_HOME/dfs/name/current/VERSION#Fri Apr 18 11:56:57 GMT 2014namespaceID=1397306199clusterID=CID-bfe869e9-fe7a-48c7-9606-08512f1708becTime=0storageType=NAME_NODEblockpoolID=BP-139798373-172.25.40.171-1397735615751layoutVersion=-56...【阅读全文】

【HADOOP】 Sqoop工具使用(三)--把HDFS中的数据导入到Oracle

hexel | 2014-04-17 11:39:01 | 阅读(9090) | 评论(0)

sqoop export工具把HDFS中的数据导入到rdbms系统中，实现方式有三种：(1)insert mode:生成insert语句然后执行，这是默认的方式(2)update mode:生成update语句，替换数据库中的记录(3)call mode:调用存储过程处理每一条记录：Common argumentsArgument Description--connect <jdbc-uri...【阅读全文】

【HADOOP】中天節目惹議 NCC要開諮詢

yiwddd | 2014-04-10 13:23:34 | 阅读(100) | 评论(0)

台北市女性權益促進會等婦女團體今天譴責中天電視台物化女性；NCC說，10天內召開諮詢會議討論節目內容是否違規。...................................................................................................................................................................................................【阅读全文】

【HADOOP】怎么用java从hadoop中读数据

xyaxlz | 2014-03-24 16:25:08 | 阅读(3450) | 评论(0)

如果用eclipse 连接hadoop测试一定要把core-site.xml hdfs-site.xml 放到和包test同目录下不然会报错程序会报File not found错误点击(此处)折叠或打开package test;import java.io.*;import java.util.*;import java.net.*;...【阅读全文】

【HADOOP】怎么用java向hadoop中写数据

xyaxlz | 2014-03-24 16:15:57 | 阅读(3620) | 评论(0)

【HADOOP】 Hadoop分布式文件系统（HDFS）

lingshaohusoft | 2014-03-19 14:27:27 | 阅读(2280) | 评论(0)

Hadoop是一个基于JAVA的支持数据密集型分布式应用的分布式文件系统。它能够保证应用可以在上千个低成本商用硬件存储结点上处理PB级的数据。Hadoop是Apache开源项目，Yahoo支持这个项目并在自己的web搜索和商业广告业务上使用它。Hadoop开发类似于Google的MapReduce和Google文件系统的技术。图 5.9为Hadoop的整体结构。...【阅读全文】

【HADOOP】【用户不在sudoers文件中】问题解决

落尘2012 | 2014-03-11 15:55:09 | 阅读(1530) | 评论(0)

昨天在机房呆了一天，忙活着部署hadoop分布式节点。在网上查了一些部署的资料，其中有一步是为所有的节点创建同样的用户'hadoop'，并且加入到%admin组中。自己在做的时候提示%admin组不存在，其实Ubuntu系统中可以使用usermod username -g root的方式加入到管理组中，不晓得为什么自己的机器上使用%ad...【阅读全文】

【HADOOP】 Hadoop分布式文件系统和OpenStack对象存储有何不同？

zzjlzx | 2014-02-18 17:19:31 | 阅读(910) | 评论(0)

Hadoop分布式文件系统和OpenStack对象存储有何不同？“HDFS (Hadoop分布式文件系统)和OpenStack对象存储(OpenStack Object Storage)似乎都有着相似的目的：实现冗余、快速、联网的存储。什么样的技术特性让这两种系统因而不一样?这两种存储系统最终趋于融合是否大有意义?”...【阅读全文】

【HADOOP】 hadoop系统的端口

LaoLiulaoliu | 2014-01-05 23:13:10 | 阅读(1120) | 评论(0)

周海汉 /文2012.9.13本文地址：http://abloz.com/2012/09/13/the-hadoop-system-of-port.htmlhadoop系统部署时用到不少端口。有的是Web UI所使用的，有的是内部通信所使用的，有的是监控所使用的。实际系统中可能用于防火墙的端口设计。一些内部通信用的端口可能也需要外部能访问。如两个集群的数据对拷。1....【阅读全文】

【HADOOP】基于Hadoop平台做大数据的几种应用

jiongtoast | 2013-12-06 11:04:12 | 阅读(1160) | 评论(0)

1、自己写MapReduce任务，虽然开发难度大一点，但运行效率比Pig和Hive高，像Google的PageRank排名，机器学习、推荐，全盘扫描的ETL都是这种方式的典型应用；2、用Hive做分析，Hive的一大好处就是能使用程序员熟悉的SQL进行计算任务编写，但某些运算效率不及M/R；3、用Pig做数据分析，Pig是Yahoo的研发成果，yahoo也希望...【阅读全文】

【HADOOP】查看HADOOP中一个文件有多少块组成及所在机器ip

zzjlzx | 2013-11-29 14:50:29 | 阅读(4540) | 评论(0)

看文件信息hadoop fsck /user/filename更详细的。 -racks 是显示机架位置hadoop fsck /user/filename -files -blocks -locations -racks -files 文件分块信息，-blocks 在带-files参数后才显示block信息-locations 在带-blocks参数后才显示block块所在datanode的具...【阅读全文】

【HADOOP】 Hadoop初探之HDFS系统架构

Larpenteur | 2013-11-18 11:40:49 | 阅读(810) | 评论(0)

一、适应场景 HDFS是Hadoop的分布式文件系统，即Hadoop Distributed Filesystem。 HDFS以流式数据访问模式来存储超大文件，运行于商用硬件集群上。这句话信息量太大，分解开来就是HDFS适合如下场景： ...【阅读全文】

【HADOOP】 Hadoop初探之HDFS系统架构

niao5929 | 2013-11-17 20:59:28 | 阅读(480) | 评论(1)

【HADOOP】 Hadoop初探之HDFS系统架构

scq2099yt | 2013-11-16 13:49:28 | 阅读(4970) | 评论(1)

【HADOOP】 Hadoop如何实现关联计算

jiongtoast | 2013-11-05 08:39:29 | 阅读(780) | 评论(0)

hadoop如何实现关联计算。【阅读全文】

【HADOOP】一个.java文件是否一定要和文件中的类名相同呢？一个.java文件中可以包含多个类吗？

double_lq | 2013-10-17 10:05:45 | 阅读(1780) | 评论(0)

这可以算做是一个java笔试题回答这个问题，首先要回答第二问。一个.java文件当然可以包括多个类了。但这些类有一个特殊的类与其它的不同，,这个类是带public 属性的类。一个.java类文件中仅有一个public属性的类。而且这个类与文件名相同。一个.java文件是否一定要有一个public&...【阅读全文】

【HADOOP】在eclipse中查看JDK中jar文件的源代码

double_lq | 2013-10-16 20:36:17 | 阅读(3230) | 评论(0)

背景：下载了JDK1.7，其中包含对应的源代码src.zip假设我要查看public Document parse(InputStream is){}函数的源代码。该函数在JDK的rt.jar的包javax.xml.parsers下的DocumentBuilder.java中。怎样将该源文件与eclipse关联呢？一、将源码导入到eclipse中方法1、选择 rt.jar,右击选择properties；建立源代码目录&...【阅读全文】

【HADOOP】【用户不在sudoers文件中】问题解决

windhawkgyang | 2013-10-11 09:47:06 | 阅读(9830) | 评论(0)

【HADOOP】 hadoop 在hdfs中读写文件

yueys_canedy | 2013-09-09 17:13:19 | 阅读(6410) | 评论(0)

写文件： [java] view plaincopy //指定configuration Configuration config = new Configuration(); String time = String.valueOf(end-start); ...【阅读全文】

首页
<<
1
2
3
4
5
6
>>
末页

网络110 报警服务