搜索博文结果_ChinaUnix博客

levy-linux | 2015-11-27 10:33:44 | 阅读(1560) | 评论(0)

history log无法查看问题通过历史log服务器查看log信息，无法打卡log：所有服务都正常启动，配置文件也正常。查看历史服务器的log发现如下报错：2015-11-24 16:11:12,172 ERROR webapp.View (AggregatedLogsBlock.java:render(106)) - Error getting logs for attempt_1447751602196_8305_m_000000_0org.apache.hado...【阅读全文】

【HADOOP】基于Hadoop集群的大规模分布式深度学习

aqiandao | 2015-11-13 16:56:04 | 阅读(1360) | 评论(0)

　　前言　　在过去的十年里，Yahoo 一直持续投资建设和扩展 Apache Hadoop 集群，到目前为止共有超过 4 万台服务器和 600PB 数据分布在 19 个集群上。正如在 2015 Hadoop 峰会上介绍的，我们在自己的服务器上开发了可扩展的机器学习算法，用于分类、排序和计算词向量。目前，Hadoop 集群已成为 Yahoo 大规模机器学...【阅读全文】

【HADOOP】牛，量化派基于Hadoop、Spark、Storm的大数据风控架构

aqiandao | 2015-11-13 16:50:28 | 阅读(2030) | 评论(0)

　　量化派是一家金融大数据公司，为金融机构提供数据服务和技术支持，也通过旗下产品“信用钱包”帮助个人用户展示经济财务等状况，撮合金融机构为用户提供最优质的贷款服务。金融的本质是风险和流动性，但是目前中国对于个人方面的征信行业发展落后于欧美国家，个人消费金融的需求没有得到很好的满足。按照央行最新数据...【阅读全文】

【HADOOP】 datanode无法启动Block pool ID needed, but service not yet registered with NN

levy-linux | 2015-10-15 14:17:18 | 阅读(7190) | 评论(0)

2015-10-15 14:12:41,319 INFO  datanode.DataNode (DataXceiverServer.java:<init>(75)) - Balancing bandwith is 6250000 bytes/s         at org.apache.hadoop.hdfs.server.datanode.DataNode.initStorage(DataNode.java:969)     &nbs...【阅读全文】

【HADOOP】问题笔记：oracle char类型映射到hive string类型时无法查出数据的原因

Helianthus_lu | 2015-10-11 22:30:16 | 阅读(8220) | 评论(0)

oracle char 《-----》hive string【阅读全文】

【HADOOP】 ambari操作节点supervisor无法正常启动

levy-linux | 2015-10-09 14:50:43 | 阅读(3520) | 评论(0)

ambari监控界面看到的信息： stderr:   /var/lib/ambari-agent/data/errors-11891.txt /usr/lib/python2.6/site-packages/jinja2/__init__.py:31: UserWarning: Module jinja2 was already imported from /usr/lib/python2.6/site-packages/jinja2/__init__.pyc, but /usr/lib64/pytho...【阅读全文】

【HADOOP】大数据之快速搭建hadoop2.6集群指南

北极熊和企鹅 | 2015-09-09 10:46:53 | 阅读(750) | 评论(0)

本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记，如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性，如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】

【HADOOP】大数据之快速搭建hadoop2.6集群指南

北极熊和企鹅 | 2015-09-09 10:46:53 | 阅读(710) | 评论(0)

本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记，如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性，如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】

【HADOOP】大数据之快速搭建hadoop2.6集群指南

北极熊和企鹅 | 2015-09-09 10:46:53 | 阅读(710) | 评论(0)

本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记，如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性，如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】

【HADOOP】大数据之快速搭建hadoop2.6集群指南

北极熊和企鹅 | 2015-09-09 10:46:53 | 阅读(670) | 评论(0)

本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记，如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性，如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】

【HADOOP】大数据时代的技术【一】Hive

xuemling | 2015-08-24 15:27:25 | 阅读(1360) | 评论(0)

大数据时代的技术之Hive介绍，hive的简单介绍【阅读全文】

【HADOOP】云帆大数据_Hadoop从入门到上手企业开发----学习笔记

CuteB | 2015-07-05 22:50:51 | 阅读(2400) | 评论(0)

1.what is apache hadoop? 谁说大象不能跳舞？ 轻松应对海量数据存储与分析带来的挑战 2.海量数据： 量：大，数目多，数据量达到PB，ZB级别，条目数达到几十亿条，几百亿条 1）存储：分布式，集群的概念进行存储管理（主节点、从节点），HDFS（hadoop distribute file system） ...【阅读全文】

【HADOOP】云帆大数据_Hadoop从入门到上手企业开发----学习笔记

CuteB | 2015-07-05 21:30:03 | 阅读(1730) | 评论(0)

1.hadoop生成环境都是在linux环境下，hadoop 2.x开始支持win环境。掌握linux环境，熟悉基本命令和linux环境的基本配置。 2.vmware虚拟机环境的搭建 3.使用的是Centos 6.4    redhat 6.x 64位     。 4.linux系统环境的基本配置，配置ip地址，配置主机名，关闭防火墙等。 5.远...【阅读全文】

【HADOOP】大数据之快速搭建hadoop2.6集群指南

douyaqiang123 | 2015-06-30 16:41:29 | 阅读(1770) | 评论(0)

本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记，如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性，如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】

【HADOOP】 Hadoop大数据平台运维工程师须掌握的基本命令集分享

douyaqiang123 | 2015-06-30 16:40:07 | 阅读(1830) | 评论(0)

本博文收集和整理了在日常维护hadoop集群时运维工程师需要掌握的最基本的hadoop管理与维护的相关命令，在此分享出来供大家参考学习~博主也是刚刚接触hadoop不久，如有问题欢迎批评指正~非常感谢【阅读全文】

【HADOOP】大数据处理工具之Hive安装配置实践

GiserHu | 2015-06-29 20:35:53 | 阅读(570) | 评论(0)

Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为HQL，可通过它来检索Hadoop存储数据，而且所有的查询操作是基于MapReduce来完成的。
本文主要介绍了如何快速安装Hive组件的一种可行的方法。Hive的安装配置比较简单，只要确保HDFS和MapReduce已经正确运行即可开始我们的安装之旅了。那么我们就具体来看一看如何快速简便的安装Hive组件!【阅读全文】

【HADOOP】大数据处理工具之Hive安装配置实践

典雅的土地雷 | 2015-06-22 01:59:22 | 阅读(970) | 评论(0)

Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为HQL，可通过它来检索Hadoop存储数据，而且所有的查询操作是基于MapReduce来完成的。
本文主要介绍了如何快速安装Hive组件的一种可行的方法。Hive的安装配置比较简单，只要确保HDFS和MapReduce已经正确运行即可开始我们的安装之旅了。那么我们就具体来看一看如何快速简便的安装Hive组件!【阅读全文】

【HADOOP】大数据处理工具之Hive安装配置实践

Larpenteur | 2015-06-04 06:21:43 | 阅读(1520) | 评论(0)

Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为HQL，可通过它来检索Hadoop存储数据，而且所有的查询操作是基于MapReduce来完成的。
本文主要介绍了如何快速安装Hive组件的一种可行的方法。Hive的安装配置比较简单，只要确保HDFS和MapReduce已经正确运行即可开始我们的安装之旅了。那么我们就具体来看一看如何快速简便的安装Hive组件!【阅读全文】

【HADOOP】大型开源分布式监控工具Chukwa配置部署实践

fengzhanhai | 2015-05-27 11:58:10 | 阅读(4170) | 评论(0)

Chukwa是Yahoo开发的一个开源的用于监控大型分布式系统的数据收集系统。它构建在hadoop的hdfs map/reduce框架之上，继承了hadoop的可伸缩性和鲁棒性。Chukwa还包含了一个强大和灵活的工具集，可用于展示、监控和分析已收集的数据。当我们在管理和维护超过100个节点的集群时如何实时有效、轻松的监控各个集群节点的健康状况及自身的相关信息呢？而Chukwa为我们提供了一种简单可行的方案。【阅读全文】

【HADOOP】大数据处理工具之Hive安装配置实践

胡辣tang | 2015-05-21 16:19:54 | 阅读(420) | 评论(0)

Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为HQL，可通过它来检索Hadoop存储数据，而且所有的查询操作是基于MapReduce来完成的。
本文主要介绍了如何快速安装Hive组件的一种可行的方法。Hive的安装配置比较简单，只要确保HDFS和MapReduce已经正确运行即可开始我们的安装之旅了。那么我们就具体来看一看如何快速简便的安装Hive组件!【阅读全文】