Chinaunix首页 | 论坛 | 博客
  • 博客访问: 762536
  • 博文数量: 259
  • 博客积分: 10
  • 博客等级: 民兵
  • 技术积分: 2518
  • 用 户 组: 普通用户
  • 注册时间: 2012-10-13 16:12
个人简介

科技改变世界,技术改变人生。

文章分类

全部博文(259)

发布时间:2016-03-30 16:19:49

Spark 1.5.2版本支持为Spark On YARN模式的Spark Application根据Task自动调整Executor数,要启用该功能,需做以下操作:一:在所有的NodeManager中,修改yarn-site.xml,为yarn.nodemanager.aux-services添加spark_shuffle值,设置yarn.nodemanager.aux-services.spark_shuffle.class值为org.apache.spark.network.yarn..........【阅读全文】

阅读(1705) | 评论(0) | 转发(0)

发布时间:2016-03-30 14:52:08

启动spark-sqlspark-sql --master yarn-client  --executor-memory 1G报错:16/03/30 14:45:32 WARN BlockReaderLocal: The short-circuit local reads feature cannot be used because libhadoop cannot be loaded.使用命令查看databasesspark-sql> show databases;16/03/30 14:46:01 ERROR GPLNativeCodeLo.........【阅读全文】

阅读(3638) | 评论(0) | 转发(0)

发布时间:2016-03-28 18:55:14

1.1 搭建环境1.1.1 安装并设置maven1. 下载maven安装包,建议安装3.0以上版本,本次安装选择的是maven3.3.3的二进制包,下载地址如下http://mirror.bit.edu.cn/apache/maven/maven-3/2. 使用ssh工具把maven包上传到/home/hadoop/upload目录3. 解压缩apache-maven-3.3.3-bin.tar.gz包tar -zxvf apache-maven-3.3.3-.........【阅读全文】

阅读(2769) | 评论(1) | 转发(0)
给主人留下些什么吧!~~
留言热议
请登录后留言。

登录 注册