科技改变世界，技术改变人生。
发布时间：2016-04-07 19:23:52
实例1：点击(此处)折叠或打开#!/usr/bin/env pythonimport subprocessimport datetimeimport reimport sysimport osres = subprocess.Popen("id root",stdout=subprocess.PIPE,shell=True)outp.........【阅读全文】
发布时间：2016-03-30 16:19:49
Spark 1.5.2版本支持为Spark On YARN模式的Spark Application根据Task自动调整Executor数，要启用该功能，需做以下操作：一：在所有的NodeManager中，修改yarn-site.xml，为yarn.nodemanager.aux-services添加spark_shuffle值，设置yarn.nodemanager.aux-services.spark_shuffle.class值为org.apache.spark.network.yarn..........【阅读全文】
发布时间：2016-03-30 14:52:08
启动spark-sqlspark-sql --master yarn-client --executor-memory 1G报错：16/03/30 14:45:32 WARN BlockReaderLocal: The short-circuit local reads feature cannot be used because libhadoop cannot be loaded.使用命令查看databasesspark-sql> show databases;16/03/30 14:46:01 ERROR GPLNativeCodeLo.........【阅读全文】
发布时间：2016-03-28 18:55:14
1.1 搭建环境1.1.1 安装并设置maven1. 下载maven安装包，建议安装3.0以上版本，本次安装选择的是maven3.3.3的二进制包，下载地址如下http://mirror.bit.edu.cn/apache/maven/maven-3/2. 使用ssh工具把maven包上传到/home/hadoop/upload目录3. 解压缩apache-maven-3.3.3-bin.tar.gz包tar -zxvf apache-maven-3.3.3-.........【阅读全文】
发布时间：2016-03-25 18:36:33
Hbase启动报错，如下：2016-03-26 01:09:54,039 FATAL [regionserver60020] regionserver.HRegionServer: ABORTING region server slave3,60020,1458925764918: Unhandled: org.apache.hadoop.hbase.ClockOutOfSyncException: Server slave3,60020,1458925764918 has been rejected; Reported time is too far out of sync.........【阅读全文】
发布时间：2016-03-23 19:14:39
开头下定语：统计学习现在市面上谈论到的数据挖掘基本上都是基于统计学习的监督学习或非监督学习问题。尤其以监督学习应用面更广。统计学习的应用分类问题：客户分类模型、异常鉴别、图像识别等标注问题：信息抽取、自然语言处理等统计学习的一般流程 得到一个有限的数据集合&nbs.........【阅读全文】
发布时间：2016-03-23 18:21:25
hadoop集群主Namenode突然停止，报错如下：2016-03-23 17:12:25,877 INFO namenode.FSEditLog (FSEditLog.java:endCurrentLogSegment(1153)) - Ending log segment 5741443422016-03-23 17:12:26,350 WARN client.QuorumJournalManager (QuorumCall.java:waitFor(134)) - Waited 19047 ms (timeout=20000 ms).........【阅读全文】
发布时间：2016-03-23 10:43:40
azkaban运行任务的时候失败报错如下：23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR - Exception in thread "main" org.apache.hive.service.cli.HiveSQLException: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rwxr-xr-x23-03-2016 .........【阅读全文】
发布时间：2016-03-21 18:19:05
su: /bin/bash: Too many open files in system业务日志中出现报错su: /bin/bash: Too many open files in system--这里报错，说打开的文件太多--解决方法(增加最大打开文件数的限制，当然最好是自己能控制好这个数量，要不机器性能也不行)[root@tmp ~]# cat /proc/sys/fs/file-max65536[root@tmp ~]# vi /etc/sy.........【阅读全文】
