Chinaunix首页 | 论坛 | 博客

chengxuyonghu

首页　| 　博文目录　| 　关于我

chengxuyonghu

  • 博客访问： 1731155
  • 博文数量： 636
  • 博客积分： 0
  • 博客等级： 民兵
  • 技术积分： 3950
  • 用 户 组： 普通用户
  • 注册时间： 2014-08-06 21:58
个人简介

博客是我工作的好帮手，遇到困难就来博客找资料

文章分类

全部博文（636）

文章存档

2024年（5）

2022年（2）

2021年（4）

2020年（40）

2019年（4）

2018年（78）

2017年（213）

2016年（41）

2015年（183）

2014年（66）

我的朋友
最近访客
推荐博文
相关博文
安装zeppelin安装spark ha集群

分类： 系统运维

2017-02-08 10:27:45

安装zeppelin
 
1.默认安装好spark集群
2.安装zeppelin
    1.解压安装包
        tar zxvf zeppelin-0.5.5-incubating-bin-all.tgz
    2.配置环境变量
        vim /etc/profile
         
        #zeppelin
        export ZEPPELIN_HOME=/opt/zeppelin-0.5.5
         
        #CLASSPATH
        export CLASSPATH=$CLASSPATH:$ZEPPELIN_HOME/lib
         
        #PATH
        export PATH=$PATH:$ZEPPELIN_HOME/bin
         

        保存退出

         source /etc/profile

我们的/etc/profile配置如下

export LANG=zh_CN.GBK

export LC_ALL=zh_CN.GBK


export PATH=$PATH:/usr/local/python2.7.6/bin/


export JAVA_HOME=/usr/java/jdk1.8.0_101

export CLASSPATH=$JAVA_HOME/lib/tools.jar

export PATH=$JAVA_HOME/bin:$PATH

export PATH="/usr/local/mysql/bin:$PATH"

#set for nodejs

export NODE_HOME=/usr/local/nodejs

export PATH=$NODE_HOME/bin:$PATH

PATH="/usr/local/mysql/bin:$PATH"

        

    3.修改配置文件
        cd /opt/zeppelin-0.5.5
         
        1.根据模板复制相关配置文件
            cp zeppelin-env.sh.template zeppelin-env.sh
            cp zeppelin-site.xml.template zeppelin-site.xml
        2.创建相关目录
            mkdir /opt/zeppelin-0.5.5/logs
            mkdir /opt/zeppelin-0.5.5/tmp
        3.修改配置文件参数
         
            ####zeppelin-env.sh####
            export JAVA_HOME=/usr/java/jdk1.8.0_65
            export HADOOP_CONF_DIR=/opt/hadoop-2.5.2/etc/hadoop   //如果需要读取hdfs的文件  则必须配置此条
 
            export MASTER=spark://hadoop.master:7077      //使用spark 集群模式
            export SPARK_HOME=/opt/spark-1.6.0
            export SPARK_SUBMIT_OPTIONS="--driver-memory 500M --executor-memory 500m"   //可以根据实际内存情况进行调整
 
            export ZEPPELIN_JAVA_OPTS="-Dspark.executor.memory=500m -Dspark.cores.max=1"  //可以根据实际内存情况进行调整
            export ZEPPELIN_MEM="-Xmx500m -XX:MaxPermSize=500m"     //可以根据实际内存情况进行调整
            export ZEPPELIN_LOG_DIR=/opt/zeppelin-0.5.6/logs


我们的zeppelin-env.sh配置如下

export  SPARK_MASTER_IP=127.0.0.1

export  SPARK_LOCAL_IP=127.0.0.1

export ZEPPELIN_MEM="-Xms1024m -Xmx16384m -XX:MaxPermSize=16384m"


             
            ####zeppelin-site.xml####
            
              zeppelin.server.addr
              hadoop.slaver3         //主机名或Ip  当前主机
              Server address
            
 
            
              zeppelin.server.port
              8084                        //不一定非要一致  但这个端口是通过web访问的端口
              Server port.
            



        4.启动
            zeppelin-daemon.sh start
        5.验证
            主机名:端口    //能显示界面则表示安装成功
            

安装spark ha集群

1.默认安装好hadoop+zookeeper
2.安装scala
    1.解压安装包
        tar zxvf scala-2.11.7.tgz
    2.配置环境变量
        vim /etc/profile
         
        #scala
        export SCALA_HOME=/opt/scala-2.11.7
         
        #CLASSPATH
        export CLASSPATH=$CLASSPATH:$SCALA_HOME/lib
         
        #PATH
        export PATH=$PATH:$SCALA_HOME/bin
         
        保存退出
         
        source /etc/profile
    3.验证
        scala -version
                 
3.安装spark
    1.解压安装包
        tar zxvf spark-1.6.0-bin-hadoop2.4.tgz
    2.配置环境变量
        vim /etc/profile
         
        #spark
        export SPARK_HOME=/opt/spark-1.6.0
         
        #CLASSPATH
        export CLASSPATH=$CLASSPATH:$SPARK_HOME/lib
         
        #PATH
        export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
         
        保存退出
         

        source /etc/profile


我们的/etc/profile配置如下


export LANG=zh_CN.GBK

export LC_ALL=zh_CN.GBK


export PATH=$PATH:/usr/local/python2.7.6/bin/


export JAVA_HOME=/usr/java/jdk1.8.0_101

export CLASSPATH=$JAVA_HOME/lib/tools.jar

export PATH=$JAVA_HOME/bin:$PATH

export PATH="/usr/local/mysql/bin:$PATH"

#set for nodejs

export NODE_HOME=/usr/local/nodejs

export PATH=$NODE_HOME/bin:$PATH

PATH="/usr/local/mysql/bin:$PATH"


         

    3.修改配置文件
        1.根据模板复制相关配置文件
            cp spark-env.sh.template spark-env.sh
            cp slaves.template slaves
            cp log4j.properties.template log4j.properties
            cp spark-defaults.conf.template spark-defaults.conf
        2.创建相关目录
            mkdir /opt/spark-1.6.0/logs
            mkdir /opt/spark-1.6.0/tmp
            hadoop fs -mkdir /spark //在hdfs上创建存储spark的任务日志文件
        3.修改配置文件参数
            ####spark-env.sh#### 最后加入 其中hadoop.master为主节点 hadoop.slaver1为备份主节点
            export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoop.master:2181,hadoop.slaver1:2181 -Dspark.deploy.zookeeper.dir=/spark"
            export JAVA_HOME=/usr/java/jdk1.8.0_65
            export SPARK_WORKER_CORES=1
            export SPARK_WORKER_INSTANCES=1

            export SPARK_WORKER_MEMORY=1g


我们的spark-env.sh配置如下


export SPARK_DIST_CLASSPATH=$(/home/haoren/soft/hadoop/bin/hadoop classpath)



#export SPARK_CLASSPATH=$SPARK_CLASSPATH:/home/haoren/soft/mysql-connector-java-5.1.40.jar

#export SPARK_MASTER_PORT=17077

#export SPARK_MASTER_HOST=222.192.205.26

#export SPARK_MASTER_WEBUI_PORT=18082


             

            ####slaves####将所有的从节点主机名加入
            hadoop.slaver1
            hadoop.slaver2
            hadoop.slaver3
             
            ####log4j.properties####
            无需修改
             
             
            ####spark-defaults.conf####
            spark.eventLog.enabled  true
            spark.eventLog.dir      hdfs://ns1:8020/spark
            spark.history.fs.logDirectory      hdfs://ns1:8020/spark
            spark.eventLog.compress true
             
    4.分发到各个节点
        scp -r /opt/spark-1.6.0 hadoop@hadoop.slaver1:/opt
        scp -r /opt/spark-1.6.0 hadoop@hadoop.slaver2:/opt
        scp -r /opt/spark-1.6.0 hadoop@hadoop.slaver3:/opt
    5.启动
        //先启动zookeeper 和 hdfs
        sbin/start-all.sh   //注意切换目录  不然跟hadoop的start-all 冲突
         
        spark-shell --master spark://hadoop.master:7077  //集群模式启动客户端
        spark-shell     //单机模式启动客户端
    6.验证
        1.jps
        2.web
            节点主机名:8080  //如果采用默认端口的話则是8080  主节点web
            节点主机名:18080  //主节点 历史任务web
            节点主机名:4040   //子节点正在进行任务web
        3.HA
            在备份主机节点执行 start-master.sh命令
            然后在主机节点把master进程kill掉，此时会自行切换至备份节点(需要几秒钟的缓冲时间)
    7.常用命令
        1.启动
            start-all.sh  //注意切换目录
            start-master.sh
            stop-master.sh
            start-slave.sh 主节点:7077  //默认端口  如果不修改的話
            start-history-server.sh   //启动任务历史服务
        2.使用
            1.本机模式
                运行 spark-shell
            2.yarn
                打包运行jar包
                spark-submit
                --master spark://spark113:7077
                --class org.apache.spark.examples.SparkPi
                --name Spark-Pi --executor-memory 400M
                --driver-memory 512M
                /opt/spark-1.6.0/lib/spark-examples-1.6.0-hadoop2.4.0.jar
            3.wordcount
                val file=sc.textFile("hdfs://ns1:8020/huangzhijian/test.dat")
                val count=file.flatMap(line => line.split(" ")).map(word => (word,1)).reduceByKey(_+_)
                count.saveAsTextFile("hdfs://ns1:8020/output")  //需保证hdfs上该目录不存在
             
转自http://www.cnblogs.com/ciade/p/5141264.html


cd /home/haoren/soft


总用量 1482780
-rw-r--r--  1 haoren haoren 214092195 10月 11 04:25 hadoop-2.7.3.tar.gz
drwxr-xr-x 11 haoren haoren      4096 10月 11 08:38 hadoop-2.7.3
-rw-r--r--  1 haoren haoren 187275308 10月 12 04:06 spark-2.0.1-bin-hadoop2.7.tgz
-rw-r--r--  1 haoren haoren 541835755 10月 12 15:04 zeppelin-0.6.1-bin-all.tgz
-rw-r--r--  1 haoren haoren 573146004 10月 18 10:36 zeppelin-0.6.2-bin-all.tgz
-rw-rw-r--  1 haoren haoren    983911 10月 18 13:25 mysql-connector-java-5.1.38.jar
-rw-rw-r--  1 haoren haoren    990924 10月 19 03:47 mysql-connector-java-5.1.40.jar
lrwxrwxrwx  1 haoren haoren        43 10月 19 04:12 spark -> /home/haoren/soft/spark-2.0.1-bin-hadoop2.7
lrwxrwxrwx  1 haoren haoren        40 10月 20 08:49 zeppelin -> /home/haoren/soft/zeppelin-0.6.2-bin-all
drwxr-xr-x 14 haoren haoren      4096 10月 21 03:51 spark-2.0.1-bin-hadoop2.7
drwxrwxr-x  2 haoren haoren      4096 11月 17 11:52 python
drwxrwxr-x  3 haoren haoren      4096 11月 24 10:11 hadoop
drwxr-xr-x 13 haoren haoren      4096 3月  14 04:36 zeppelin-0.6.2-bin-all






cd /home/haoren/soft/zeppelin-0.6.2-bin-all/


-rw-r--r--  1 haoren haoren 1791620 10月 12 08:52 zeppelin-web-0.6.2.war
-rw-r--r--  1 haoren haoren  100895 10月 12 08:52 zeppelin-server-0.6.2.jar
-rw-r--r--  1 haoren haoren    8921 10月 12 08:52 README.md
-rw-r--r--  1 haoren haoren    5620 10月 12 08:54 NOTICE
-rw-r--r--  1 haoren haoren   40276 10月 12 08:54 LICENSE
drwxr-xr-x  2 haoren haoren    4096 10月 20 08:49 licenses
drwxr-xr-x 20 haoren haoren    4096 10月 20 08:49 interpreter
drwxr-xr-x  3 haoren haoren    4096 11月 29 03:51 spark-warehouse
drwxr-xr-x  2 haoren haoren   12288 12月  7 14:12 lib
drwxr-xr-x 19 haoren haoren    4096 2月  13 08:23 notebook
drwxr-xr-x  3 haoren haoren    4096 2月  14 03:13 bin
drwxr-xr-x  2 haoren haoren    4096 2月  14 03:15 conf
drwxrwxr-x  5 haoren haoren    4096 2月  22 06:23 metastore_db
-rw-rw-r--  1 haoren haoren   20892 2月  22 06:23 derby.log
drwxrwxr-x  3 haoren haoren    4096 3月  14 04:36 webapps
drwxrwxr-x  2 haoren haoren    4096 3月  14 04:37 run
drwxrwxr-x  2 haoren haoren   28672 3月  23 03:47 logs 




[haoren@IM-SJ01-Server18 zeppelin-0.6.2-bin-all]$ cd interpreter/
[haoren@IM-SJ01-Server18 interpreter]$ ll
总用量 72
drwxr-xr-x 2 haoren haoren 4096 10月 20 08:49 alluxio
drwxr-xr-x 2 haoren haoren 4096 10月 20 08:49 angular
drwxr-xr-x 2 haoren haoren 4096 10月 20 08:49 bqsql
drwxr-xr-x 2 haoren haoren 4096 10月 20 08:49 cassandra
drwxr-xr-x 2 haoren haoren 4096 10月 20 08:49 elasticsearch
drwxr-xr-x 2 haoren haoren 4096 10月 20 08:49 file
drwxr-xr-x 2 haoren haoren 4096 10月 20 08:49 flink
drwxr-xr-x 2 haoren haoren 4096 10月 20 08:49 hbase
drwxr-xr-x 2 haoren haoren 4096 10月 20 08:49 ignite
drwxr-xr-x 2 haoren haoren 4096 10月 20 08:49 jdbc
drwxr-xr-x 2 haoren haoren 4096 10月 20 08:49 kylin
drwxr-xr-x 2 haoren haoren 4096 10月 20 08:49 lens
drwxr-xr-x 2 haoren haoren 4096 10月 20 08:49 livy
drwxr-xr-x 2 haoren haoren 4096 10月 20 08:49 md
drwxr-xr-x 2 haoren haoren 4096 10月 20 08:49 psql
drwxr-xr-x 2 haoren haoren 4096 10月 20 08:49 python
drwxr-xr-x 2 haoren haoren 4096 10月 20 08:49 sh
drwxr-xr-x 5 haoren haoren 4096 10月 12 08:52 spark




[haoren@IM-SJ01-Server18 interpreter]$ cd spark/
[haoren@IM-SJ01-Server18 spark]$ 
[haoren@IM-SJ01-Server18 spark]$ 
[haoren@IM-SJ01-Server18 spark]$ ll -rt
总用量 8824
-rw-r--r-- 1 haoren haoren 9023355 10月 12 08:52 zeppelin-spark_2.11-0.6.2.jar
drwxr-xr-x 3 haoren haoren    4096 10月 20 08:49 R
drwxr-xr-x 2 haoren haoren    4096 10月 20 08:49 pyspark
drwxr-xr-x 2 haoren haoren    4096 10月 20 08:49 dep




[haoren@IM-SJ01-Server18 zeppelin-0.6.2-bin-all]$ cd lib/
[haoren@IM-SJ01-Server18 lib]$ pwd
/home/haoren/soft/zeppelin-0.6.2-bin-all/lib
[haoren@IM-SJ01-Server18 lib]$ 
[haoren@IM-SJ01-Server18 lib]$ ll -rt
总用量 74956
-rw-r--r-- 1 haoren haoren   181421 10月 12 08:52 zeppelin-zengine-0.6.2.jar
-rw-r--r-- 1 haoren haoren  6598422 10月 12 08:52 zeppelin-interpreter-0.6.2.jar
-rw-r--r-- 1 haoren haoren    94672 10月 12 08:52 xz-1.0.jar
-rw-r--r-- 1 haoren haoren   162818 10月 12 08:52 xmlschema-core-2.0.3.jar
-rw-r--r-- 1 haoren haoren    15010 10月 12 08:52 xmlenc-0.52.jar
-rw-r--r-- 1 haoren haoren   220536 10月 12 08:52 xml-apis-1.4.01.jar
-rw-r--r-- 1 haoren haoren   186758 10月 12 08:52 wsdl4j-1.6.3.jar
-rw-r--r-- 1 haoren haoren   482245 10月 12 08:52 woodstox-core-asl-4.2.0.jar
-rw-r--r-- 1 haoren haoren    18300 10月 12 08:52 websocket-servlet-9.2.15.v20160210.jar
-rw-r--r-- 1 haoren haoren    37716 10月 12 08:52 websocket-server-9.2.15.v20160210.jar
-rw-r--r-- 1 haoren haoren   180260 10月 12 08:52 websocket-common-9.2.15.v20160210.jar
-rw-r--r-- 1 haoren haoren    36258 10月 12 08:52 websocket-client-9.2.15.v20160210.jar
-rw-r--r-- 1 haoren haoren    44049 10月 12 08:52 websocket-api-9.2.15.v20160210.jar
-rw-r--r-- 1 haoren haoren   182112 10月 12 08:52 stax2-api-3.1.1.jar
-rw-r--r-- 1 haoren haoren     8866 10月 12 08:52 slf4j-log4j12-1.7.10.jar
-rw-r--r-- 1 haoren haoren    32119 10月 12 08:52 slf4j-api-1.7.10.jar
-rw-r--r-- 1 haoren haoren    25429 10月 12 08:52 regexp-1.3.jar
-rw-r--r-- 1 haoren haoren   102696 10月 12 08:52 reflections-0.9.8.jar
-rw-r--r-- 1 haoren haoren   660316 10月 12 08:52 quartz-2.2.1.jar
-rw-r--r-- 1 haoren haoren   533455 10月 12 08:52 protobuf-java-2.5.0.jar
-rw-r--r-- 1 haoren haoren   250546 10月 12 08:52 plexus-utils-1.5.6.jar
-rw-r--r-- 1 haoren haoren  2162975 10月 12 08:52 org.eclipse.jgit-4.1.1.201511131810-r.jar
-rw-r--r-- 1 haoren haoren     4399 10月 12 08:52 org.eclipse.jdt.annotation-1.1.0.jar
-rw-r--r-- 1 haoren haoren    69858 10月 12 08:52 maven-scm-provider-svnexe-1.4.jar
-rw-r--r-- 1 haoren haoren    40066 10月 12 08:52 maven-scm-provider-svn-commons-1.4.jar
-rw-r--r-- 1 haoren haoren    94421 10月 12 08:52 maven-scm-api-1.4.jar
-rw-r--r-- 1 haoren haoren   266751 10月 12 08:52 lucene-sandbox-5.3.1.jar
-rw-r--r-- 1 haoren haoren   401310 10月 12 08:52 lucene-queryparser-5.3.1.jar
-rw-r--r-- 1 haoren haoren   212088 10月 12 08:52 lucene-queries-5.3.1.jar
-rw-r--r-- 1 haoren haoren    33291 10月 12 08:52 lucene-memory-5.3.1.jar
-rw-r--r-- 1 haoren haoren   119046 10月 12 08:52 lucene-join-5.3.1.jar
-rw-r--r-- 1 haoren haoren   144470 10月 12 08:52 lucene-highlighter-5.3.1.jar
-rw-r--r-- 1 haoren haoren  2356393 10月 12 08:52 lucene-core-5.3.1.jar
-rw-r--r-- 1 haoren haoren  1562970 10月 12 08:52 lucene-analyzers-common-5.3.1.jar
-rw-r--r-- 1 haoren haoren   489884 10月 12 08:52 log4j-1.2.17.jar
-rw-r--r-- 1 haoren haoren    33015 10月 12 08:52 jsr305-1.3.9.jar
-rw-r--r-- 1 haoren haoren   100636 10月 12 08:52 jsp-api-2.1.jar
-rw-r--r-- 1 haoren haoren   280205 10月 12 08:52 jsch-0.1.53.jar
-rw-r--r-- 1 haoren haoren   621931 10月 12 08:52 joda-time-2.8.1.jar
-rw-r--r-- 1 haoren haoren    44133 10月 12 08:52 jetty-xml-9.2.15.v20160210.jar
-rw-r--r-- 1 haoren haoren   107861 10月 12 08:52 jetty-webapp-9.2.15.v20160210.jar
-rw-r--r-- 1 haoren haoren   368398 10月 12 08:52 jetty-util-9.2.15.v20160210.jar
-rw-r--r-- 1 haoren haoren   177131 10月 12 08:52 jetty-util-6.1.26.jar
-rw-r--r-- 1 haoren haoren   115718 10月 12 08:52 jetty-servlet-9.2.15.v20160210.jar
-rw-r--r-- 1 haoren haoren   419101 10月 12 08:52 jetty-server-9.2.15.v20160210.jar
-rw-r--r-- 1 haoren haoren    95897 10月 12 08:52 jetty-security-9.2.15.v20160210.jar
-rw-r--r-- 1 haoren haoren   108321 10月 12 08:52 jetty-io-9.2.15.v20160210.jar
-rw-r--r-- 1 haoren haoren   126765 10月 12 08:52 jetty-http-9.2.15.v20160210.jar
-rw-r--r-- 1 haoren haoren   234216 10月 12 08:52 jetty-client-9.2.15.v20160210.jar
-rw-r--r-- 1 haoren haoren   539912 10月 12 08:52 jetty-6.1.26.jar
-rw-r--r-- 1 haoren haoren   539735 10月 12 08:52 jets3t-0.9.0.jar
-rw-r--r-- 1 haoren haoren   125580 10月 12 08:52 jersey-servlet-1.13.jar
-rw-r--r-- 1 haoren haoren   600112 10月 12 08:52 jersey-server-1.13.jar
-rw-r--r-- 1 haoren haoren   465649 10月 12 08:52 jersey-core-1.13.jar
-rw-r--r-- 1 haoren haoren  1112659 10月 12 08:52 jaxb-impl-2.2.6.jar
-rw-r--r-- 1 haoren haoren    95806 10月 12 08:52 javax.servlet-api-3.1.0.jar
-rw-r--r-- 1 haoren haoren    18490 10月 12 08:52 java-xmlbuilder-0.4.jar
-rw-r--r-- 1 haoren haoren   644148 10月 12 08:52 javassist-3.12.1.GA.jar
-rw-r--r-- 1 haoren haoren   125146 10月 12 08:52 JavaEWAH-0.7.9.jar
-rw-r--r-- 1 haoren haoren    76844 10月 12 08:52 jasper-runtime-5.5.23.jar
-rw-r--r-- 1 haoren haoren   408133 10月 12 08:52 jasper-compiler-5.5.23.jar
-rw-r--r-- 1 haoren haoren   780664 10月 12 08:52 jackson-mapper-asl-1.9.13.jar
-rw-r--r-- 1 haoren haoren   232248 10月 12 08:52 jackson-core-asl-1.9.13.jar
-rw-r--r-- 1 haoren haoren   303094 10月 12 08:52 jackrabbit-webdav-1.5.2.jar
-rw-r--r-- 1 haoren haoren   202835 10月 12 08:52 jackrabbit-jcr-commons-1.5.2.jar
-rw-r--r-- 1 haoren haoren   282793 10月 12 08:52 httpcore-4.3.3.jar
-rw-r--r-- 1 haoren haoren   592008 10月 12 08:52 httpclient-4.3.6.jar
-rw-r--r-- 1 haoren haoren    31212 10月 12 08:52 htrace-core-3.0.4.jar
-rw-r--r-- 1 haoren haoren  2172168 10月 12 08:52 guava-15.0.jar
-rw-r--r-- 1 haoren haoren   189612 10月 12 08:52 gson-2.2.jar
-rw-r--r-- 1 haoren haoren    96323 10月 12 08:52 geronimo-servlet_3.0_spec-1.0.jar
-rw-r--r-- 1 haoren haoren   223298 10月 12 08:52 geronimo-javamail_1.4_spec-1.7.1.jar
-rw-r--r-- 1 haoren haoren   313898 10月 12 08:52 dom4j-1.6.1.jar
-rw-r--r-- 1 haoren haoren    96631 10月 12 08:52 cxf-rt-transports-http-jetty-2.7.7.jar
-rw-r--r-- 1 haoren haoren   255839 10月 12 08:52 cxf-rt-transports-http-2.7.7.jar
-rw-r--r-- 1 haoren haoren   636458 10月 12 08:52 cxf-rt-frontend-jaxrs-2.7.7.jar
-rw-r--r-- 1 haoren haoren   407248 10月 12 08:52 cxf-rt-core-2.7.7.jar
-rw-r--r-- 1 haoren haoren    38694 10月 12 08:52 cxf-rt-bindings-xml-2.7.7.jar
-rw-r--r-- 1 haoren haoren  1089367 10月 12 08:52 cxf-api-2.7.7.jar
-rw-r--r-- 1 haoren haoren   248171 10月 12 08:52 curator-recipes-2.6.0.jar
-rw-r--r-- 1 haoren haoren   185245 10月 12 08:52 curator-framework-2.6.0.jar
-rw-r--r-- 1 haoren haoren    68866 10月 12 08:52 curator-client-2.6.0.jar
-rw-r--r-- 1 haoren haoren   415578 10月 12 08:52 commons-vfs2-2.0.jar
-rw-r--r-- 1 haoren haoren   273370 10月 12 08:52 commons-net-3.1.jar
-rw-r--r-- 1 haoren haoren  1599627 10月 12 08:52 commons-math3-3.1.1.jar
-rw-r--r-- 1 haoren haoren    60686 10月 12 08:52 commons-logging-1.1.1.jar
-rw-r--r-- 1 haoren haoren   279193 10月 12 08:52 commons-lang-2.5.jar
-rw-r--r-- 1 haoren haoren   185140 10月 12 08:52 commons-io-2.4.jar
-rw-r--r-- 1 haoren haoren   279383 10月 12 08:52 commons-httpclient-3.0.jar
-rw-r--r-- 1 haoren haoren   112341 10月 12 08:52 commons-el-1.0.jar
-rw-r--r-- 1 haoren haoren   358048 10月 12 08:52 commons-configuration-1.9.jar
-rw-r--r-- 1 haoren haoren   241367 10月 12 08:52 commons-compress-1.4.1.jar
-rw-r--r-- 1 haoren haoren   575389 10月 12 08:52 commons-collections-3.2.1.jar
-rw-r--r-- 1 haoren haoren    73098 10月 12 08:52 commons-codec-1.5.jar
-rw-r--r-- 1 haoren haoren    41123 10月 12 08:52 commons-cli-1.2.jar
-rw-r--r-- 1 haoren haoren   608376 10月 12 08:52 c3p0-0.9.1.1.jar
-rw-r--r-- 1 haoren haoren   697311 10月 12 08:52 azure-storage-4.0.0.jar
-rw-r--r-- 1 haoren haoren   614130 10月 12 08:52 aws-java-sdk-s3-1.10.62.jar
-rw-r--r-- 1 haoren haoren   345506 10月 12 08:52 aws-java-sdk-kms-1.10.62.jar
-rw-r--r-- 1 haoren haoren   592622 10月 12 08:52 aws-java-sdk-core-1.10.62.jar
-rw-r--r-- 1 haoren haoren    43033 10月 12 08:52 asm-3.1.jar
-rw-r--r-- 1 haoren haoren    79912 10月 12 08:52 api-util-1.0.0-M20.jar
-rw-r--r-- 1 haoren haoren    16560 10月 12 08:52 api-asn1-api-1.0.0-M20.jar
-rw-r--r-- 1 haoren haoren   691479 10月 12 08:52 apacheds-kerberos-codec-2.0.0-M15.jar
-rw-r--r-- 1 haoren haoren    44925 10月 12 08:52 apacheds-i18n-2.0.0-M15.jar
-rw-r--r-- 1 haoren haoren   142474 10月 12 08:52 shiro-web-1.2.3.jar
-rw-r--r-- 1 haoren haoren   367458 10月 12 08:52 shiro-core-1.2.3.jar
-rw-r--r-- 1 haoren haoren   648678 10月 12 08:52 scala-xml_2.11-1.0.2.jar
-rw-r--r-- 1 haoren haoren  4576443 10月 12 08:52 scala-reflect-2.11.7.jar
-rw-r--r-- 1 haoren haoren   423753 10月 12 08:52 scala-parser-combinators_2.11-1.0.4.jar
-rw-r--r-- 1 haoren haoren  5745606 10月 12 08:52 scala-library-2.11.7.jar
-rw-r--r-- 1 haoren haoren 15244851 10月 12 08:52 scala-compiler-2.11.7.jar
-rw-r--r-- 1 haoren haoren   110928 10月 12 08:52 javax.ws.rs-api-2.0-m10.jar
-rw-r--r-- 1 haoren haoren   232019 10月 12 08:52 commons-beanutils-1.8.3.jar
-rw-rw-r-- 1 haoren haoren   990924 10月 20 08:56 mysql-connector-java-5.1.40.jar
-rw-r--r-- 1 haoren haoren  1171380 10月 20 09:13 jackson-databind-2.6.5.jar
-rw-r--r-- 1 haoren haoren   258876 10月 20 09:13 jackson-core-2.6.5.jar
-rw-r--r-- 1 haoren haoren    46983 10月 20 09:13 jackson-annotations-2.6.5.jar
-rw-r--r-- 1 haoren haoren    40863 10月 20 09:24 hadoop-annotations-2.7.3.jar
-rw-r--r-- 1 haoren haoren    94150 10月 20 09:24 hadoop-auth-2.7.3.jar
-rw-r--r-- 1 haoren haoren  3479293 10月 20 09:24 hadoop-common-2.7.3.jar
-rw-r--r-- 1 haoren haoren   660209 12月  7 14:10 elasticsearch-spark-20_2.11-5.0.2.jar






cd /home/haoren/soft/zeppelin-0.6.2-bin-all/conf


[haoren@IM-SJ01-Server18 conf]$ ll -rt
总用量 96
-rwxr-xr-x 1 haoren haoren 10340 10月 12 08:52 zeppelin-site.xml.template
-rw-r--r-- 1 haoren haoren  5290 10月 12 08:52 zeppelin-env.sh.template
-rw-r--r-- 1 haoren haoren  4731 10月 12 08:52 zeppelin-env.cmd.template
-rw-r--r-- 1 haoren haoren  1651 10月 12 08:52 README.md
-rw-r--r-- 1 haoren haoren  1382 10月 12 08:52 log4j.properties
-rw-r--r-- 1 haoren haoren  2463 10月 12 08:52 interpreter-list
-rw-r--r-- 1 haoren haoren  1326 10月 12 08:52 configuration.xsl
-rwxr-xr-x 1 haoren haoren 10341 10月 20 08:50 zeppelin-site.xml
-rw-r--r-- 1 haoren haoren  3612 12月 23 12:51 shiro.ini
-rw-rw-r-- 1 haoren haoren 23075 2月  10 02:53 interpreter.json
-rw-rw-r-- 1 haoren haoren  1337 2月  13 08:23 notebook-authorization.json
-rw-r--r-- 1 haoren haoren  5516 2月  14 03:15 zeppelin-env.sh


[haoren@IM-SJ01-Server18 conf]$ grep -v "#" zeppelin-env.sh


export ZEPPELIN_JAVA_OPTS="-Dspark.executor.memory=16g -Dspark.cores.max=24"




export  SPARK_MASTER_IP=127.0.0.1
export  SPARK_LOCAL_IP=127.0.0.1
export ZEPPELIN_MEM="-Xms1024m -Xmx16384m -XX:MaxPermSize=16384m"  






[haoren@IM-SJ01-Server18 conf]$ grep -v "#" shiro.ini


[users]
admin = haoren@123.com_z
user1 = password2, role1, role2
user2 = password3, role3
user3 = password4, role2

z = z@haoren123, role1
y = y@haoren124
l = l@haoren333


[main]








sessionManager = org.apache.shiro.web.session.mgt.DefaultWebSessionManager




securityManager.sessionManager = $sessionManager
securityManager.sessionManager.globalSessionTimeout = 86400000
shiro.loginUrl = /api/login


[roles]
role1 = *
role2 = *
role3 = *


[urls]
/api/version = anon
/** = authc 
















[haoren@IM-SJ01-Server18 conf]$  cat zeppelin-site.xml









  zeppelin.server.addr
  0.0.0.0
  Server address




  zeppelin.server.port
  18081
  Server port.




  zeppelin.server.context.path
  /
  Context Path of the Web Application




  zeppelin.war.tempdir
  webapps
  Location of jetty temporary directory




  zeppelin.notebook.dir
  notebook
  path or URI for notebook persist




  zeppelin.notebook.homescreen
 
  id of notebook to be displayed in homescreen. ex) 2A94M5J1Z Empty value displays default home screen




  zeppelin.notebook.homescreen.hide
  false
  hide homescreen notebook from list when this value set to true





































  zeppelin.notebook.storage
  org.apache.zeppelin.notebook.repo.VFSNotebookRepo
  notebook persistence layer implementation




  zeppelin.interpreter.dir
  interpreter
  Interpreter implementation base directory




  zeppelin.interpreter.localRepo
  local-repo
  Local repository for interpreter's additional dependency loading




  zeppelin.interpreters
  org.apache.zeppelin.spark.SparkInterpreter,org.apache.zeppelin.spark.PySparkInterpreter,org.apache.zeppelin.rinterpreter.RRepl,org.apache.zeppelin.rinterpreter.KnitR,org.apache.zeppelin.spark.SparkRInterpreter,org.apache.zeppelin.spark.SparkSqlInterpreter,org.apache.zeppelin.spark.DepInterpreter,org.apache.zeppelin.markdown.Markdown,org.apache.zeppelin.angular.AngularInterpreter,org.apache.zeppelin.shell.ShellInterpreter,org.apache.zeppelin.file.HDFSFileInterpreter,org.apache.zeppelin.flink.FlinkInterpreter,,org.apache.zeppelin.python.PythonInterpreter,org.apache.zeppelin.lens.LensInterpreter,org.apache.zeppelin.ignite.IgniteInterpreter,org.apache.zeppelin.ignite.IgniteSqlInterpreter,org.apache.zeppelin.cassandra.CassandraInterpreter,org.apache.zeppelin.geode.GeodeOqlInterpreter,org.apache.zeppelin.postgresql.PostgreSqlInterpreter,org.apache.zeppelin.jdbc.JDBCInterpreter,org.apache.zeppelin.kylin.KylinInterpreter,org.apache.zeppelin.elasticsearch.ElasticsearchInterpreter,org.apache.zeppelin.scalding.ScaldingInterpreter,org.apache.zeppelin.alluxio.AlluxioInterpreter,org.apache.zeppelin.hbase.HbaseInterpreter,org.apache.zeppelin.livy.LivySparkInterpreter,org.apache.zeppelin.livy.LivyPySparkInterpreter,org.apache.zeppelin.livy.LivySparkRInterpreter,org.apache.zeppelin.livy.LivySparkSQLInterpreter,org.apache.zeppelin.bigquery.BigQueryInterpreter
  Comma separated interpreter configurations. First interpreter become a default




  zeppelin.interpreter.group.order
  spark,md,angular,sh,livy,alluxio,file,psql,flink,python,ignite,lens,cassandra,geode,kylin,elasticsearch,scalding,jdbc,hbase,bigquery
 




  zeppelin.interpreter.connect.timeout
  30000
  Interpreter process connect timeout in msec.






  zeppelin.ssl
  false
  Should SSL be used by the servers?




  zeppelin.ssl.client.auth
  false
  Should client authentication be used for SSL connections?




  zeppelin.ssl.keystore.path
  keystore
  Path to keystore relative to Zeppelin configuration directory




  zeppelin.ssl.keystore.type
  JKS
  The format of the given keystore (e.g. JKS or PKCS12)




  zeppelin.ssl.keystore.password
  change me
  Keystore password. Can be obfuscated by the Jetty Password tool







  zeppelin.ssl.truststore.path
  truststore
  Path to truststore relative to Zeppelin configuration directory. Defaults to the keystore path




  zeppelin.ssl.truststore.type
  JKS
  The format of the given truststore (e.g. JKS or PKCS12). Defaults to the same type as the keystore type







  zeppelin.server.allowed.origins
  *
  Allowed sources for REST and WebSocket requests (i.e. ). If you leave * you are vulnerable to




  zeppelin.anonymous.allowed
  true
  Anonymous user allowed by default




  zeppelin.websocket.max.text.message.size
  1024000
  Size in characters of the maximum text message to be received by websocket. Defaults to 1024000



 




cd /home/haoren/soft/spark-2.0.1-bin-hadoop2.7




[haoren@IM-SJ01-Server18 spark-2.0.1-bin-hadoop2.7]$ ll -rt
总用量 120
drwxr-xr-x 2 haoren haoren  4096 9月  29 00:03 yarn
-rw-r--r-- 1 haoren haoren   120 9月  29 00:03 RELEASE
drwxr-xr-x 3 haoren haoren  4096 9月  29 00:03 R
drwxr-xr-x 6 haoren haoren  4096 9月  29 00:03 python
-rw-r--r-- 1 haoren haoren 24749 9月  29 00:03 NOTICE
drwxr-xr-x 2 haoren haoren  4096 9月  29 00:03 licenses
-rw-r--r-- 1 haoren haoren 17811 9月  29 00:03 LICENSE
drwxr-xr-x 4 haoren haoren  4096 9月  29 00:03 examples
drwxr-xr-x 5 haoren haoren  4096 9月  29 00:03 data
drwxr-xr-x 2 haoren haoren  4096 9月  29 00:03 bin
-rw-r--r-- 1 haoren haoren  3828 9月  29 00:03 README.md
drwxrwxr-x 2 haoren haoren  4096 10月 19 06:14 work
-rw-rw-r-- 1 haoren haoren  5014 10月 21 03:40 derby.log
drwxrwxr-x 2 haoren haoren  4096 10月 21 03:50 logs
drwxr-xr-x 2 haoren haoren  4096 10月 21 08:59 sbin
drwxr-xr-x 2 haoren haoren 12288 12月  7 13:40 jars
drwxr-xr-x 2 haoren haoren  4096 2月   9 10:00 conf 




[haoren@IM-SJ01-Server18 spark-2.0.1-bin-hadoop2.7]$ cd conf/
[haoren@IM-SJ01-Server18 conf]$ pwd
/home/haoren/soft/spark-2.0.1-bin-hadoop2.7/conf
[haoren@IM-SJ01-Server18 conf]$ ll -rt
总用量 40
-rwxr-xr-x 1 haoren haoren 3861 9月  29 00:03 spark-env.sh.template
-rw-r--r-- 1 haoren haoren 1292 9月  29 00:03 spark-defaults.conf.template
-rw-r--r-- 1 haoren haoren  865 9月  29 00:03 slaves.template
-rw-r--r-- 1 haoren haoren 7239 9月  29 00:03 metrics.properties.template
-rw-r--r-- 1 haoren haoren 2025 9月  29 00:03 log4j.properties.template
-rw-r--r-- 1 haoren haoren 1105 9月  29 00:03 fairscheduler.xml.template
-rw-r--r-- 1 haoren haoren  987 9月  29 00:03 docker.properties.template
-rwxr-xr-x 1 haoren haoren 4143 10月 20 08:48 spark-env.sh


[haoren@IM-SJ01-Server18 conf]$ pwd
/home/haoren/soft/spark-2.0.1-bin-hadoop2.7/conf
[haoren@IM-SJ01-Server18 conf]$ 
[haoren@IM-SJ01-Server18 conf]$ grep -v "#" spark-env.sh


export SPARK_DIST_CLASSPATH=$(/home/haoren/soft/hadoop/bin/hadoop classpath)






[haoren@IM-SJ01-Server18 jars]$ pwd
/home/haoren/soft/spark-2.0.1-bin-hadoop2.7/jars
[haoren@IM-SJ01-Server18 jars]$ 
[haoren@IM-SJ01-Server18 jars]$ ll -rt
总用量 189340
-rw-r--r-- 1 haoren haoren   792964 9月  29 00:03 zookeeper-3.4.6.jar
-rw-r--r-- 1 haoren haoren    94672 9月  29 00:03 xz-1.0.jar
-rw-r--r-- 1 haoren haoren    15010 9月  29 00:03 xmlenc-0.52.jar
-rw-r--r-- 1 haoren haoren  1229125 9月  29 00:03 xercesImpl-2.9.1.jar
-rw-r--r-- 1 haoren haoren   144660 9月  29 00:03 xbean-asm5-shaded-4.4.jar
-rw-r--r-- 1 haoren haoren    63777 9月  29 00:03 validation-api-1.1.0.Final.jar
-rw-r--r-- 1 haoren haoren   290506 9月  29 00:03 univocity-parsers-2.1.1.jar
-rw-r--r-- 1 haoren haoren    93210 9月  29 00:03 super-csv-2.2.0.jar
-rw-r--r-- 1 haoren haoren   148627 9月  29 00:03 stringtemplate-3.2.1.jar
-rw-r--r-- 1 haoren haoren   174351 9月  29 00:03 stream-2.7.0.jar
-rw-r--r-- 1 haoren haoren    23346 9月  29 00:03 stax-api-1.0-2.jar
-rw-r--r-- 1 haoren haoren    26514 9月  29 00:03 stax-api-1.0.1.jar
-rw-r--r-- 1 haoren haoren   236660 9月  29 00:03 ST4-4.0.4.jar
-rw-r--r-- 1 haoren haoren    86811 9月  29 00:03 spire-macros_2.11-0.7.4.jar
-rw-r--r-- 1 haoren haoren  7276083 9月  29 00:03 spire_2.11-0.7.4.jar
-rw-r--r-- 1 haoren haoren   669591 9月  29 00:03 spark-yarn_2.11-2.0.1.jar
-rw-r--r-- 1 haoren haoren    41072 9月  29 00:03 spark-unsafe_2.11-2.0.1.jar
-rw-r--r-- 1 haoren haoren    15304 9月  29 00:03 spark-tags_2.11-2.0.1.jar
-rw-r--r-- 1 haoren haoren  2090371 9月  29 00:03 spark-streaming_2.11-2.0.1.jar
-rw-r--r-- 1 haoren haoren  6290315 9月  29 00:03 spark-sql_2.11-2.0.1.jar
-rw-r--r-- 1 haoren haoren    29541 9月  29 00:03 spark-sketch_2.11-2.0.1.jar
-rw-r--r-- 1 haoren haoren    63318 9月  29 00:03 spark-repl_2.11-2.0.1.jar
-rw-r--r-- 1 haoren haoren    55513 9月  29 00:03 spark-network-shuffle_2.11-2.0.1.jar
-rw-r--r-- 1 haoren haoren  2355467 9月  29 00:03 spark-network-common_2.11-2.0.1.jar
-rw-r--r-- 1 haoren haoren   177833 9月  29 00:03 spark-mllib-local_2.11-2.0.1.jar
-rw-r--r-- 1 haoren haoren  5847592 9月  29 00:03 spark-mllib_2.11-2.0.1.jar
-rw-r--r-- 1 haoren haoren    65654 9月  29 00:03 spark-launcher_2.11-2.0.1.jar
-rw-r--r-- 1 haoren haoren  1814300 9月  29 00:03 spark-hive-thriftserver_2.11-2.0.1.jar
-rw-r--r-- 1 haoren haoren  1044501 9月  29 00:03 spark-hive_2.11-2.0.1.jar
-rw-r--r-- 1 haoren haoren   680108 9月  29 00:03 spark-graphx_2.11-2.0.1.jar
-rw-r--r-- 1 haoren haoren 11723542 9月  29 00:03 spark-core_2.11-2.0.1.jar
-rw-r--r-- 1 haoren haoren  6873895 9月  29 00:03 spark-catalyst_2.11-2.0.1.jar
-rw-r--r-- 1 haoren haoren  1056168 9月  29 00:03 snappy-java-1.1.2.6.jar
-rw-r--r-- 1 haoren haoren    48720 9月  29 00:03 snappy-0.2.jar
-rw-r--r-- 1 haoren haoren     9939 9月  29 00:03 slf4j-log4j12-1.7.16.jar
-rw-r--r-- 1 haoren haoren    40509 9月  29 00:03 slf4j-api-1.7.16.jar
-rw-r--r-- 1 haoren haoren   648678 9月  29 00:03 scala-xml_2.11-1.0.2.jar
-rw-r--r-- 1 haoren haoren  4573750 9月  29 00:03 scala-reflect-2.11.8.jar
-rw-r--r-- 1 haoren haoren   423753 9月  29 00:03 scala-parser-combinators_2.11-1.0.4.jar
-rw-r--r-- 1 haoren haoren   802818 9月  29 00:03 scalap-2.11.8.jar
-rw-r--r-- 1 haoren haoren  5744974 9月  29 00:03 scala-library-2.11.8.jar
-rw-r--r-- 1 haoren haoren 15487351 9月  29 00:03 scala-compiler-2.11.8.jar
-rw-r--r-- 1 haoren haoren   201928 9月  29 00:03 RoaringBitmap-0.5.11.jar
-rw-r--r-- 1 haoren haoren    93407 9月  29 00:03 pyrolite-4.9.jar
-rw-r--r-- 1 haoren haoren   114913 9月  29 00:03 py4j-0.10.3.jar
-rw-r--r-- 1 haoren haoren   533455 9月  29 00:03 protobuf-java-2.5.0.jar
-rw-r--r-- 1 haoren haoren     5310 9月  29 00:03 pmml-schema-1.2.15.jar
-rw-r--r-- 1 haoren haoren   654216 9月  29 00:03 pmml-model-1.2.15.jar
-rw-r--r-- 1 haoren haoren  1048110 9月  29 00:03 parquet-jackson-1.7.0.jar
-rw-r--r-- 1 haoren haoren  2796935 9月  29 00:03 parquet-hadoop-bundle-1.6.0.jar
-rw-r--r-- 1 haoren haoren   209622 9月  29 00:03 parquet-hadoop-1.7.0.jar
-rw-r--r-- 1 haoren haoren    21243 9月  29 00:03 parquet-generator-1.7.0.jar
-rw-r--r-- 1 haoren haoren   387188 9月  29 00:03 parquet-format-2.3.0-incubating.jar
-rw-r--r-- 1 haoren haoren   285447 9月  29 00:03 parquet-encoding-1.7.0.jar
-rw-r--r-- 1 haoren haoren    21575 9月  29 00:03 parquet-common-1.7.0.jar
-rw-r--r-- 1 haoren haoren   917052 9月  29 00:03 parquet-column-1.7.0.jar
-rw-r--r-- 1 haoren haoren    29555 9月  29 00:03 paranamer-2.3.jar
-rw-r--r-- 1 haoren haoren    20235 9月  29 00:03 osgi-resource-locator-1.0.1.jar
-rw-r--r-- 1 haoren haoren    65261 9月  29 00:03 oro-2.0.8.jar
-rw-r--r-- 1 haoren haoren    19827 9月  29 00:03 opencsv-2.3.jar
-rw-r--r-- 1 haoren haoren    41755 9月  29 00:03 objenesis-2.1.jar
-rw-r--r-- 1 haoren haoren  2054931 9月  29 00:03 netty-all-4.0.29.Final.jar
-rw-r--r-- 1 haoren haoren  1230201 9月  29 00:03 netty-3.8.0.Final.jar
-rw-r--r-- 1 haoren haoren   409467 9月  29 00:03 mx4j-3.0.2.jar
-rw-r--r-- 1 haoren haoren     5711 9月  29 00:03 minlog-1.3.0.jar
-rw-r--r-- 1 haoren haoren    39280 9月  29 00:03 metrics-jvm-3.1.2.jar
-rw-r--r-- 1 haoren haoren    15827 9月  29 00:03 metrics-json-3.1.2.jar
-rw-r--r-- 1 haoren haoren    20852 9月  29 00:03 metrics-graphite-3.1.2.jar
-rw-r--r-- 1 haoren haoren   112558 9月  29 00:03 metrics-core-3.1.2.jar
-rw-r--r-- 1 haoren haoren  1277883 9月  29 00:03 mesos-0.21.1-shaded-protobuf.jar
-rw-r--r-- 1 haoren haoren   521157 9月  29 00:03 mail-1.4.7.jar
-rw-r--r-- 1 haoren haoren   236880 9月  29 00:03 lz4-1.3.0.jar
-rw-r--r-- 1 haoren haoren   489884 9月  29 00:03 log4j-1.2.17.jar
-rw-r--r-- 1 haoren haoren   227712 9月  29 00:03 libthrift-0.9.2.jar
-rw-r--r-- 1 haoren haoren   313686 9月  29 00:03 libfb303-0.9.2.jar
-rw-r--r-- 1 haoren haoren  1045744 9月  29 00:03 leveldbjni-all-1.8.jar
-rw-r--r-- 1 haoren haoren   358390 9月  29 00:03 kryo-shaded-3.0.3.jar
-rw-r--r-- 1 haoren haoren     4596 9月  29 00:03 jul-to-slf4j-1.7.16.jar
-rw-r--r-- 1 haoren haoren   764569 9月  29 00:03 jtransforms-2.4.0.jar
-rw-r--r-- 1 haoren haoren    15071 9月  29 00:03 jta-1.1.jar
-rw-r--r-- 1 haoren haoren    33015 9月  29 00:03 jsr305-1.3.9.jar
-rw-r--r-- 1 haoren haoren   100636 9月  29 00:03 jsp-api-2.1.jar
-rw-r--r-- 1 haoren haoren    40341 9月  29 00:03 json4s-jackson_2.11-3.2.11.jar
-rw-r--r-- 1 haoren haoren   589462 9月  29 00:03 json4s-core_2.11-3.2.11.jar
-rw-r--r-- 1 haoren haoren    82421 9月  29 00:03 json4s-ast_2.11-3.2.11.jar
-rw-r--r-- 1 haoren haoren    45944 9月  29 00:03 json-20090211.jar
-rw-r--r-- 1 haoren haoren    12131 9月  29 00:03 jpam-1.1.jar
-rw-r--r-- 1 haoren haoren   427780 9月  29 00:03 jodd-core-3.5.2.jar
-rw-r--r-- 1 haoren haoren   627814 9月  29 00:03 joda-time-2.9.3.jar
-rw-r--r-- 1 haoren haoren   213911 9月  29 00:03 jline-2.12.1.jar
-rw-r--r-- 1 haoren haoren   177131 9月  29 00:03 jetty-util-6.1.26.jar
-rw-r--r-- 1 haoren haoren   539912 9月  29 00:03 jetty-6.1.26.jar
-rw-r--r-- 1 haoren haoren  2041628 9月  29 00:03 jets3t-0.9.3.jar
-rw-r--r-- 1 haoren haoren   951701 9月  29 00:03 jersey-server-2.22.2.jar
-rw-r--r-- 1 haoren haoren    72733 9月  29 00:03 jersey-media-jaxb-2.22.2.jar
-rw-r--r-- 1 haoren haoren   971310 9月  29 00:03 jersey-guava-2.22.2.jar
-rw-r--r-- 1 haoren haoren    66270 9月  29 00:03 jersey-container-servlet-core-2.22.2.jar
-rw-r--r-- 1 haoren haoren    18098 9月  29 00:03 jersey-container-servlet-2.22.2.jar
-rw-r--r-- 1 haoren haoren   698375 9月  29 00:03 jersey-common-2.22.2.jar
-rw-r--r-- 1 haoren haoren   167421 9月  29 00:03 jersey-client-2.22.2.jar
-rw-r--r-- 1 haoren haoren   201124 9月  29 00:03 jdo-api-3.0.1.jar
-rw-r--r-- 1 haoren haoren    16430 9月  29 00:03 jcl-over-slf4j-1.7.16.jar
-rw-r--r-- 1 haoren haoren   105134 9月  29 00:03 jaxb-api-2.2.2.jar
-rw-r--r-- 1 haoren haoren   395195 9月  29 00:03 javolution-5.5.1.jar
-rw-r--r-- 1 haoren haoren   115534 9月  29 00:03 javax.ws.rs-api-2.0.1.jar
-rw-r--r-- 1 haoren haoren    95806 9月  29 00:03 javax.servlet-api-3.1.0.jar
-rw-r--r-- 1 haoren haoren    10023 9月  29 00:03 java-xmlbuilder-1.0.jar
-rw-r--r-- 1 haoren haoren     5950 9月  29 00:03 javax.inject-2.4.0-b34.jar
-rw-r--r-- 1 haoren haoren     2497 9月  29 00:03 javax.inject-1.jar
-rw-r--r-- 1 haoren haoren    26366 9月  29 00:03 javax.annotation-api-1.2.jar
-rw-r--r-- 1 haoren haoren   714194 9月  29 00:03 javassist-3.18.1-GA.jar
-rw-r--r-- 1 haoren haoren    16993 9月  29 00:03 JavaEWAH-0.3.2.jar
-rw-r--r-- 1 haoren haoren   613299 9月  29 00:03 janino-2.7.8.jar
-rw-r--r-- 1 haoren haoren    27084 9月  29 00:03 jackson-xc-1.9.13.jar
-rw-r--r-- 1 haoren haoren   515604 9月  29 00:03 jackson-module-scala_2.11-2.6.5.jar
-rw-r--r-- 1 haoren haoren    41263 9月  29 00:03 jackson-module-paranamer-2.6.5.jar
-rw-r--r-- 1 haoren haoren   780664 9月  29 00:03 jackson-mapper-asl-1.9.13.jar
-rw-r--r-- 1 haoren haoren    18336 9月  29 00:03 jackson-jaxrs-1.9.13.jar
-rw-r--r-- 1 haoren haoren  1171380 9月  29 00:03 jackson-databind-2.6.5.jar
-rw-r--r-- 1 haoren haoren   232248 9月  29 00:03 jackson-core-asl-1.9.13.jar
-rw-r--r-- 1 haoren haoren   258876 9月  29 00:03 jackson-core-2.6.5.jar
-rw-r--r-- 1 haoren haoren    46983 9月  29 00:03 jackson-annotations-2.6.5.jar
-rw-r--r-- 1 haoren haoren  1282424 9月  29 00:03 ivy-2.4.0.jar
-rw-r--r-- 1 haoren haoren   326724 9月  29 00:03 httpcore-4.4.4.jar
-rw-r--r-- 1 haoren haoren   736658 9月  29 00:03 httpclient-4.5.2.jar
-rw-r--r-- 1 haoren haoren  1475955 9月  29 00:03 htrace-core-3.1.0-incubating.jar
-rw-r--r-- 1 haoren haoren   118973 9月  29 00:03 hk2-utils-2.4.0-b34.jar
-rw-r--r-- 1 haoren haoren   181271 9月  29 00:03 hk2-locator-2.4.0-b34.jar
-rw-r--r-- 1 haoren haoren   178947 9月  29 00:03 hk2-api-2.4.0-b34.jar
-rw-r--r-- 1 haoren haoren  5505200 9月  29 00:03 hive-metastore-1.2.1.spark2.jar
-rw-r--r-- 1 haoren haoren   100680 9月  29 00:03 hive-jdbc-1.2.1.spark2.jar
-rw-r--r-- 1 haoren haoren 11498852 9月  29 00:03 hive-exec-1.2.1.spark2.jar
-rw-r--r-- 1 haoren haoren    40817 9月  29 00:03 hive-cli-1.2.1.spark2.jar
-rw-r--r-- 1 haoren haoren   138464 9月  29 00:03 hive-beeline-1.2.1.spark2.jar
-rw-r--r-- 1 haoren haoren    58407 9月  29 00:03 hadoop-yarn-server-web-proxy-2.7.3.jar
-rw-r--r-- 1 haoren haoren   388235 9月  29 00:03 hadoop-yarn-server-common-2.7.3.jar
-rw-r--r-- 1 haoren haoren  1678642 9月  29 00:03 hadoop-yarn-common-2.7.3.jar
-rw-r--r-- 1 haoren haoren   165867 9月  29 00:03 hadoop-yarn-client-2.7.3.jar
-rw-r--r-- 1 haoren haoren  2039143 9月  29 00:03 hadoop-yarn-api-2.7.3.jar
-rw-r--r-- 1 haoren haoren    71737 9月  29 00:03 hadoop-mapreduce-client-shuffle-2.7.3.jar
-rw-r--r-- 1 haoren haoren    62304 9月  29 00:03 hadoop-mapreduce-client-jobclient-2.7.3.jar
-rw-r--r-- 1 haoren haoren  1556539 9月  29 00:03 hadoop-mapreduce-client-core-2.7.3.jar
-rw-r--r-- 1 haoren haoren   776634 9月  29 00:03 hadoop-mapreduce-client-common-2.7.3.jar
-rw-r--r-- 1 haoren haoren   542869 9月  29 00:03 hadoop-mapreduce-client-app-2.7.3.jar
-rw-r--r-- 1 haoren haoren  8316190 9月  29 00:03 hadoop-hdfs-2.7.3.jar
-rw-r--r-- 1 haoren haoren  3479293 9月  29 00:03 hadoop-common-2.7.3.jar
-rw-r--r-- 1 haoren haoren    26012 9月  29 00:03 hadoop-client-2.7.3.jar
-rw-r--r-- 1 haoren haoren    94150 9月  29 00:03 hadoop-auth-2.7.3.jar
-rw-r--r-- 1 haoren haoren    40863 9月  29 00:03 hadoop-annotations-2.7.3.jar
-rw-r--r-- 1 haoren haoren    65012 9月  29 00:03 guice-servlet-3.0.jar
-rw-r--r-- 1 haoren haoren   710492 9月  29 00:03 guice-3.0.jar
-rw-r--r-- 1 haoren haoren  2189117 9月  29 00:03 guava-14.0.1.jar
-rw-r--r-- 1 haoren haoren   190432 9月  29 00:03 gson-2.2.4.jar
-rw-r--r-- 1 haoren haoren    18482 9月  29 00:03 eigenbase-properties-1.1.5.jar
-rw-r--r-- 1 haoren haoren  3224708 9月  29 00:03 derby-10.12.1.1.jar
-rw-r--r-- 1 haoren haoren  1809447 9月  29 00:03 datanucleus-rdbms-3.2.9.jar
-rw-r--r-- 1 haoren haoren  1890075 9月  29 00:03 datanucleus-core-3.2.10.jar
-rw-r--r-- 1 haoren haoren   339666 9月  29 00:03 datanucleus-api-jdo-3.2.6.jar
-rw-r--r-- 1 haoren haoren   248171 9月  29 00:03 curator-recipes-2.6.0.jar
-rw-r--r-- 1 haoren haoren   185245 9月  29 00:03 curator-framework-2.6.0.jar
-rw-r--r-- 1 haoren haoren    68866 9月  29 00:03 curator-client-2.6.0.jar
-rw-r--r-- 1 haoren haoren   164422 9月  29 00:03 core-1.1.2.jar
-rw-r--r-- 1 haoren haoren    79845 9月  29 00:03 compress-lzf-1.0.3.jar
-rw-r--r-- 1 haoren haoren    96221 9月  29 00:03 commons-pool-1.5.4.jar
-rw-r--r-- 1 haoren haoren   212453 9月  29 00:03 commons-net-2.2.jar
-rw-r--r-- 1 haoren haoren  2035066 9月  29 00:03 commons-math3-3.4.1.jar
-rw-r--r-- 1 haoren haoren    62050 9月  29 00:03 commons-logging-1.1.3.jar
-rw-r--r-- 1 haoren haoren   412739 9月  29 00:03 commons-lang3-3.3.2.jar
-rw-r--r-- 1 haoren haoren   284220 9月  29 00:03 commons-lang-2.6.jar
-rw-r--r-- 1 haoren haoren   185140 9月  29 00:03 commons-io-2.4.jar
-rw-r--r-- 1 haoren haoren   305001 9月  29 00:03 commons-httpclient-3.1.jar
-rw-r--r-- 1 haoren haoren   143602 9月  29 00:03 commons-digester-1.8.jar
-rw-r--r-- 1 haoren haoren   160519 9月  29 00:03 commons-dbcp-1.4.jar
-rw-r--r-- 1 haoren haoren   298829 9月  29 00:03 commons-configuration-1.6.jar
-rw-r--r-- 1 haoren haoren   241367 9月  29 00:03 commons-compress-1.4.1.jar
-rw-r--r-- 1 haoren haoren    30595 9月  29 00:03 commons-compiler-2.7.6.jar
-rw-r--r-- 1 haoren haoren   588337 9月  29 00:03 commons-collections-3.2.2.jar
-rw-r--r-- 1 haoren haoren   284184 9月  29 00:03 commons-codec-1.10.jar
-rw-r--r-- 1 haoren haoren    41123 9月  29 00:03 commons-cli-1.2.jar
-rw-r--r-- 1 haoren haoren   206035 9月  29 00:03 commons-beanutils-core-1.8.0.jar
-rw-r--r-- 1 haoren haoren   188671 9月  29 00:03 commons-beanutils-1.7.0.jar
-rw-r--r-- 1 haoren haoren    50619 9月  29 00:03 chill-java-0.8.0.jar
-rw-r--r-- 1 haoren haoren   223573 9月  29 00:03 chill_2.11-0.8.0.jar
-rw-r--r-- 1 haoren haoren   442406 9月  29 00:03 calcite-linq4j-1.2.0-incubating.jar
-rw-r--r-- 1 haoren haoren  3519262 9月  29 00:03 calcite-core-1.2.0-incubating.jar
-rw-r--r-- 1 haoren haoren   258370 9月  29 00:03 calcite-avatica-1.2.0-incubating.jar
-rw-r--r-- 1 haoren haoren   135552 9月  29 00:03 breeze-macros_2.11-0.11.2.jar
-rw-r--r-- 1 haoren haoren 13448966 9月  29 00:03 breeze_2.11-0.11.2.jar
-rw-r--r-- 1 haoren haoren   110600 9月  29 00:03 bonecp-0.8.0.RELEASE.jar
-rw-r--r-- 1 haoren haoren  2842667 9月  29 00:03 bcprov-jdk15on-1.51.jar
-rw-r--r-- 1 haoren haoren    17008 9月  29 00:03 base64-2.3.8.jar
-rw-r--r-- 1 haoren haoren   180736 9月  29 00:03 avro-mapred-1.7.7-hadoop2.jar
-rw-r--r-- 1 haoren haoren   192993 9月  29 00:03 avro-ipc-1.7.7.jar
-rw-r--r-- 1 haoren haoren   436303 9月  29 00:03 avro-1.7.7.jar
-rw-r--r-- 1 haoren haoren  1194003 9月  29 00:03 arpack_combined_all-0.1.jar
-rw-r--r-- 1 haoren haoren    79912 9月  29 00:03 api-util-1.0.0-M20.jar
-rw-r--r-- 1 haoren haoren    16560 9月  29 00:03 api-asn1-api-1.0.0-M20.jar
-rw-r--r-- 1 haoren haoren   448794 9月  29 00:03 apache-log4j-extras-1.2.17.jar
-rw-r--r-- 1 haoren haoren   691479 9月  29 00:03 apacheds-kerberos-codec-2.0.0-M15.jar
-rw-r--r-- 1 haoren haoren    44925 9月  29 00:03 apacheds-i18n-2.0.0-M15.jar
-rw-r--r-- 1 haoren haoren    14766 9月  29 00:03 aopalliance-repackaged-2.4.0-b34.jar
-rw-r--r-- 1 haoren haoren     4467 9月  29 00:03 aopalliance-1.0.jar
-rw-r--r-- 1 haoren haoren   164368 9月  29 00:03 antlr-runtime-3.4.jar
-rw-r--r-- 1 haoren haoren   302248 9月  29 00:03 antlr4-runtime-4.5.3.jar
-rw-r--r-- 1 haoren haoren   445288 9月  29 00:03 antlr-2.7.7.jar
-rw-r--r-- 1 haoren haoren    69409 9月  29 00:03 activation-1.1.1.jar
-rw-rw-r-- 1 haoren haoren   990924 10月 20 08:56 mysql-connector-java-5.1.40.jar


阅读(1241) | 评论(0) | 转发(0) |
0

上一篇：python开源项目及示例代码

下一篇：安装Hive(独立模式 使用mysql连接)

给主人留下些什么吧！~~
关于我们 | 关于IT168 | 联系方式 | 广告合作 | 法律声明 | 免费注册

Copyright 2001-2010 ChinaUnix.net All Rights Reserved 北京皓辰网域网络信息技术有限公司. 版权所有

感谢所有关心和支持过ChinaUnix的朋友们

16024965号-6