按类别查询搜索结果
关于关键词 的检测结果,共 359
dulunar | 2016-03-28 17:31:33 | 阅读(3070) | 评论(0)
The output from short read aligners like Bowtie and BWA is commonly stored in SAM/BAM format. When presented with one of these files a common first task is to calculate the total number of alignments (reads) captured in the file. In this post I show some examples for finding the total number of re...【阅读全文】
hell0_world | 2016-03-18 08:05:22 | 阅读(370) | 评论(0)
1. flume安装使用     下载flume安装包http://www.apache.org/dyn/closer.cgi/flume/1.5.2/apache-flume-1.5.2-bin.tar.gz     解压$ tar -xzvf apache-flume-1.5.2-bin.tar.gz -C /opt/flume     flume配置文件放在conf文件目录下,执行文件放在bin文件目录下。  &...【阅读全文】
yueys_canedy | 2016-03-14 20:58:22 | 阅读(22510) | 评论(0)
1. flume安装使用     下载flume安装包http://www.apache.org/dyn/closer.cgi/flume/1.5.2/apache-flume-1.5.2-bin.tar.gz     解压$ tar -xzvf apache-flume-1.5.2-bin.tar.gz -C /opt/flume     flume配置文件放在conf文件目录下,执行文件放在bin文件目录下。  &...【阅读全文】
【大数据】 spark-sql 意事项
UnixStudier | 2016-03-11 16:21:11 | 阅读(4710) | 评论(0)
spark-sql hive 注意【阅读全文】
OowarrioroO | 2016-03-02 12:20:59 | 阅读(6570) | 评论(0)
1.问题
? 在运行spark app时,屏幕上总会刷屏似的输出大量日志信息,详细介绍程序运行过程,但这样有时也不便我们调试应用。只输出警告和程序输出一般就足够我们参考,再详细的内容课题通过web ui更直观的查看。
?2.解决方法
?进行如下设置:

点击(此处)折叠或打开

cd $SPARK_HOME/conf
cp log4j.properties.template log4j.properties【阅读全文】
OowarrioroO | 2016-03-01 15:32:01 | 阅读(3800) | 评论(0)
1.查看正在运行app的信息
?访问master WEB UI : http://master:8080
?然后点击Running Applications 下Application ID或者Name查看信息
2.查看运行完成app的信息
?按照上面在master WEB UI中的操作方法访问
?会产生报错内容:No event logs were found for this application! To enable event logging, set spark.eventLog.enabled to true and spark.eventLog.dir to the directory to which your event logs are written.
解决办法:按照报错内容
? (1)在$SPARK_HOME/conf中的创建spark-defaults.conf
然后在spark-defaults.conf中添加如下数据
(2)切换到/tmp/目录下,看有没有spark-events文件夹
经过【阅读全文】
FineReport爱好者 | 2016-02-29 18:20:20 | 阅读(740) | 评论(0)
     随着某集团20多年的不断发展发展,现已成为中国500强、中国大企业集团竞争力前25强、中国信息化标杆企业和国家重点火炬高新技术企业。拥有总资产数十亿元、员工数万名,涉足电力、家电、能源、等多个行业,并拥有房产、医疗、物流多项投资项目。该集团在全国拥有六大生产基地,总面积达数...【阅读全文】
呆若 | 2016-02-17 17:13:16 | 阅读(2110) | 评论(0)
redis info命令一共打印8个方面的信息:server,clients,memory,persistence,stats,replication,cpu,keyspaces 八个方面的信息info命令以一种易读的格式,返回关于 Redis 服务器的各种信息和统计数值。[codis@192_168_171_135 ~]$ ./redis-cli -h 192.168.171.140 -p 6382192.168.171.140:6382> info# Server &nbs...【阅读全文】
levy-linux | 2016-01-26 11:52:19 | 阅读(2030) | 评论(0)
常用的基本上UCI和w3c的。关于源代码,网上有很多公开源码的算法包,例如最为著名的Weka,MLC++等。Weka还在不断的更新其算法,下载地址:http://www.cs.waikato.ac.nz/ml/weka/UCI收集的机器学习数据集ftp://pami.sjtu.edu.cnhttp://www.ics.uci.edu/~mlearn/\MLRepository.htmstatlibhttp://liama.ia.ac.cn/SCILA...【阅读全文】
qhanchen | 2016-01-20 16:02:39 | 阅读(290) | 评论(0)
美国节点服务器租用,E3-1230V3高配性能更佳A2型E3-1230v316 GB1t5个独立 IP 100Mbps/不限800 元/月 节点服务器1、独立的节点服务器增强了数据的安全性2、节点服务器增加了网站的访问速度3、节点服务器减少主服务器的负载,大大提高了网站的稳定性4、节点服务器增加了吐量,在客户投资最少的情况下增加服务器的...【阅读全文】
qhanchen | 2016-01-20 16:00:59 | 阅读(140) | 评论(0)
美国节点服务器租用,E3-1230V3高配性能更佳A2型E3-1230v316 GB1t5个独立 IP 100Mbps/不限800 元/月 节点服务器1、独立的节点服务器增强了数据的安全性2、节点服务器增加了网站的访问速度3、节点服务器减少主服务器的负载,大大提高了网站的稳定性4、节点服务器增加了吐量,在客户投资最少的情况下增加服务器的...【阅读全文】
qingheliu | 2016-01-19 19:28:54 | 阅读(3830) | 评论(0)
本想安装好hive,启动hive-meta服务后,配置好hive 客户端,执行hive 就可以连接了,接下来一系列没想到啊.....1:Failed with exception java.io.IOException:java.net.ConnectException: Call From slave1/192.168.220.139 to master:9000 failed on connection exception: java.net.ConnectException: Connection refuse...【阅读全文】
wsysx | 2016-01-19 13:11:33 | 阅读(1930) | 评论(0)
文章转自: http://www.cnblogs.com/panfeng412/archive/2012/12/24/applications-scenario-summary-of-compression-algorithms.htmlGZIP、LZO、Zippy/Snappy是常用的几种压缩算法,各自有其特点,因此适用的应用场景也不尽相同。这里结合相关工程实践的情况,做一次小结。压缩算法的比较以下是Google几年...【阅读全文】
【大数据】 jstorm 常命令
qingheliu | 2016-01-14 13:46:51 | 阅读(2510) | 评论(0)
1:jstorm update_topology  -jar    /home/hadoop/txOdds-1.0.1-SNAPSHOT.jar   -conf  /home/hadoop/jstorm/jstorm/conf/storm.yaml2:  jstorm list3:  jstorm kill  TxOddsTopology4:jstorm jar  /home/hadoop/txOdds-1.0.1-SNAPSHOT.jar  com.jdd.da...【阅读全文】
lll890717 | 2016-01-14 10:19:59 | 阅读(730) | 评论(0)
据开发人员披露,Ubuntu Touch移动操作系统也将提供对用户数据加密的支持。不过需要指出的是,尽管这已经不是一个秘密,但它也不会是即将到来的一个特性。在一条被埋藏的wiki条目中,我们得知了Ubuntu Touch的这一计划。我们很高兴它已经处在考虑之中,即使它并不会很快到来。在说它是一个移动操作系统之前,Ubuntu...【阅读全文】
jiangwen127 | 2015-12-23 10:34:47 | 阅读(2050) | 评论(0)
利用卷积神经网络(CNN)构造社区问答系统2015-12-19 张俊林 布洛卡区 问答社区算是一类已经比较成熟的互联网应用了,国外的比如Quora、StackOverflow,国内的比如老派的百度知道,新一代的知乎,都算是代表性的社交类问答社区。问答社区本质上就是个人肉知识库,通过一段时间的积累,会累积相当多...【阅读全文】
qingheliu | 2015-12-22 15:23:46 | 阅读(7690) | 评论(0)
jstorm 使用过程中遇到的问题1:Exception in thread "main" java.lang.SecurityException: Invalid signature file digest for Manifest main attributes原因:jar文件的问题,google下,发现和maven打包有关系!和研发同时沟通后...【阅读全文】
manshukwan | 2015-12-21 15:57:59 | 阅读(670) | 评论(0)
李紹祥(黑龍江)的作品※※※※※※欣賞導航,幻方的4角數是:-1,4,2-3。8階幻和=4,同心6階幻和=3,同心4階幻和=2。這是一個「下限值」的類自然數8階同心幻方。※※※李紹祥先生對此類幻方有獨特的見解;關於類自然數同心幻方幻和最小值問題,個人認為为n階加框幻方加框需要2(n-1)對數字組成,當加框的數對最小絕對...【阅读全文】
【大数据】 统计学常名词
jackson1668 | 2015-12-15 14:43:31 | 阅读(890) | 评论(0)
population mean 总体平均值  符号为μsample mean 样本平均值  【阅读全文】
【大数据】 证券资分析
sytpb | 2015-12-05 09:57:42 | 阅读(0) | 评论(0)
--------------------------------------证券投资分析--------------------------------------判断股票的流动性主要分析1市场深度  2 报价紧密度 3 价格弹性和恢复力 ? [量化]所谓套利组合,是指满足以下条件1组合中各证券权数和为零,2 组合中因数灵敏度系数为零 3 组合有正的期望收益率证券或组...【阅读全文】