发布时间：2016-01-12 13:15:25

# redis 配置文件示例 # 当你需要为某个配置项指定内存大小的时候，必须要带上单位，# 通常的格式就是 1k 5gb 4m 等酱紫：## 1k  => 1000 bytes# 1kb => 1024 bytes# 1m  => 1000000 bytes# 1mb => 1024*1024 bytes# 1g  => 1000000000 bytes# 1gb => 1024*1024*1024 bytes## 单位是不区分.........【阅读全文】

发布时间：2015-12-30 15:25:02

跑job 的时候发现如下错误，Container [pid=41355,containerID=container_1451456053773_0001_01_000002] is running beyond physical memory limits. Current usage: 2.0 GB of 2 GB physical memory used; 5.2 GB of 4.2 GB virtual memory used. Killing container. Dump of the process-tree for container_1451456.........【阅读全文】

发布时间：2015-12-30 10:32:33

Codis搭建部署codis1 10.111.32.51    codis-proxy,redis master,redis slavecodis2 10.111.32.52    codis-proxy,redis master,redis slavecodis3 10.111.32.53    redis master,redis slave部署codis集群1.安装go语言（在3台服务器上）tar -zxvf go1.4.linux-amd6.........【阅读全文】

发布时间：2015-12-29 11:48:29

近期发现分析部门同事告知，hive处理原始数据的时候总是不能执行完成，报错如下，这个问题是avro的文件不完整：Diagnostic Messages for this Task:Error: java.io.IOException: java.io.IOException: org.apache.avro.AvroRuntimeException: java.io.IOException: Invalid sync!      &n.........【阅读全文】

发布时间：2015-12-24 15:04:06

环境说明：A  192.168.1.27B  192.168.20.9C  192.168.25.90 A可以访问B，不能访问C，B可以访问C客户端指能ssh登录A，无法直接登录B和C，A设置代理可以访问B的web界面，但无法访问C的界面，解决方法：SSH映射端口跳转ssh -l root -L 192.168.20.9:8800:192.168.25.90:8080 192.168.20.9ssh -l 对.........【阅读全文】

发布时间：2015-12-23 11:12:05

Ambari和CM管理平台都提示，建议关闭THP，这是为什么？如果不关闭THP，发现Hadoop的系统态CPU使用率很高，原因是RHEL6优化了内存申请的效率，而且在某些场景下对KVM的性能有明显提升。而Hadoop是个高密集型内存运算系统，这个改动似乎给它带来了副作用。理论上运算型Java程序应该更多的使用用户态CPU才对，Cloudera官.........【阅读全文】

发布时间：2015-12-21 10:30:54

KafkaOffsetMonitor安装部署KafkaOffsetMonitor是有由Kafka开源社区提供的一款Web管理界面，这个应用程序用来实时监控Kafka服务的Consumer以及它们所在的Partition中的Offset，你可以通过浏览当前的消费者组，并且每个Topic的所有Partition的消费情况都可以观看的一清二楚。它让我们很直观的知道，每个Partition的Message.........【阅读全文】

发布时间：2015-12-18 16:59:47

Scrapy，Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了w.........【阅读全文】

发布时间：2015-12-12 18:29:44

Hadoop运行mapreduce实例时,抛出错误ava.io.IOException: All datanodes xxx.xxx.xxx.xxx:xxx are bad. Aborting…at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.processDatanodeError(DFSClient.java:2158)at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.access$1400(DFSClient.java:1735)at org.apach.........【阅读全文】

发布时间：2015-12-10 16:32:26

通过SSH或者终端putty连接到一台linux/unix机器，执行一个程序、一个脚本或者一条命令，但现在你需要关闭SSH或者终端，由于该该程序、脚本或者命令正在运行，一旦你直接关闭而不做任何处理这个进程就会一起关闭，做到一半的工作浪费掉了下面介绍一种方法可以在需要关闭终端的时，让正在运行的程序、脚本或命令转到后台执.........【阅读全文】