迷彩 潜伏 隐蔽 伪装
发布时间：2013-01-15 15:49:09
hadoop的使用中，一般只关注运行结果。对于mapper和reducer之间的处理逻辑往往不care。比如key-value对到达reducer的先后顺序等目前接触到的运用场景有：1.根据用户操作时间来整理事件链，在网站分析里比较常用。需要按时间先后顺序来处理，如果过亿的访问操作全在reducer里来排序，对计算能力和内存都是一个挑战。2.海量数据处理中，求去重distinct这种操作，往往需要先缓存很大的数据集，对单个reducer的内存要求很高，特别是上亿的数据时，很容易就撑爆内存。这里如果在reducer进入前就排好序，后续处理就简单的多。二次排序相当于把一个reducer的负载推给了......【阅读全文】
发布时间：2013-01-15 15:47:15
最近想搭建一个用于ARM的编程环境，主要用于汇编编程。今天看了《Embedded Programming with the GNU Toolchain》一文，其中介绍了利用QEMU进行ARM编程实验的一种方法。基本思想是，在一个X86的Linux开发机中安装一种称为codesourcery-tools的GNU工具链，该工具链中包含了交叉编译器，利用该工具链在宿主机中编译出ARM的可执行文件，然后利用QEMU仿真一个PXA255（connex）目标机，并将可执行文件加载到目标机中运行。这种方法简便易行，但由于在开发机中缺少操作系统，因此在汇编语言程序中无法引发系统调用。此外，每次交叉编译完成后还......【阅读全文】
发布时间：2013-01-15 15:46:03
考虑到在本机上备份数据，一旦该机器硬盘出现故障，数据无法取出。远程手动备份数据费时费力且不及时。最好的方法就是通过脚本实现远程自动互备。但远程无论是通过SSH登陆，还是通过scp拷贝文件都需要输入密码。为了克服这个问题，首先需要实现不需要密码的SSH登陆，这样就可以使用rsync，scp，rexec等命令来做的远程备份了。1. 设置无需密码的ssh登陆，方法如下：假设A，B两服务器，现在需要在A机上用root登陆B机，而不需要输入密码，那我们可按照下面的步骤来做：1）在A机上生成钥匙对,执行以下命令：ssh-keygen -t rsaGenerating public/private rsa ......【阅读全文】
发布时间：2013-01-15 15:45:35
1.在SUSE系统上新挂一块存储，大小要比需要迁移的5.4T大一些，因为将XFS转为EXT3会比原来多占用一些存储空间，我是挂了6T左右，挂接存储的方法视存储的品牌和种类来决定。我说一下EMC CX700，就是先记录下HBA卡的WWN，连接HBA到存储交换机，并配置ZONE，使其服务器与存储相连，在服务器上安装EMC的POWERPATH，AGENT软件，通过powerpath config命令来认到存储。2.SUSE系统上存储准备完成后（在SUSE上用pvdisplay能够看到新增硬盘），先要建立PV。命令是pvcreat /dev/[硬盘名称]，要将新增的硬盘都建成PV。3.建立一个新的VG......【阅读全文】
发布时间：2013-01-15 15:44:30
MB/mb/Mbps有区别吗？这里来说一说流量带宽单位Mbps、Mb/s、MB/s的区别。相同的道理可以区别GB/Gbps。www.ctohome.com的所有流量都是GB为单位的，不是Gbps. 1、我们经常听到某某IDC提供的服务器接入带宽是10M独享，或者100M共享之类的数据。这里的10M、100M到底是什么概念呢？ 所谓 10M 带宽，其实是指 10Mbps （兆比特），即 1.25MB/s，但这只是理论上的速度，实际上，还要再减去损耗。按这个说法10M的带宽最快下载速度是1.25MB/s，100M的带宽最快下载速度是12.5MB/s。 2、在上面我们接触到了MB/s，那MB/......【阅读全文】
