迷彩 潜伏 隐蔽 伪装
发布时间：2013-01-15 15:49:23
应用场景： 同一个集群内有些服务器磁盘 2T，有些服务器 500G，2T 的服务器磁盘得不到有效利用，这是就需要对 500G 的磁盘做限额配置. 配置方法： 在 hdfs-site.xml 里配置如下参数，注意，那个 value 的值是配置该磁盘保留的DFS不能使用的空间大小，单位是字节. (如果多块硬盘，则表示为每块硬盘保留这么多空间) <property> <name>dfs.datanode.du.reserved</name> <!-- cluster variant --> <value>236223......【阅读全文】
发布时间：2013-01-15 15:49:09
hadoop的使用中，一般只关注运行结果。对于mapper和reducer之间的处理逻辑往往不care。比如key-value对到达reducer的先后顺序等目前接触到的运用场景有：1.根据用户操作时间来整理事件链，在网站分析里比较常用。需要按时间先后顺序来处理，如果过亿的访问操作全在reducer里来排序，对计算能力和内存都是一个挑战。2.海量数据处理中，求去重distinct这种操作，往往需要先缓存很大的数据集，对单个reducer的内存要求很高，特别是上亿的数据时，很容易就撑爆内存。这里如果在reducer进入前就排好序，后续处理就简单的多。二次排序相当于把一个reducer的负载推给了......【阅读全文】
发布时间：2013-01-15 15:47:15
最近想搭建一个用于ARM的编程环境，主要用于汇编编程。今天看了《Embedded Programming with the GNU Toolchain》一文，其中介绍了利用QEMU进行ARM编程实验的一种方法。基本思想是，在一个X86的Linux开发机中安装一种称为codesourcery-tools的GNU工具链，该工具链中包含了交叉编译器，利用该工具链在宿主机中编译出ARM的可执行文件，然后利用QEMU仿真一个PXA255（connex）目标机，并将可执行文件加载到目标机中运行。这种方法简便易行，但由于在开发机中缺少操作系统，因此在汇编语言程序中无法引发系统调用。此外，每次交叉编译完成后还......【阅读全文】
发布时间：2013-01-15 15:46:03
考虑到在本机上备份数据，一旦该机器硬盘出现故障，数据无法取出。远程手动备份数据费时费力且不及时。最好的方法就是通过脚本实现远程自动互备。但远程无论是通过SSH登陆，还是通过scp拷贝文件都需要输入密码。为了克服这个问题，首先需要实现不需要密码的SSH登陆，这样就可以使用rsync，scp，rexec等命令来做的远程备份了。1. 设置无需密码的ssh登陆，方法如下：假设A，B两服务器，现在需要在A机上用root登陆B机，而不需要输入密码，那我们可按照下面的步骤来做：1）在A机上生成钥匙对,执行以下命令：ssh-keygen -t rsaGenerating public/private rsa ......【阅读全文】
