Rsync - 我的文章 - 每天进步一点点............

博客首页注册建议与交流排行榜加入友情链接

推荐投诉搜索：帮助

每天进步一点点............

syw.cublog.cn

关于作者

姓名：Jackey Shi
职业：Linuxer&Phper
年龄：25
位置：上海
个性介绍：
理想,信念来支撑自己的精神
平和,宽容来看待周围的人事
知识,技能来改善自己的生活
理性,判断来避免人生的危机
主动,关怀来赢得别人的友爱
激情,毅力来实现自己的梦想
严厉,冷酷来改正自己的缺点

\|\|	<<	>>	\|\|

我的分类

	文章列表 - Rsync

	Linux高性能集群-软件体系结构介绍
	<div class="cnt"><div> <p style="text-indent: 2em;">本文是高性能集群系列文章的第三部分。在本文中，笔者以IBM eServer Cluster 1300为例介绍了Beowulf集群中硬件和网络体系结构和组成部分。 </p> <p style="text-indent: 2em;"><strong>1 Beowulf集群软件结构</strong> </p> <p style="text-indent: 2em;"> </p> <center><img style="border: 1px solid black;" src="http://linux.ccidnet.com/col/attachment/2006/12/949305.gif"></center>　　  <p style="text-indent: 2em;">图1 是Beowulf集群的软件体系机构。一般来说，Beowulf集群由如下几个软件部分组成： </p> <p style="text-indent: 2em;">操作系统：勿容置疑，操作系统是任何计算机系统的软件基础。相对于桌面系统而言，集群系统对操作系统的任务调度和文件管理方面的要求更高。 </p> <p style="text-indent: 2em;">并行开发库：只要是指用于集群中进程通信的软件库。消息传递和线程是两种基本的通信方法。但是对于Beowulf集群而言，消息传递更适合一些。Beowulf集群常用的开发库是MPI和PVM。 </p> <p style="text-indent: 2em;">作业管理：调度作业并管理集群系统的资源，是集群系统的资源得到最大的利用。 </p> <p style="text-indent: 2em;">系统管理：管理和监控整个集群系统。 </p> <p style="text-indent: 2em;">开发环境：开发和调试高效能应用的开发工具。 </p> <p style="text-indent: 2em;">标准应用：一些标准的高性能应用如CFD。 </p> <p style="text-indent: 2em;">客户应用：客户特别定制的应用。 </p> <p style="text-indent: 2em;"><strong>2 操作系统</strong> </p> <p style="text-indent: 2em;">并不是每种操作系统都适合高性能集群系统。理论上说，硬件的体系结构、操作系统的任务调度方式和IPC的方式是决定应用并行化效果的主要因素。根据这三个因素，我们可以归纳出如下5种实施应用并行化的平台： </p> <p style="text-indent: 2em;">单任务操作系统：CPU同时只处理任务队列中的一个任务。MS DOS是这类系统的代表。 </p> <p style="text-indent: 2em;">多任务操作系统：基于分时技术的多任务操作系统。虽然在同一时间段，所有的进程都在运行，但是在某一时间点，CPU只执行一个进程。这类操作系统可分为抢占式和非抢占式。单CPU的Unix和NT属于这种类型。 </p> <p style="text-indent: 2em;">多CPU多任务操作系统：和单CPU的多任务操作系统不同的是，由于有多个CPU，所以在某个时间点上，可以有多个进程同时运行。多CPU的Unix和NT属于这种类型。 </p> <p style="text-indent: 2em;">多CPU多任务操作系统+线程：某些任务当把它分为若干并行的子任务同时在多个CPU上执行时，它会运行的更快，尽管运行这个任务占有的总CPU时间变长了。由于采用多个CPU而使任务结束的时间缩短了。由于应用本身的特性，随着CPU个数的增加，性能并不会线性增加。Amdal法则说明了这种情况。运行在同一主板上多个CPU的Unix和NT＋线程属于这一类型。SMP系统合适采用这种方法。  </p> <p style="text-indent: 2em;">多CPU多任务操作系统+消息传递：在SMP系统中，由于采用共享内存，所以CPU通信的时间几乎可以忽略。但是在象集群这种系统中，通信时间成为不得不考虑的因素。这时，使用线程是一种很奢侈的方法。这种情况下，消息传递是一种比较好的方法。 (本系列文章的第二部分解释了这种情况)。同一个主板或多个主板上的多个CPU+Unix和NT+消息传递属于这种类型。 </p> <p style="text-indent: 2em;">Beowulf集群使用第5种类型平台。它可以由SMP和PC服务器组成，以Linux为操作系统，以MPI或PVM这种消息传递方式作为通信方法。 </p> <p style="text-indent: 2em;"><strong>3 文件系统</strong> </p> <p style="text-indent: 2em;">文件系统是操作系统的重要组成部分，用于存储程序和数据。如何在各节点间高效、一致和简捷的实现数据共享是集群系统对文件系统提出的挑战。 </p> <p style="text-indent: 2em;"><strong>3.1 集群和文件系统</strong> </p> <p style="text-indent: 2em;">很明显，那种仅能管理本地存储的文件系统(如EXT和FAT)是无法满足集群系统对文件共享的要求的。在集群环境下，最容易想到，也是最容易实现的文件系统就是分布式文件系统。相当于本地文件系统，分布式文件系统有如下优点： </p> <p style="text-indent: 2em;">网络透明：对远程和本地的文件访问可以通过相同的系统调用完成。 </p> <p style="text-indent: 2em;">位置透明：文件的全路径无需和文件存储的服务绑定，也就是说服务器的名称或地址并不是文件路径的一部分。 </p> <p style="text-indent: 2em;">位置独立：正是由于服务器的名称或地址并不是文件路径的一部分，所以文件存储的位置的改变并不会导致文件的路径改变。 </p> <p style="text-indent: 2em;">分布式文件系统可以使集群的节点间简捷地实现共享。但是为了提供性能，分布式文件系统通常需要使用本地的缓存(Cache), 所以它很难保证数据在集群系统范围的一致性。而且往往分布式文件系统中只有一份数据，所以很容易发生单点失效。 </p> <p style="text-indent: 2em;">建立在共享磁盘(Share-Disk)上的并行文件系统可以克服分布式文件系统的这些缺点。通过使用在节点共享的存储设备，并行文件系统具有很多优点： </p> <p style="te
查看全文
	发表于:2007-01-30 ┆ 阅读(342) ┆ 评论(0)

	Linux高性能集群-软件体系结构介绍
	<div class="cnt"><div> <p style="text-indent: 2em;">本文是高性能集群系列文章的第三部分。在本文中，笔者以IBM eServer Cluster 1300为例介绍了Beowulf集群中硬件和网络体系结构和组成部分。 </p> <p style="text-indent: 2em;"><strong>1 Beowulf集群软件结构</strong> </p> <p style="text-indent: 2em;"> </p> <center><img style="border: 1px solid black;" src="http://linux.ccidnet.com/col/attachment/2006/12/949305.gif"></center>　　  <p style="text-indent: 2em;">图1 是Beowulf集群的软件体系机构。一般来说，Beowulf集群由如下几个软件部分组成： </p> <p style="text-indent: 2em;">操作系统：勿容置疑，操作系统是任何计算机系统的软件基础。相对于桌面系统而言，集群系统对操作系统的任务调度和文件管理方面的要求更高。 </p> <p style="text-indent: 2em;">并行开发库：只要是指用于集群中进程通信的软件库。消息传递和线程是两种基本的通信方法。但是对于Beowulf集群而言，消息传递更适合一些。Beowulf集群常用的开发库是MPI和PVM。 </p> <p style="text-indent: 2em;">作业管……
查看全文
	发表于:2007-01-30 ┆ 阅读(355) ┆ 评论(0)

	Rsync: 有史以来最好的备份系统
	<table style="border-collapse: collapse;" align="center" border="0" bordercolor="#111111" cellpadding="0" cellspacing="0" width="90%"><tbody><tr><td align="center" bgcolor="#f5fdee"><table style="border-collapse: collapse;" border="1" bordercolor="#a5bd6b" cellpadding="0" cellspacing="1" width="100%"><tbody><tr><td align="center"><table style="border-collapse: collapse;" border="0" cellpadding="0" cellspacing="0" width="100%"><tbody><tr><td align="center"><table style="border-collapse: collapse;" border="0" cellpadding="0" cellspacing="0" width="100%"><tbody><tr><td><div style="margin: 15px;"> <p><em>摘要</em>: </p> <p>备份是系统管理中最艰巨、最容易被忽略的工作之一，同时也是最重要的工作之一。备份是防御硬件故障、非法入侵和系统安全的最大威胁——终端用户的最后一道防线。有许多备份系统价值数千美元，它们使用到处都是 Bug 的专有版权软件将数据存入昂贵的磁带机中，而实际上有更好的方法：Rsync 和廉价的磁盘阵列。 <br> </p> <center><font color="#8282e0"><strong>_________________ _________________ _________________</strong></font></center><br> <a name="326lfindex0"><font color="#000000"> </font></a>   <h3>问题</h3> <p>我可以给出一个长长的列表说明备份是系统管理员的梦魇。不过如果你是系统管理员的话，我可能就不用列了。这些原因包括：运行中常常出故障的昂贵硬件，难于管理的昂贵软件，恢复多版本的文件所耗费的大量时间。更糟的是，不到万不得已必须做备份的时候，备份工作通常只有很低的优先级。如果你做了备份/ 恢复，还有可能会发生下面的对话： </p> <p><strong>用户:</strong> "我丢了一个文件，我需要你立刻把它找回来。"<br> <strong>系统管理员:</strong> "Ok, 文件名是什么?"<br> <strong>用户:</strong> "我不记得了, 我只记得文件名中有一个字母是'e'。"<br> <strong>系统管理员:</strong> "Ok, 那么他在哪个目录中?"<br> <strong>用户:</strong> "我不知道, 它可能在这些目录树中的一个。"<br> <strong>系统管理员:</strong> "哦... 那你是否记得你上次使用这个文件的日期?"<br> <strong>用户:</strong> "嗯....我想应该是二月或是四月的一个星期四。有什么问题吗? 我想你应该已经备份了系统用于应付这样的事情吧。"<br> </p> <a name="326lfindex1"><font color="#000000"> </font></a>   <h3>替代品 Rsync</h3> <p>Rsync 是一个小巧的算法的强大实现。它最基本的功能是高效地镜像一个文件系统的能力。使用 rsync，可以灵活地选用一组网络协议，诸如 nfs、smb 或 ssh，方便地让一个文件系统与另一个文件系统保持同步更新。Rsync 的第二个功能，也就是备份系统使用的功能，它可以把已经发生改变或是被删除的文件的老的版本归档。 Rsync 的功能太多了，不可能在这里一一叙述，笔者强烈建议读者阅读 <a href="http://rsync.samba.org/">rsync.samba.org</a> 上的资料来研读 rsync。 </p> <a name="326lfindex2"><font color="#000000"> </font></a>   <h3>备份系统</h3> <p>简单地说，这个备份系统使用了廉价的  Linux 主机，并使用了廉价的磁盘和一个称为 rsync 的短小的 shell 脚本。[图 1] 当进行备份的时候，我们告诉 rsync 建立一个称为 'YY-MM-DD' 的目录，作为存储变化增量的地方。之后，rsync 检查要备份的服务器上的变化。如果一个文件发生了变化，就把老的版本复制到增量目录，并覆盖主备份目录中的文件。[图 2] </p> <img alt="RSYNC 备份过程" src="http://www.linuxfocus.org/common/images2/article326/structure.jpg" height="224" hspace="10" width="422">   <p>通常一天的变化量往往只占整个文件系统的一个很小的百分比。笔者发现这个典型值平均在 0.5% 到 1%。这样，使用一组两倍于服务器文件系统的尺寸的磁盘，我们可以在硬盘上保存 50-100 天的增量备份。当磁盘满了，只要换一组新的磁盘替换老的就可以了。在实际操作中，磁盘上可能可以保存超过半年的增量备份数据。事实上，如果你能找到一些存储空间，可以在更换磁盘之前把增量备份复制过去。使用这种方法，你可以在磁盘上保存任意数量的增量备份。 </p> <img alt="增量文件是如何处理的" src="http://www.linuxfocus.org/common/images2/article326/flowchart.png" height="224" hspace="10" width="522"> <a name="326lfindex3"><font color="#000000"> </font></a>   <h3>优势：简化了灾难恢复和文件还原</h3> <p>回到开头的那个设想的对话。现在换掉笨重的基于磁带的备份系统，设想一下有六个月的增量备份正在你的 Linux 主机中愉快地等着你呢。使用你喜欢的  locate/find/grep 的组合，你可以找出所有的我们设想出来的那个用户的可能发生问题的文件，它的文件名中包含 'e'，时间戳是二月或四月的一个星期四，将它们放到他的 home 目录下的一个目录中。接下来，找出那个版本的文件是用户需要的那个文件的问题就成为了我们最喜欢的一类问题 ——别人的问题。 </p> <p>下面设想一个我们喜欢的场景-- 完全的故障。比如你有一个大的 nfs/samba 服务器出了故障，好了，如果你已经备份了你的 samba%
查看全文
	发表于:2007-01-30 ┆ 阅读(237) ┆ 评论(0)

	Rsync: 有史以来最好的备份系统
	<table style="border-collapse: collapse;" align="center" border="0" bordercolor="#111111" cellpadding="0" cellspacing="0" width="90%"><tbody><tr><td align="center" bgcolor="#f5fdee"><table style="border-collapse: collapse;" border="1" bordercolor="#a5bd6b" cellpadding="0" cellspacing="1" width="100%"><tbody><tr><td align="center"><table style="border-collapse: collapse;" border="0" cellpadding="0" cellspacing="0" width="100%"><tbody><tr><td align="center"><table style="border-collapse: collapse;" border="0" cellpadding="0" cellspacing="0" width="100%"><tbody><tr><td><div style="margin: 15px;"> <p><em>摘要</em>: </p> <p>备份是系统管理中最艰巨、最容易被忽略的工作之一，同时也是最重要的工作之一。备份是防御硬件故障、非法入侵和系统安全的最大威胁——终端用户的最后一道防线。有许多备份系统价值数千美元，它们使用到处都是 Bug 的专有版权软件将数据存入昂贵的磁带机中，而实际上有更好的方法：Rsync 和廉价的磁盘阵列。 <br> </p> <center><fon……
查看全文
	发表于:2007-01-30 ┆ 阅读(320) ┆ 评论(0)

	[原创]rsync实现跨网段文件同步
	作者:大蚊子                                                                                                                                              <br> 日期:2006-12-25 <p><span><font style="font-size: 10pt;" size="2"><font color="#000000">公司的两个服务器</font></font></span><font face="Ti……
查看全文
	发表于:2007-01-30 ┆ 阅读(306) ┆ 评论(0)