网格与云计算关键技术

网格与云计算关键技术

主要内容

一,网格计算关键技术 二,云计算关键技术 三,网格计算与云计算的区别

网格计算关键技术

网格调度技术 资源管理技术 网格安全技术

网格调度技术

网格调度过程分为三个阶段:资源发现 阶段,系统选择阶段和作业执行阶段. 其中,资源发现的目的是获得用户可以 访问的满足作业最小要求的网格资源集 合,它又分为三个步骤:① 授权认证. ②应用需求定义.③产生满足应用最小 资源需求的资源集合.

网格调度技术

第二个阶段根据作业的资源需求约束,对 第一阶段产生的资源集合进行优化选择. 第三个阶段是作业执行阶段,分为以下几 个步骤:①资源预留.② 作业提交.③ 执行任务的准备工作,如数据传输,错 误处理等.④作业执行过程的监测.⑤ 作业完成,需要通知用户并清除临时数 据,释放资源.

网格调度技术

网格调度系统:所有网格调度系统工作是在 这样的基础上:要执行的新任务必须要使资 源选择器知道,在当前的系统中,资源选择 器扮演网格系统的网关,它将从全局目录中 (如MDS)选择资源然后分配工作给可用的网 格节点.

网格调度技术

主要的网格调度系统 Condor-G, PBS,LSF与Silver/Maui, KB Metascheduler, AppLes, Nimrod-G, Vega Grid.

资源管理技术

资源管理的关键问题是为用户有效地分 配资源.高效分配涉及到资源分配和调 度两个问题,一般通过一个包含系统模 型的调度模型来体现,而系统模型则是 潜在资源的一个抽象,系统模型为分配 器及时地提供所有节点上可见的资源信 息,分配器获得信息后将资源合理地分 配给任务,从而优化系统性能.

资源管理技术

调度模型 网格资源组织模型 网格应用模型 资源性能预测模型

网格安全技术

已有的安全技术 密码技术:对称加密/非对称加密 安全传输技术:IPSEC/IPv6,SSL/SSH, S/MIME 安全认证技术:PKI和Kerberos 访问控制技术:DAC/MAC/RBAC,防 火墙 Web Service安全技术

网格安全技术

现有的网格安全实现GSI Globus Security Infrastructure GSI是为用户和应用程序提供用来安全地 访问网格资源的一组工具,类库和协议 基于公钥加密技术, X.509证书,和SSL 通信协议,对这些标准进行了扩展,以 能够进行单一登录和授权代理.

网格安全技术

GSI能够提供的安全功能 安全认证 通信加密 私钥保护 委托授权 单一登录

云计算关键技术

数据存储技术 数据管理技术 编程模型

数据存储技术

为保证高可用,高可靠和经济性,云计 算采用分布式存储的方式来存储数据, 采用冗余存储的方式来保证存储数据的 可靠性,即为同一份数据存储多个副本. 另外,云计算系统需要同时满足大量用 户的
需求,并行地为大量用户提供服务. 因此,云计算的数据存储技术必须具有 高吞吐率和高传输率的特点.

数据存储技术

数据存储技术主要有谷歌的非开源的GFS (Google File System)和Hadoop开发团队开 发的GFS的开源实现HDFS. GFS HDFS GFS系统由一个Master和大量块服务器构 成.Master存放文件系统的所有元数据, 包括名字空间,存取控制,文件分块信 息,文件块的位置信息等.GFS中的文件 切分为64 MB的块进行存储.

数据管理技术

云计算的特点是对海量的数据存储,读 取后进行大量的分析,数据的读操作频 率远大于数据的更新频率,因此,云计 算的数据管理往往采用数据库领域中列 存储的数据管理模式.将表按列划分后 存储. 云计算的数据管理技术中最著名的是谷 歌提出的BigTable数据管理技术.

数据管理技术

BigTable是一种为了管理结构化数据而 设计的分布式存储系统,这些数据可以 扩展到非常大的规模.BigTable对数据读 操作进行优化,采用列存储的方式,提 高数据读取效率. BigTable在执行时需要三个主要的组件: 链接到每个客户端的库,一个主服务器, 多个记录板服务器.

编程模型

云计算大部分采用Map-Reduce的编程模 型.该编程模型仅适用于编写任务内 部松耦合,能够高度并行化的程序. Map-Reduce是一种处理和产生大规模 数据集的编程模型,程序员在Map函 数中指定对各分块数据的处理过程, 在Reduce函数中指定如何对分块数据 处理的中间结果进行归约.

编程模型

执行一个Map-Reduce程序需要五个步骤: 输入文件, 将文件分配给多个worker并行地执行, 写中间文件(本地写), 多个Reduce workers同时运行, 输出最终结果.

 

           详细地址