随着5G和物联网的广泛落地,传统集中式的云计算架构受到了越来越多的挑战,我们的算力模型和存储模型也潜移默化的产生了一些变化。
一、分布式云与近数据计算
所谓分布式云是相对于传统集中式云而言的,随着算力需求的分散,云资源的布局也相应发生了变化,从物理集中的云架构向分层分域的分布式云架构转型。具体来说,云平台会根据需求的变化进行算力分成和下沉,原来集中式云数据中心会演进成”中心算力层+云管理和调度中心“为核心的核心层、以地域和行政架构为牵引的区域算力中心以及面向现场和生产一线需求的边缘计算层等分层分域的新型分布式架构。
分布式云实现算力重分布的目的,归根结底还是为了适配新的业务模式,是算力需求从集中走向分散的根本性需求。当然,分布式云也不是一味的做拆分和分散化,实现了逻辑统一物理分散,实现四个方面的融合:
1. 资源融合
计算和存储资源在管理上是融合,通过中心云管实现统一视图的管理和互操作,通过服务目录的整合,实现资源服务的交付;
2. 网络融合
在过去的云架构设计中,云内网和云间网在管理和控制上是割裂的。从集中式云的云内网到分布式云的云间网,云内网和云间网的融合,势必成为趋势了。过去很长一段时间网络一直是云的瓶颈,站在分布式云的角度来说,网络依然是瓶颈,云内网、云间网和云接入网的融合很快就会进入视野;
3. 应用融合
在现阶段云被诟病最多的还是云与业务那种若即若离的关系。分布式云之所以推动算力重分布,就是为了让算力更靠近应用。在边缘侧实现应用的时效性处理部分,在核心侧实现应有的集中管理和过程处理,这两部分一定会融合到一起,实现高效的协同;
4. 数据融合
在分布式云的框架下,边缘侧不再像过去一样只是负责数据的采集和传输,数据在边缘侧被第一时间处理,从数据的采集、数据的粗加工到数据的告警以及一些数据的执行,汇总数据和初步分析的数据被传输到核心侧,这样的好处是大大节省了带宽,同时也极大地提高了边缘侧数据响应和时效性。
边缘侧和核心侧,在资源、网络、应用和数据四个层面实现了融合,分布式云才是一个有机整体,分布式云的核心要义不在于分布式而是在于融合。
说完了分布式云,近数据计算就很容易理解了,跟分布式云的初衷是基本一致的,都是为了让资源更好的为业务服务,都是为了让算力离应用和数据更近。根据上面的分析,可以得出一个结论,大数据的趋势正在导致计算范式的变化,尤其是将计算转移到数据的概念,我们称之为近数据处理(Near Data Processing)。NDP是指将计算迁移到离数据更近的地方,减少数据的移动。数据的迁移往往在整个计算过程中占据极大的能耗开销。边缘存储与存算一体化紧密结合,依靠设备或介质的计算能力,直接在存储控制器内部执行计算,在边缘设备上可极大减少存储器内部的数据迁移开销,在网络传输过程中也能极大减少带宽开销,这将极大减轻云端的计算压力。
二、边缘存储
边缘存储也是分布式云架构中的一个重要环节,随着算力下沉,原有的集中式的云存储模式也会发生架构上的调整和变化,边缘存储成为重要的补充。边缘存储是边缘计算的延伸概念,主要为边缘计算提供实时可靠的数据存储与访问。边缘存储尚没有明确的定义,但是相关的工程实践已经展开了。
1. 边缘存储的基本特点
与云存储不同,边缘存储将数据从远距离的云服务器端迁移到离数据更近的边缘存储设备端,具有更低的网络通信开销、交互延迟和带宽成本,能为边缘计算提供实时可靠的数据存储和访问。边缘存储和边缘数据中心在地理上是分布式的,与业务需求呈现一样的分布趋势。这种分布式结构使数据能够及时地就近存储,为边缘计算关键任务的实时性数据存储和访问提供了保障。
2. 边缘存储的异构特性
边缘存储一般来说会呈现异构的特点,主要是水平和垂直两个层面。在水平侧,不同类型的边缘端侧设备一般会采用不同的存储介质,Flash等非易失性介质和SAS、SATA硬盘相结合的方式,还体现在多种存储系统的使用。
在垂直侧,垂直多层次异构是指根据距离大型集中式云数据中心的远近,边缘存储可分为3个层次:边缘设备、边缘云节点、分布式数据中心,不同层次对应不同的存储系统。不同层次的存储系统需要相互协作,通过多层次、多级别的数据缓存和预取策略优化边缘数据的存储和访问。
3. 边缘存储的融合部署
边缘存储需要实现边缘节点内部部署,为边缘计算提供高速的本地数据资源访问,满足边缘应用的实时性需求,在本地最大限度地控制访问内部存储设备,监测控制数据存储的位置,实时调整数据的冗余策略,面向数据源对数据进行加密或其他预处理,增强数据安全性。边缘存储在形式上,也可以是中心化的架构,也可以是非中心化的架构。
中心化架构在具体部署角度来看,就是在分布式存储在边缘节点的场景化应用,只不过比通常场景更轻量化。还有一种去中心化的边缘存储,核心思想就是多个边缘设备之间可以自组织地建立去中心化分布式存储网络。随着边缘设备数量激增,该架构具有很大的潜力。
4. 边缘存储与MEC
边缘存储作为一种存储架构的演进模式,实际上是边缘计算概念和模式的延伸,会依托算力重分布和边缘应用以及MEC的发展而逐步落地,不会独立存在,会依托于MEC的场景化应用,比如视频监测、工业互联网、无人机、车联网、智慧医疗、智慧交通等等,场景会越来越丰富。
没有什么是永恒不变的,还是那句话,概念不重要,重要的是持续演进的架构以及敏捷多变的业务需求。《linux就该这么学》不错的linux自学书籍