Chinaunix首页 | 论坛 | 博客
  • 博客访问: 955145
  • 博文数量: 245
  • 博客积分: 11429
  • 博客等级: 上将
  • 技术积分: 2662
  • 用 户 组: 普通用户
  • 注册时间: 2009-08-15 00:16
文章存档

2011年(56)

2010年(174)

2009年(15)

分类: LINUX

2011-04-06 17:04:13

从集中到分布,解读网络IT架构变迁
2006年以视频网站为代表的网络视频行业迅速崛起,IPTV、视频分享网站、视频搜索网站、提供视频服务的互动社区、交友、播客等等新兴媒体发展迅猛。网络视频行业现已成为众多资本机构关注与投资的焦点。但是在网络视频行业发展前景一片大好的同时,一些运营问题也随之显现,步入2007年,资本机构对网络视频行业不再盲目狂热,对商业模式的和成本控制提出了更高的要求。     今天,纯文字的表现形式已经不能满足用户对更丰富的网络内容的需求,我们需要更丰富的数字出版物、图片、声音以及视频来表达和交流;同时,单向传播也不能满足用户对互动式网络体验的需求,我们需要更丰富灵活的交流与互动体验;IT架构必须能够承载和传播这些爆发式增长的非结构化的数据。
    同时,用户访问量的增长却从没有停止过,相对于传统应用,网络视频行业应用有着非常庞大的用户数量上涨空间,IT设施面临着强大的成本控制的压力。
    那么,我们究竟该如何应对网络视频行业的商业模式创新和成本控制的挑战呢?
视频网站的典型应用架构
    我们将以网络视频行业中最具代表性的视频分享网站为例,通过某视频网站的存储环境改造案例来看看网络视频需要什么样的IT结构、分析什么样的存储系统能够更好的来支撑商业模式的创新,并合理的控制成本。

视频网站的典型应用架构

    首先,我们来看看该视频网站的IT结构:如上图所示,分别由流媒体、Web服务器、在线录制服务器、视频转换服务器、数据库服务器、管理服务器、图片服务器和其他服务器等一系列不同数量的服务器组成。
    这一架构在目前的视频网站中带有一定的典型性。但是由这几个部分组合起来的IT结构,如何才能支撑视频分享门户的竞争优势呢?

从集中到分布,化解存储瓶颈
    接上篇:从集中到分布,解读网络视频IT架构变迁(下)。集中式存储已经拥有了诸多优势,那么为何这家视频网站最终却选择了其他的存储架构呢?该视频网站究竟在运营过程中遭遇到了什么样的阻碍呢?经过我们对整个网站存储结构的分析,原来,NAS头成为整个存储环境的瓶颈……

NAS成为系统瓶颈



传统集中式存储的瓶颈

    从以上两幅图中,我们可以看到传统的集中存储方案中,存在如下问题:
 I/O瓶颈
 容量扩展性差
 性能不可扩展
 专业高端NAS成本高昂
 单点故障
    随着数据量的增加,存储压力也变得越来越集中,NAS已不足以支撑现有的应用,无法更好的应对未来的挑战。既而,该网站从集中式的存储方式转向了采用分布式的存储方式。

分布式存储系统架构

    图中,每台服务器上都提供文件共享服务,由应用层来实现媒体资源数据在各个服务器集群之间的迁移,从而比较好的解决了集中存储的IO瓶颈问题,但是问题也随之而来。
    分布式的存储没有负载均衡,例如:发生热点的时候、部分流媒体服务器忙或部分闲置
    分布式存储利用相对较低率,重复数据大量存在,且份数多
    无法实现集中的高Raid 级别保护
    快照、备份、恢复、远程容灾比集中存储实现成本高
    需要在应用层对存储层过多关注。管理复杂度程几何级增长,整体系统维护工作越来越复杂、繁重。以管理Mount点为例:同样的服务器数,需管理Mount 点的数量为48  [M*(N+F)+W*N]个,即上图中的48根红线,远大于集中存储结构。这仅仅是Mount点一项,还不包括各个点存储数据的维护,在实际应用中相关的工作量是相当惊人,管理员疲于奔命。
阅读(1204) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~