非结构化数据需要新的存储体系架构

业内分析家们，如IDC，均表示数据和存储正在以每年约60％的速度递增。虽然这带来的挑战已经非常艰巨，但是我们依然期待下一波规模更大的数据需求。而非结构化数据将会是这一波增长的驱动力。

　　Tony Assaro最近在博客《搜寻CAS》中提到："大部分公司所创建的非结构化数据，包括公文、演示稿、电子表格、图像、图表等，比其它任何一种数据都多得多。另外，即使在一些主流公司，创建视频和音频文件也已经很普遍了，这将耗费大量的存储容量。大多数的存储数据都是非结构化的，其创建、存储、访问和使用将推动C A S 市场前进。

　　另外，我认为各种传感设备也将生成大量的非结构化数据，如R F I D 标签、智能卡、监视摄像头和其他各种检测设备等。波音787一次飞行所生成的监测数据就达到数TB。今后，我们还将看到一些旧有传感类数据的重新利用，比如用50年前的地震数据来判断我们能否从已有油田发掘出更多原油，或以此来判断是否二氧化碳可否被地面吸收。

　　尽管数据库中的结构化数据和诸如电子邮件的非结构化数据增长的速度不那么快，但是他们也同样需要内容归档系统来存储那些不经常使用的数据。2GB的电子邮箱即将出现，届时使用频率低的电子邮件需要被归档，与产品系统隔离，否则整个电子邮件系统将会混乱不堪。就算这些结构化/半结构化数据存储于活动文档，它们也需要作为独立数据对象进行存储，这样以便为了遵守规定或其它商业目的在需要时查找和清除某一特定记录或电子邮件。

　　由于这些数据并没有组织好，就需要更高级的智能存储系统。这些系统要能够提取不同类型的数据对象，包括它们的原数据和相关的策略信息，还要能够保留数据的完整性，并能够提供普通搜索和海量数据的查找调用。

　　为了满足正在增长的需求，我们必须改变我们现有的数据存储方式。20年前设计的使用静态缓存配置的存储架构已经不能满足扩展要求。IT业需要一个强大的存储控制器，这个控制器能够调动数百PB的数据、成千上万的主机连接以及数以百万计的IOP（输入/输出处理器）。这显然是静态存储体系不能完成的任务。新的存储系统必须提供端到端的存储虚拟化服务，以便能够转换到新的存储通道，实现端口连接的虚拟化，卷和文件的虚拟化，以及包含这些卷和文件内存储容量的虚拟化。我们还不能直接替换我们现有的系统，而需要利用虚拟化，在不影响现有的操作、保留以前的投资成果的前提下，转换到新的存储体系结构。

　　为每个内容管理系统都配备备份存储系统的做法是很不经济的。不管哪个应用程序生成了数据，我们都必须能够集中地进行管理。这正是我们计划在Hitachi Content Archive Platform中实现的功能，他将集成在HDS的Universal Storage Platform V中。

　　由于我们反对为内容存档引入额外的储存系统，也反对引入额外的软件工具和管理接口，因此我们在通用管理框架中提供了内容档案服务。该框架充分利用了现有的日立异构存储虚拟化服务，能够调动20PB的数据，支持多达320亿个数据对象。在存储区域网（SAN）加独立节点阵列（SAIN）的体系结构中使用企业级日立存储功能，如RAID，的首选方案就是Hitachi Content Archive Platform，它允许客户自行调节存档服务器节点以及独立的存储容量，以满足前和未来对非结构化数据的需求。