读《老蒋谈存储》笔记

读《老蒋谈存储》笔记

时间：2010-10-23 HOME

第一章节 什么是存储

       1. 存储网络：就是从主机连接到磁盘阵列的网络及协议，存储网络的发展经历了SCSI

、FC、ISCSI这几个过程。形像地说FC存储就像是屠龙刀ISCSI可以比成是小李飞刀，一般来讲大系统、高IO的数据库系统一般会使用FC存储而要存储大量视频文件需要性价比高的产品可以考虑用ISCSI。

       2. 在系统中应用SCSI必须要有专门的SCSI控制器即一块SCSI控制卡才能支持SCSI设备这与IDE硬盘不同。在SCSI控制器上有一个相当于CPU的芯片它可以对SCSI设备进行控制减少CPU占用率。所以在同一时段内SCSI的硬盘要比IDE的更坚挺！

       3. SCSI小知识一：SCSI的外接接头型式比较多样化，共有25pin,50pin大头、50pin小头及68pin共四种。现在的SCSI卡则是50pin小头的型式而具有wide  scsi功能者则是68pin这一型式了！

第二节  FC协议

       4. SAN是一种将存储设备、连接设备与接口集成在一个高速网络中的一种技术，SAN本身就是一个存储网络承担了数据存储任务，SAN网络与LAN业务网络相隔离开存储数据流不会占用业务网络带宽。早期的SAN采用的是光纤通道FC技术，到了ISCSI协议出现以后为了区分就把SAN分为FC-SAN与IP-SAN两种。

       5．FC协议交换方式按照连接与寻址方式不同光纤通道支持三种拓扑方式：

          PTP（点对点）：一般用于DAS设置。服务器与存储设备在点对点的环境里面都是N_PORT。通过一条上行一条下行两条通道进行数据存储与读取。

          FC-AL（光纤通道仲裁环路）：采用FC-AL仲裁机制，使用令牌的方式进行仲裁

          FC-SW（交换式光纤通道）：需要购买支持交换架构的交换模块或FC交换机

第三节 ISCSI

    6．ISCSI是把FC协议平民化了。把专门用于数据传输的FC协议进行了改良加上TCP/IP的封头就可以直接在IP网络上传递了。就不需要HBA卡FC交换机也可以抛弃掉。只需要一台普通的网络交换机就可以完成从主机到存储的数据传递过程。

    7．ISCSI协议建立在TCP协议之上是一种面向连接的协议。它的主要功能是在TCP/IP上封装，并可靠的传输SCSI命令及数据

    8．ISCSI集SCSI、以太网和TCP/IP等技术于一身，支持ISCSI技术的服务器与存储设备能够直连接到现有的IP交换机和路由器上，具有低价、开放、大容量、传输速度高安全等优点，最适合需要在网络上存储和传输大量数据的应用环境。ISCSI存储再加上SATA磁盘就可以作为近线存储来大规模使用了。

    9．ISCSI设备与主机之间有三种连接方式：

    第一种：以太网卡+initiator软件方式。服务器、工作站等主机使用标准的以太网卡通过以太网线直接与以太网交换机连接。只需要在主机上安装initiator软件。Initiator软件可以将以太网虚拟为ISCSI卡接受与发送ISCSI数据报文。

    第二种：硬件TOE网卡+initiator软件。TOE标识的是智能以太网卡可以将网络数据流量的处理工作全部转到网卡上的集成硬件中进行，从而把系统主处理器CPU从忙于协议处理的内核中解脱出来。

    第三种：ISCSI HBA卡连接方式。在主机上面安装专业的HBA适配卡从而实现高效数据交换。

 

第四节 NAS会坚挺？

    10．NAS的基础是NFS与CIFS。NAS是基于OS的文件级读写操作，访问请求是根据文件句柄+偏移量得出。NAS对数据的管理是基于文件系统的它不会去管存储是谁家的所以NAS天生具有存储异构整合的存储虚拟化功能。

    11．CIFS是由微软开发的用于连接windows客户机和服务器。经过改造现在可以实现连接WIN的客户机与UNIX服务器执行文件共享和打印等任务。目前WIN家族与UNIX服务器都是支持SMB协议/SMBBA软件包。

 

第三章节 磁盘存储介质与文件系统

第一节 磁盘存储介质

       1．磁盘上最小可寻址存储单元称为扇区，通常每个扇区为512个字节（或字符）由于多数文件比扇区大得多，因此假如对一个文件分配最小的存储空间，将使存储器能存储更多数据，这个最小存储空间即称为簇。

第二节 什么是逻辑卷

      1．LVM它就是用于管理逻辑卷的，LVM在LINUX内核得到支持。设计LVM的主要目标是实现文件系统存储容量的可扩展性，使对容量的调整更为容易。

    2．介绍相关名词

    PP：物理分区，如硬盘的分区或RAID分区。

    PV：物理卷，是PP的LVM抽象，它维护了PP的结构信息，是组成VG的基本逻辑单元，一般一个PV对应一个PP。

    PE：物理扩展单元，每个PV都会以PE为基本单元划分。

    VG：卷组，即LVM卷组，它可由一个或数个PV组成，相当于LVM的存储池。

    LE：逻辑扩展单元，组成LV的基本单元，一个LE对应一个PE

    LV：逻辑卷，它建立在VG之上文件系统下由若干个LE组成。

    结构图：

    文件系统        EXT3

                  LV     逻辑卷

                  LE     逻辑扩展单元

    LVM层         VG     卷组 是一个LVM存储池

                  PE     物理扩展单元

                  PV     物理卷

    物理分区        PP      硬盘分区或RAID分区

    文件系统对LV的操作与原先对分区的操作没有差别的。

    3．LVM的优劣点

    优点：文件系统可以跨多个磁盘，因此大小不会受到物理磁盘的限制

          可以在系统运行状态动态扩展文件系统大小

          可以增加新磁盘到LVM的存储池中

          可以以镜像的方式冗余重要数据到多个物理磁盘上

          可以很方便导出整个卷组，并导入到另外一台机器上。

    限制：

          在从卷组中移除一个磁盘时必须使用reducevg否则会出问题。

          当卷组中的一个磁盘损坏时，整个卷组都会受到影响

           不能减小文件系统大小（受文件系统类型限制）

           因为加入了额外的操作，存储性能会受到影响

    4．使用LVM的基本步骤

       STEP1. 在物理分区（PP）上创建物理卷（PV）

              如：pvcreate /dev/sda1

       STEP2. 创建卷组（VG）

              如：vgcreate vg /dev/sda1

       STEP3. 从VG中分配空间，创建逻辑卷（LV）

              如：lvcreate –L 10G –nhome vg

       STEP4. 在LV上建立文件系统

              如：mke2fs –j /dev/vg/home

第三节 日志文件系统

1． 日志文件系统就是一种具有故障恢复能力的文件系统，它利用日志来记录尚未提交到文件系统的修改，以防止元数据破坏。

2． 元数据指的是磁盘上的数据的管理结构。它表示文件的创建与删除、目录的创建与删除、扩充文件、截取文件等。

3． 日志文件系统是使用日志来缓冲文件系统的修改（同时也可以应用于紧急故障恢复）有三种常见的策略：回写、预定、数据

4． 常见的四种日志文件系统如：

a)         JFS2

b)        XFS 它支持64位全地址寻址，并以B+树为目录和文件分配提供高性能。XFS同样使用基于分区的分配，支持可变的块大小。除分区外XFS还采用延时分配，即等到块将写入磁盘时再为其分配磁盘空间。

c)        扩展文件系统ext3fs

 

第四节 数据库与存储

       1. 把ORCLA数据库学会了其它的数据库会全部掌握的。（等把系统、网络攻破了之后就开始学习数据库了。先把LINUX系统搞熟）

 

 

 

 

    存储所涉及到的知识面非常广泛。需要掌握好几门学科的内容。希望自己能够一块一块吃透。培养起来综合能力！谢谢老蒋分享！

 

 

（全文完）