Solaris 10 + cluster3.2 虚拟下实现

由于Lab太糟糕，所以今天我开始我们探讨下Solaris +Cluster在虚拟机上的安装！首先在虚拟机上设置好本次试验需要的硬件信息和资源，配置：三个虚拟硬盘，三个虚拟网卡，其他自定。俩个虚拟机，机器名分别为是S10_1和S10_2。

 

规划IP：

服务器S10_1
127.0.0.1       localhost       
192.168.1.250   test1      loghost  

 服务器S10_2
127.0.0.1       localhost       
192.168.1.252   test2      loghost 

 

安装前规划一下分区大小：

（自己的喜好来设定了，但3号分区"/golbaldevices"必须存在，且大小约为500M ；4号分区必须存在，且大小约为20M，否则系统安装卷管理软件时将无法创建rootdg ,SC3.2将无法安装）。
=============================================================
  Slice     Mount Point                    Size 
     0                                         16.70GB
     1       swap                           4.88GB
     2      overlap                         33.92GB
     3      /globaldevices               500.31MB
     4                                          21.16MB
===================================== =========================

下面介绍下虚拟机上的设置：

 

一．开始分别在虚拟机下安装solaris 10，网上有太多教程，这里不再一一赘述，安装完后进入第二步。

 

二．配置虚拟机.相关硬件，为安装cluster做准备。

添加另外两块硬盘VM-->Setting-->Hardware-->Add harddisk-->两个添加的硬盘参数选为SCSI接口，选择“allocate disk space now",并且最好在单独的目录下保存，避免和Solaris虚拟机目录放在一起。首先建立两个目录，便于以后好管理，两个目录名为“quorum”“share”

 

Browse-->指定相应的“quorum”目录-->输入quorum-->next-->就分个5G吧！-->同时选择“allocate disk space now"。然后同样的方法，添加“share”目录的硬盘吧。

 

修改两个share盘的scsci接口号为2.0,2.1.选择“advanced” -->在弹出的窗口里修改相应的SCSI号。

 

2.添加两块网卡：

VM-->Setting-->Hardware-->Add ethernet adapter -->host only A private network share with the host。好的，重复上述步骤再添加一块host only

 

当装好第二台solaris_2系统后，开始配置第二台。第二台硬盘就不需要添加了，使用第一台已经配置好的，现有的即可。VM-->Setting-->Hardware-->Add harddisk-->NEXT--> 点击use a existing virtual disk-->分别指定到相应的目录-->点击完成。

 

这两个硬盘是作为共享盘(quorum device + shared disk)而设定的。

 

分别编辑进入solaris_1和solaris_2那个目录修改里面后缀为.vmx文件，设定这两个虚拟硬盘属性

scsi2:0.shared = "TRUE"             scsi2:1.shared = "TRUE"
disk.locking = "FALSE"（应该是加到第二台虚拟机上，第一台不要加）

注意这里指定的scsi编号为2.0,2.1，

 

三．在安装好的solaris 10上配置相关：

1.在服务器S10_1上，修改/etc/hosts

 127.0.0.1       localhost       
192.168.1.250   test1      loghost  
192.168.1.252  test2

在服务器S10_2上，修改/etc/hosts

 127.0.0.1       localhost       
192.168.1.250   test2      loghost  
192.168.1.252  test1

 

2．在每个节点机上编辑.rhosts /.rhost文件，设置信任主机

+

   3．开始安装cluster

      ash-3.00# /usr/cluster/bin/scinstall

 

  *** 主菜单 ***

 

    请选择以下某一带 (*) 的选项：

 

      * 1) 创建新群集或添加群集节点

        2) 将群集配置为从此安装服务器中快速启动

        3) 管理双分区升级

        4) 升级此群集节点

        5) 打印此群集节点的发行信息

 

      * ?) 菜单选项中的帮助

      * q) 退出

 

    选项：  1

 

  ***“新建群集和群集节点”菜单 ***

 

    请选择以下任一选项：

 

        1) 创建新群集

        2) 在此计算机上仅创建新群集的第一个节点

        3) 将此计算机添加为现有群集中的节点

 

        ?) 菜单选项中的帮助

        q) 返回主菜单

 

    选项：  2

 

  *** 仅建立新群集的第一个节点 ***

 

    此选项用于建立新的群集，该群集使用此计算机作为其第一个节点。

 

    在选择该选项之前，Sun Cluster 框架软件必须已经安装。请使用 Java

    Enterprise System (JES) 安装程序来安装 Sun Cluster 软件。

 

    可以随时按 Control-d 组合键返回 主菜单。

 

    是否要继续 [是]? 

 

  >>> 典型模式或自定义模式 <<<

 

    此工具支持两种操作模式：“典型”模式和“自定义”模式。大多数群集都可

    以使用“典型”模式。但是，如果不是所有的“典型”默认值都适用于您的群

    集，可能需要选择“自定义”模式选项。

 

    有关“典型”和“自定义”这两种模式之间的差别的更多信息，请从菜单中选

    择“帮助”选项。

 

    请选择以下某一选项：

 

        1) 典型

        2) 定制

 

        ?) 帮助

        q) 返回主菜单

 

    选项： [1] 

 

  >>> 群集名 <<<

 

    每个群集都有指定的名称。 该名称可以由除空白以外的任何字符组成。 在企

    业的名称空间中，每个群集的名称应该是唯一的。

 

    要建立的群集的名称是什么?  cluster-test

 

 

  >>> 检查 <<<

 

    您可以在此步骤中运行 sccheck(1M)，以检验是否已满足某些基本的 硬件和软

    件预配置要求。如果 sccheck(1M) 检测到将此计算机配置为 群集节点时存在

    潜在的问题，则准备故障检查报告并将其显示在屏幕上。 收集数据和生成报告

    可能要花费几分钟时间，这取决于系统的配置。

 

    是否要运行 sccheck [是]? 

 

    正在运行 sccheck ...

 

scinstall: Requesting explorer data and node report from test1.

scinstall: test1: Explorer finished.

scinstall: test1: Starting single-node checks.

scinstall: test1: Single-node checks finished.

 

按 Enter 键继续： 

 

  >>> 群集节点 <<<

 

    此 Sun Cluster 发行版最多支持 16 个节点。

 

    请列出为初始群集配置规划的其他节点的名称。 每行列出一个节点名。 完成

    后，请按 Control-D 组合键：

 

    节点名（按 Control-D 组合键以完成）：  test1

    节点名（按 Control-D 组合键以完成）：  test2

    节点名（按 Control-D 组合键以完成）：  ^D

 

    这是完整的节点列表：

 

        test1

        test2

 

    是否正确 [是]? 

 

  >>> 群集传输适配器和电缆 <<<

 

    必须为群集中的每个节点至少配置两个群集传输适配器。 这是连接到专用群集

    互连的适配器。

 

    选择第一个群集传输适配器：

 

        1) e1000g1

        2) e1000g2

        3) Other

 

    选项:  1

 

    此适配器将为专用群集传输适配器吗？ [是] 

 

    正在查找 "e1000g1" 上的任何意外网络通信 ...完成

    检验已完成。 在抽查的 10 秒时间内，未检测到任何通信。

 

    选择第二个群集传输适配器：

 

        1) e1000g1

        2) e1000g2

        3) Other

 

    选项:  2

 

    此适配器将为专用群集传输适配器吗？ [是] 

 

    正在查找 "e1000g2" 上的任何意外网络通信 ...完成

    检验已完成。 在抽查的 10 秒时间内，未检测到任何通信。

 

  >>> 法定配置 <<<

 

    每个双节点群集至少需要一个法定设备。默认情况下，scinstall 将为您选择

    和配置共享 SCSI 法定磁盘设备。

 

    此屏幕允许您禁用法定设备的自动选择和配置。

 

    仅当群集中的任何共享存储设备均不适于用作 Sun Cluster 法定设备时，方

    须 禁用此功能。如果您的存储设备是随群集一起购买的，则适用。否则，请与

    您 的存储设备供应商联系以确定是否支持您的存储设备作为 Sun Cluster 法

    定设 备。

 

    如果您现在禁用自动法定设备选择，或者要使用非共享 SCSI 磁盘的法定设备

    ，则一旦两个节点均已首次加入群集，您必须转而使用 scsetup(1M) 手动配置

    法定数目。

 

    是否要禁用自动法定设备选择？ [否] 

 

 

  >>> 自动重新引导 <<<

 

    一旦 scinstall 为此计算机成功初始化 Sun Cluster 软件，必须重新引导此

    计算机。重新引导后，此计算机将被建立为新群集中的第一个节点。

 

    是否需要 scinstall 重新引导 [是]? 

 

  >>> 确认 <<<

 

    您的响应为 scinstall 指示了以下选项：

 

      scinstall -i \

           -C cluster-test \

           -F \

           -T node=test1,node=test2,authtype=sys \

           -w netaddr=172.16.0.0,netmask=255.255.248.0,maxnodes=64,maxprivatenets=10 \

           -A trtype=dlpi,name=e1000g1 -A trtype=dlpi,name=e1000g2 \

           -B type=switch,name=switch1 -B type=switch,name=switch2 \

           -m endpoint=:e1000g1,endpoint=switch1 \

           -m endpoint=:e1000g2,endpoint=switch2 \

           -P task=quorum,state=INIT

 

    这些是否是您要使用的选项 [是]? 

 

    是否要继续执行此配置步骤？ [是] 

 

 

正在检查用于全局设备文件系统的设备 ...完成

 

正在将群集名初始化为 "cluster-test" ...完成

正在初始化验证选项 ...完成

正在初始化适配器 "e1000g1" 的配置 ...完成

正在初始化适配器 "e1000g2" 的配置 ...完成

正在初始化交换机 "switch1" 的配置...完成

正在初始化交换机 "switch2" 的配置...完成

正在初始化电缆配置 ...完成

正在初始化电缆配置 ...完成

正在初始化专用网络地址选项 ...完成

 

正在为 "test1" 设置节点 ID ...完成 (id=1)

 

正在检查全局设备中的全局文件系统 ...完成

正在更新 vfstab ...完成

 

正在检验是否配置了 NTP ...完成

正在初始化 NTP 配置...完成

 

正在更新 nsswitch.conf ...完成

 

正在将群集节点条目添加到 /etc/inet/hosts 中...完成

 

Configuring IP multipathing groups ...失败

scinstall: Failed to retrieve the broadcast value for this adapter e1000g1.

 

正在检验是否未配置电源管理 ...完成

正在取消电源管理配置 ...完成

已将 /etc/power.conf 重命名为 /etc/power.conf.042308165453

电源管理与群集的 HA 目标不兼容。

请勿试图重新配置电源管理。

 

请确保已禁止网络路由 ...完成

已通过创建 /etc/notrouter 在此节点上禁止网络路由。

Sun Cluster 不支持将群集节点用作路由器。

请勿重新激活网络路由。

 

日志文件 - /var/cluster/logs/install/scinstall.log.10359

 

正在重新引导 ...

 

updating /platform/i86pc/boot_archive...this may take a minute

 

四．查看DID设备！

Scdidadm –l  查看本节点（即本机）

bash-3.00# scdidadm -l

1        test1:/dev/rdsk/c0t0d0         /dev/did/rdsk/d1    

2        test1:/dev/rdsk/c1t0d0         /dev/did/rdsk/d2    

3        test1:/dev/rdsk/c2t0d0         /dev/did/rdsk/d3    

4        test1:/dev/rdsk/c2t1d0         /dev/did/rdsk/d4    

Scdidadm –L 查看所有节点（全局）

bash-3.00# scdidadm -L

1        test1:/dev/rdsk/c0t0d0         /dev/did/rdsk/d1    

2        test1:/dev/rdsk/c1t0d0         /dev/did/rdsk/d2    

3        test1:/dev/rdsk/c2t0d0         /dev/did/rdsk/d3    

3        test2:/dev/rdsk/c2t0d0         /dev/did/rdsk/d3    

4        test1:/dev/rdsk/c2t1d0         /dev/did/rdsk/d4    

4        test2:/dev/rdsk/c2t1d0         /dev/did/rdsk/d4    

5        test2:/dev/rdsk/c0t0d0         /dev/did/rdsk/d5    

6        test2:/dev/rdsk/c1t0d0         /dev/did/rdsk/d6   

 

五．设置quorum

bash-3.00# scsetup

  >>> 初始群集设置 <<<

 

    此程序已检测到群集“安装模式”属性仍处于启用状态。因此， 某些初始群集

    设置步骤将在此时执行。这包括添加所有必需的法定设备， 然后重置法定选票

    数和“安装模式”属性。

 

    如果任何其他节点还要加入群集，则请勿继续进行操作。

 

    是否可以继续 (yes/no) [yes]? 

 

    是否要添加任何法定设备？ [yes] 

 

    下面列出了 Sun Cluster 中支持的法定设备类型。有关这些支持的法定设备

    拓 扑的详细信息，请参阅 Sun Cluster 文档。

 

    您要使用的设备的类型是什么？

 

        1) 直接连接的共享磁盘

        2) Network Appliance 的网络连接存储 (NAS)

        3) 法定服务器

        q)

    选项：  1

 

  >>> 添加 SCSI 法定磁盘 <<<

 

    SCSI 法定设备被视为 Sun Cluster 支持的任何已连接的存储设备，该设备已

    连接至群集的两个或多个节点。在双节点群集中，可以将双端口 SCSI-2 磁盘

    作为法定设备使用。但是，多于两个节点的群集需要将 SCSI-3 PGR 磁盘用于

    所有具有两条以上节点到磁盘路径的磁盘。

 

    您可以使用包含用户数据的磁盘或某一个为设备组成员的磁盘作为法定设备。

 

    有关支持的法定设备拓扑的更多信息，请参见 Sun Cluster 文档。

 

    是否可以继续 (yes/no) [yes]? 

 

    要使用哪个全局设备 (d)?  d3

（再开一个窗口看一下DID号！

    是否可以继续更新 (yes/no) [yes]? 

 

scconf -a -q globaldev=d3

scconf:无法添加法定设备 (d3) - 已经配置了设备。

 

命令失败。

 

   

按 Enter 键继续： 

 

    是否要重试 (yes/no)?  no

 

\    重置了“安装模式”属性之后，此程序以后每次重新运行时将跳过 “初始群集

    设置”。但是，始终可以使用常规菜单选项将法定设备 添加到群集。重置此属

    性将完全激活法定设置，并且此操作是群集 正常和安全运行所必需的。

 

    可以重置“安装模式”吗 (yes/no) [yes]? 

 

scconf -c -q reset

 

scconf -a -T node=.

 

    已完成群集初始化。

    键入 ENTER 以前进到主菜单: 

  *** 主菜单 ***

 

    请选择以下某一选项:

 

        1) 法定

        2) 资源组

        3) 数据服务

        4) 群集互连

 

        5) 设备组和卷

        6) 专用主机名

        7) 新节点

        8) 其他群集任务

 

        ?) 具有菜单选项的帮助

        q) 退出

 

    选项：      选项：      选项：  q

 

 

六．最后看看吧！

bash-3.00# ./scstat  

------------------------------------------------------------------

 

-- Cluster Nodes --

 

                 Node name           Status

                    ---------           ------

  Cluster node:     test1               Online

  Cluster node:     test2               Online

 

------------------------------------------------------------------

 

-- Cluster Transport Paths --

 

                    Endpoint               Endpoint               Status

                    --------               --------               ------

  Transport path:   test1:e1000g2          test2:e1000g1          Path online

  Transport path:   test1:e1000g1          test2:e1000g2          Path online

 

------------------------------------------------------------------

 

-- Quorum Summary --

 

  Quorum votes possible:      3

  Quorum votes needed:       2

  Quorum votes present:       3

 

 

-- Quorum Votes by Node --

 

                  Node Name       Present   Possible   Status

                    ---------           ------- -------- ------

  Node votes:       test1               1        1       Online

  Node votes:       test2               1        1       Online

 

 

-- Quorum Votes by Device --

 

                   Device Name    Present  Possible   Status

                    -----------         ------- -------- ------

  Device votes:     /dev/did/rdsk/d3s2  1        1       Online

 

------------------------------------------------------------------

 

-- Device Group Servers --

 

                         Device Group        Primary             Secondary

                         ------------        -------             ---------

 

 

-- Device Group Status --

 

                              Device Group        Status             

                              ------------        ------             

 

 

-- Multi-owner Device Groups --

 

                              Device Group        Online Status

                              ------------        -------------

 

------------------------------------------------------------------

------------------------------------------------------------------

 

-- IPMP Groups --

 

              Node Name           Group   Status         Adapter   Status

              ---------           -----   ------         -------   ------

 

运行scstat –q,可以看到一共有3票；运行scdidadm –L，可以看到所有的DID设备；运行scconf –p，可以看到集群状态、节点名、网卡配置、quorum设备状态。运行scshutdown –y –g 15,以后关的机器先启为原则测试cluster时候能正常启动。

可以运行scheck检查cluster安装是否有错

 

在cluster3.0中要编辑文件/etc/inet/ntp.conf.cluster ，将未用到的节点删除（如果是现场安装的话，最后要打patch，打完patch后会自动将未用节点注销或删除）；但在cluster3.2中不需要编辑/etc/inet/ntp.conf.cluster，自动将其它节点注销或删除。如两个节点，则只保留peer clusternode1-priv prefer 、 peer clusternode2-priv