安装大型Linux 集群: 简介和硬件配置 -2

 

中国IT实验室收集整理 Graham W…

硬件配置

    装配好机架并把它们放在适当位置上，连接好全部电缆之后，仍要做大量的硬件配置工作。本文不介绍特定于某种具体集群的特定电缆连接细节。本文使用了上面列出的示例集群设计作为具体示例，说明了在安装集群前所需的硬件配置

逻辑网络设计

    在安装集群时最常被忽略的任务就是逻辑网络设计。理想情况下，在实现集群前，应该在纸上进行逻辑设计。有了逻辑网络设计之后，就用它创建主机文件。在小型集群中，如果网络上没有太多设备，可以手工编写主机文件。但是，通常最好是生成一个命名规范，然后编写一个定制脚本，自动生成主机文件。

确保网络上的所有设备都在主机文件中表示出来。请看如下示例（包含示例名称）：

• 管理服务器 (mgmt001 - mgmtXXX)
• 存储服务器 (stor001 - storXXX)
• 计算节点 (node001 - nodeXXX)
• 调度器节点 (schd001 - schdXXX)
• 用户节点 (user001 - userXXX)

    这个命名规范只涉及了网络中的五类计算机系统，而且只有一个网络，所以还不够好。还要考虑存储网络和计算机网络，以及设备管理网络。所以这个文件还需要扩展。需要访问集群文件系统的每个节点都需要存储网络上的一个地址。每个节点在计算网络上需要两个地址：一个用于计算地址，另一个用于基板管理控制器（BMC），BMC 用来进行硬件监视和电源控制。表 1 用示例 IP 地址范围描述了更全面的命名规范。

表 1. 主机文件命名规范

Device	Compute 192.168.0.0/24	BMC 192.168.0.0/24	Storage 192.168.1.0/24	Device 192.168.2.0/24	External ext n/w
Management server	mgmt001	mgmt001_d	mgmt001_s	mgmt001_m	mgmt001_e
Storage server	stor001	stor001_d	stor001_s	stor001_m	stor001_e
用户节点	user001	user001_d	user001_s	无	无
Scheduler nodes	schd001	schd001_d	schd001_s/	无	无
User nodes	node001	node001_d	node001_s	无	无
Compute switches	无	无	无	gigb01a	无
Storage switches	无	无	无	gigb01b	无
Terminal servers	无	无	无	term001	无
Storage controller A/B	无	无	无	disk01a/b	无
LCM/KVM/RCM	无	无	无	cons001	无

     在实现的时候，这个方案生成与 中能访问的示例类似的主机文件。这个小的示例集群包括 16 个计算节点、一个管理服务器、一个存储服务器、一个用户节点和一个调度器节点，放在两个机架内，并附加了相关的设备。虽然没有提供一个大型集群，但对这个示例集群来说已经足够了，如果需要，可以很容易地把它扩展成更大的集群。

以太网交换机

    有两个物理网络：一个用于计算通信量，一个用于存储。每个机架中，标准的 32 个节点需要有两个 48 口交换机，一个交换机负责一个网络。在更小型的集群中，管理机架还需要两个同样的交换机。对于更大的集群，48 端口可能还不够，所以可能需要更大的中心交换机。

    两个主网络（不考虑设备管理网络）的每个交换机需要的配置各不相同，因为（就像在示例中那样），千兆以太网间的连接在存储网络中使用巨型帧，而在计算机网络上使用标准大小的帧。设备管理网络的设置通常非常简单：在 10/100 兆交换机上平层的两类网络可以满足设备管理要求，所以无需多做说明。

示例 A： Extreme Networks（极限网络）交换机

下面是 Extreme Networks Summit 400-48t 48 口千兆以太网交换机的配置步骤。

    首先，用串口直连电缆连接到每台交换机的串行控制端口（9600、8-N-1、无流控制），使用默认用户 ID admin，无密码。（只需在提示符上按下回车键。）

对于所有交换机，请执行以下步骤：

1. 输入 unconfig switch all —— 如需要，清除现有配置
2. 输入 configure vlan mgmt ipaddress 192.168.2.XXX/24 —— 设置管理 IP 地址。
3. 输入 configure snmp sysname gigbXXX.cluster.com —— 设置交换机名称。
4. 输入 configure sntp-client primary server 192.168.2.XXX —— 把 NTP 服务器设置为管理服务器。
5. 输入 configure sntp-client update-interval 3600 —— 设置时间同步为每小时同步一次。
6. 输入 configure timezone 0 —— 设置时区。
7. 输入 enable sntp-client —— 启动 NTP。
8. 如果需要，输入 configure ports 1-4 preferred-medium copper —— 在端口 1-4 上将默认的首选介质光纤改为铜缆。

现在在存储网络交换机上配置巨型帧，请执行以下步骤：

9. 输入 create vlan jumbo —— 创建巨型帧 vlan。
10. 输入 configure "mgmt" delete ports 1-48 —— 从 mgmt vlan 删除端口。
11. 输入 configure "jumbo" add ports 1-48 —— 把端口添加到 jumbo vlan。
12. 输入 configure jumbo-frame size 9216—— 设置最大传输单元（MTU）的大小。
13. 输入 enable jumbo-frame ports 1-48 —— 开启巨型帧支持。

    要在 2 个端口的连接上启用中继，使用 enable sharing 47 grouping 47-48 （把端口 47 和 48 组合起来，47 作为主端口）。

要完成配置，请完成以下操作：

14. 输入 save configuration primary —— 把交换机配置写入 flash，这样重启也不丢失。
15. 输入 use configuration primary

示例 B：Force 10 Networks 交换机