[原]双机双盘柜failover配置说明

[原]终端控制按键

[转]再见，《开放系统世界》

Dec 16

linuxing , 15:17 , 基础知识 » 硬件处理 , 评论(3) , 引用(0) , 阅读(38897) , Via 本站原创

大 | 中 | 小

这几天项目中，遇到一个使用双机双盘柜，结合HA软件实现全冗余配置的环境，总结一下配置的重点。而前面的日志已经比较详细的描述过双机单盘柜的配置，请参考[原]在红旗DC Server上实现Failover 。
一、系统架构
这次的系统架构与之前不同的地方主要在于：增加一个盘柜，两个盘柜相互做互备，任一盘柜损坏，都不会影响应用的持续运行。
网络拓扑图如下：

二、系统平台
主机：IBM x366
HBA卡： IBM FC2 133（Qlogic 2340）
盘柜：IBM DS4300
操作系统：红旗 DC Server 5.0 for x86 SP1
应用软件：红旗 HA Server 5.0，Oracle 10gR2
本方案能实现如下的好处：

引用

1、所有硬件均为全冗余，每台主机有两块HBA卡，SAN中有两个光纤交换机，两个盘柜，每个盘柜有两个控制器；
2、两硬件主机利用HA软件实现高可用功能，保证应用的冗余；
3、使用系统的软RAID功能，用两盘柜的分区建成软RAID1，来保证两盘柜的数据同步；

三、详细配置
1、配置Qlogic failover
首先，请保证光纤交换机及盘柜的配置正确，两盘柜分割的LUN大小完全相同，并且操作系统能正确识别盘柜映射的所有设备；
其次，由于红旗 DC Server 5.0 SP1自带的Qlogic驱动不支持failover功能，请用IBM网站或红旗TSN网络获取Qlogic支持failover可用的驱动程序；
◎驱动下载：

下载文件

点击这里下载文件

下载后，解压到适当的地方：

# tar zxvf qla2300-8.01.60.tar.gz -C /

◎测试：

引用

# depmod -a
# rmmod qla2300
# modprobe qla2300
# lsmod
Module Size Used by
md5 7936 1
ipv6 240160 16
i2c_dev 14208 0
i2c_core 25856 1 i2c_dev
dm_mod 59780 0
button 10384 0
battery 12804 0
ac 8708 0
ohci_hcd 23824 0
ehci_hcd 31748 0
tg3 95108 0
ext3 118664 5
jbd 59544 1 ext3
qla2300 128256 0
qla2xxx 293816 1 qla2300
aacraid 62976 6
sd_mod 20480 7
scsi_mod 118540 3 qla2xxx,aacraid,sd_mod
# sfdisk -s
/dev/sda: 143144960
/dev/sda1: 104391
/dev/sda2: 20972857
/dev/sda3: 8289540
/dev/sda4: 1
/dev/sda5: 41945683
/dev/sda6: 41945683
/dev/sda7: 29880868
/dev/sdb: 136314880
/dev/sdc: 138412032
/dev/sdc1: 138407976
/dev/sdd: 439521116
/dev/sde: 136314880
/dev/sdf: 138412032
/dev/sdf1: 138407976
/dev/sdg: 439521116

可以看到，除了sda为本地磁盘外，已经能正确的识别盘柜的所有设备：每个盘柜三个LUN（分区），其中，sdb-sde、sdc-sdf、sdd-sdg分别是两个盘柜各自映射的分区，并且大小一样，可以看为一组。而在该项目中，前面两组是给Windows使用的，我们只使用最后一组，而且要保证该组的盘柜的内容保持同步。
※配置的时候，需要注意几点：

引用

1、因为IBM x366板载SeverRAID 8i卡比较新，需要升级到红旗SP1，并保证使用aacraid 1.5.1以上驱动版本；
2、若使用系统自带驱动（不支持failover），按照当前的SAN架构，系统中应该是看到除sda外的12个设备号，而加入支持failover的驱动后，看到的除sda外，应该是6个设备号，如上所示；
3、是否支持failover，是由qla2xxx.ko模块决定的，在使用depmod -a生成依赖后，加载qla2300模块的时候会自动加载qla2xxx。

◎正式配置：
因为DC Server 5.0使用的initrd，把qla2300和qla2xxx驱动都放到initrd里面了，所以需要更新initrd文件：

# cd /boot/
# mkinitrd -f initrd-2.6.9-34.21AXsmp.img `uname -r`

最后再看看结果：

引用

# fdisk -l

Disk /dev/sda: 146.5 GB, 146580439040 bytes
255 heads, 63 sectors/track, 17820 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

Device Boot Start End Blocks Id System
/dev/sda1 * 1 13 104391 83 Linux
/dev/sda2 14 2624 20972857+ 83 Linux
/dev/sda3 2625 3656 8289540 82 Linux swap
/dev/sda4 3657 17820 113772330 5 Extended
/dev/sda5 3657 8878 41945683+ 83 Linux
/dev/sda6 8879 14100 41945683+ 83 Linux
/dev/sda7 14101 17820 29880868+ 83 Linux

Disk /dev/sdb: 139.5 GB, 139586437120 bytes
255 heads, 63 sectors/track, 16970 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

Device Boot Start End Blocks Id System

Disk /dev/sdc: 141.7 GB, 141733920768 bytes
255 heads, 63 sectors/track, 17231 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

Device Boot Start End Blocks Id System
/dev/sdc1 1 17231 138407976 42 SFS

Disk /dev/sdd: 450.0 GB, 450069622784 bytes
255 heads, 63 sectors/track, 54717 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

Device Boot Start End Blocks Id System

Disk /dev/sde: 139.5 GB, 139586437120 bytes
255 heads, 63 sectors/track, 16970 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

Device Boot Start End Blocks Id System

Disk /dev/sdf: 141.7 GB, 141733920768 bytes
255 heads, 63 sectors/track, 17231 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

Device Boot Start End Blocks Id System
/dev/sdf1 1 17231 138407976 42 SFS

Disk /dev/sdg: 450.0 GB, 450069622784 bytes
255 heads, 63 sectors/track, 54717 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

Device Boot Start End Blocks Id System

接下来是保证两盘柜数据的同步，我们用系统自带的软RAID1实现。