本文与之前[原]构建Heartbeat 2.1.3 GUI+DRBD+Oracle 10g 双机互备集群一文唯一的差别，是用Heartbeat 3.0.3替换原来的Heartbeat 2.1.3，其他系统环境保持不变。

一、系统环境

二、安装Heartbeat 3.0.3
这里将使用我自行编译的rpm 包，通过yum来安装。
1、配置yum 环境
假设把压缩包解压到/root/rpms 目录下。然后在/etc/yum.repos.d中创建以下文件：

2、安装
先卸载旧的包：


然后用yum安装：


※ ldirectord 用于LVS环境，若您不需要，可不安装
三、配置Heartbeat 3
实际上，Heartbeat 3 与 2.x 的配置差别并不大，很多内容都是相通的。
1、配置authkeys
这里我用随机数来获得密钥：

※ 注意，authkeys 的权限必须是600

2、配置ha.cf

两文件保存后，同步到另一节点上：


3、启动heartbeat
在两节点上启动heartbeat 3：


四、pacemaker（CRM）
pacemaker是heartbeat项目将原有的crm组件独立出来形成的项目（当然，除了Heartbeat外，还支持OpenAIS），它在Heartbeat3集群中的角色就是CRM（其实如今CRMd也只是pacemaker的一个部分）。只有heartbeat不能完成任何工作，packemaker负责整个集群资源的定义、调度，是集群的核心内容。
简单而言，整个集群的运行情况是这样的：heartbeat确保节点之间通信；packemaker确定集群拥有那些资源，根据服务器的性能状态、资源的约束关系确定资源在哪一个节点上运行；LRM（lrm程序包含在cluster-glue中）按照CRM的要求启动相应的资源，并将资源的状态返回给pacemaker；pacemaker根据LRM的返回决定下一步的动作。
pacemaker提供crm shell 工具，而pacemaker-mgmt和pacemaker-mgmt-client则提供了hb_gui 图形工具。
1、设定用户
为可以使用hb_gui 图形工具，需要设定一个用户。该用户可以是默认的hacluster，可以是属于haclient组的用户：


进入Xwin后，即可通过hb_bui 命令打开图形的配置和管理工具：


crm shell 不需要特定的用户，主要管理员登陆到机器上即可使用。

2、使用不同的管理工具
pacemaker 既然提供多种管理工具，例如我这里提到的crm shell 、hb_gui 等，它们的作用是相同的，在其官网上还提供了其他，如基于Ajax web方式的管理工具等，可从这里获得源码包。
下面，我以修改其中一个属性为例简单说明一下：

关闭STONITH支持
默认的情况下pacemaker中启用了stonith，但是我们实际部署集群时可能一般都不会用到stonith资源。当启用了stonith而集群中又没有stonith资源时，集群中的资源都是无法启动的。在启动资源时会报错：

解决办法，就是把stonith-enabled选项禁用。

a、crm shell 方式
在pacemaker 包中提供crm shell 方式。
其中，crm 是一个非常友好的，同时支持交互和非交互两种模式的集成命令；此外，还有一些按功能划分的独立命令，例如：crm_mon、crm_resource、cibadmin等（可参考heartbeat 2.x）。
下面两条命令都能关闭STONITH：


若要进入crm 的交互模式，可直接运行crm 即可：

在该环境下，敲入help 可获取帮助信息。敲入对应的命令，可进入下一层菜单，用cd、或end、up都可以返回上一层，exit 退出。
※ 注意，独立的管理命令及非交互模式下的crm，在输入命令后会马上生效；而交互默认下的crm，必须手动用commit 命令提交后，配置才能生效。因crm 使用方便，在管理时经常使用。

b、hb_gui 方式
这是在Xwin下面的GUI 管理方式，从heartbeat 2.x就已经提供。在heartbeat 3中必须独立安装pacemaker-mgmt和pacemaker-mgmt-client才能用到，并且，需要在ha.cf中打开mgmtd 支持。
以关闭STONITH为例，可在下面的窗口中修改：

在pacemaker-mgmt 提供了新的管理界面，并且可以跨机器登陆管理。远程管理时，必须使用远端机器上的hacluster用户，或属于haclinet组的管理账号（heartbeat 2.x 只能在本机127.0.0.1上登陆管理）。另外，若当前连接的是本地，而手动把heartbeat 服务关闭时，hb_gui 会通过相同的用户名和密码尝试连接到集群节点中的其他机器上，继续追踪集群状态。
hb_gui 的设定，在点击“应用”或“确认”后会马上生效。

五、使用pacemaker进行配置
为方便说明，我将以crm 命令方式讲解，当然，同样的，你也可以用hb_gui 来实现。
1、清空旧配置文件
执行：


或者以crm 交互方式提交：

2、关闭quorum
pacemaker中有quorum的概念，即集群中必须有一半的节点处于online的状态，则集群被认为是have quorum（可以认为是达到合法节点数要求）。如果少于一半的节点在线，那么pacemaker认为集群达不到节点数要求，从而拒绝启动集群中的资源。但是这种策略对于2个节点的集群明显是不合理的，所以就会发生当2个节点的集群其中一个节点失效时所有的集群都无法启动的情况。
同样的，也关闭STONITH，执行：


这是当前的配置情况：

3、配置DRBD+Oracle
如[原]构建Heartbeat 2.1.3 GUI+DRBD+Oracle 10g 双机互备集群一文中提到的一样，把DRBD设置为主备资源，其他oracle资源放在同一个组里面，并通过“顺序”、“协同”等限制条件让两资源配合运行。根据监控的情况，加入start 超时、monitor 间隔时间等操作。
进入crm 交互模式：

然后在configure状态下输入以下内容：

最后用commit 提交即可。
※ 说明：


4、启动group_oracle资源组
配置提交后，两资源会自动运行（根据全局配置，有延迟），也可手动启动：


5、查看状态：

图形下的状态：


※ 注意：
因为使用的是IPaddr2的RA，虚拟IP地址用ifconfig命令是看不到的，可用ip addr查看：


6、手动切换
执行：


状态：


※ 注意：migrate的动作会添加一条位置限制cli-standby-group_oracle，因此，当备机发生问题时，不会自动返回到主机上。要解决该问题，需要把位置限制删掉。
执行un-migrate操作：


这里的migrate和move、unmigrate和unmove是同义命令。

7、监控测试
可以尝试以oracle用户执行lsnrctl stop停止Oracle监听服务，从后台日志中，会发现monitor的报错信息，自动重新激活整个group_oracle组资源。

8、维护
有时候，我们需要对当前主机进行维护，这时，可先把资源迁移到备机上，然后把主机设置为“非管理”的standby状态：


之后，就可以把主机上的heartbeat服务关掉，甚至关闭该机器或进行维护的工作。
维护完毕，可以重新online：


9、配置文件
可通过下面的命令把当前的配置文件导出为命令文件drbd_oracle_finish_cli：


或反向导入到CRM中：


以下是我当前的配置文件：


六、参考文档
Using DRBD in Pacemaker clusters
Using DRBD with Heartbeat v2 in CRM mode
heartbeat2.x-pacemaker Configuration Explained翻译笔记02（关于shadow功能的介绍）
官方Heartbeat 3.0 User's Guide
离线pdf 版：