RHEL 10 双节点 Pacemaker
高可用集群部署配置文档

# 确认已注册
subscription-manager status

# 启用高可用附加仓库（RHEL 10 / x86_64）
subscription-manager repos --enable=rhel-10-for-x86_64-highavailability-rpms

# 确认仓库已生效
dnf repolist | grep -i highavailability

# 方式 A：安装全部 fence agents（官方默认建议）
dnf install -y pcs pacemaker fence-agents-all

# 方式 B：只装所需 fence agent（把 model 换成实际型号，如 ipmilan）
# dnf install -y pcs pacemaker fence-agents-ipmilan

# 可选：性能数据采集，便于事后分析集群抖动（官方建议）
dnf install -y pcp-zeroconf

# 查看已安装的 fence agents
rpm -q -a | grep fence

# 确认版本
rpm -q pcs pacemaker corosync

# 在 node1 上
hostnamectl set-hostname node1.example.com
# 在 node2 上
# hostnamectl set-hostname node2.example.com

# 两节点都写入 /etc/hosts（即使有 DNS 也建议写，避免 DNS 故障影响集群）
cat >> /etc/hosts <<'EOF'
192.168.10.11   node1.example.com node1
192.168.10.12   node2.example.com node2
192.168.10.20   qnetd.example.com qnetd
EOF

# 验证：两节点互 ping FQDN
ping -c2 node1.example.com
ping -c2 node2.example.com
hostname -f

dnf install -y chrony
systemctl enable --now chronyd
chronyc sources -v
chronyc tracking      # 确认 System time 偏差很小
timedatectl           # 确认时区一致、NTP 已同步

firewall-cmd --permanent --add-service=high-availability
firewall-cmd --add-service=high-availability
firewall-cmd --list-services

# 如使用 qdevice，仲裁主机与节点间还需 5403/tcp（high-availability 已含）
# 如后续使用 Pacemaker Remote：3121/tcp；GFS2/DLM：21064/tcp；Booth：9929

# 设置 hacluster 密码（两节点使用相同密码）
passwd hacluster

# 启动并设置开机自启
systemctl start  pcsd.service
systemctl enable pcsd.service

# 验证
systemctl status pcsd.service --no-pager
ss -lntp | grep 2224

pcs host auth node1.example.com node2.example.com
# Username: hacluster
# Password: ********
# 预期输出：
#   node1.example.com: Authorized
#   node2.example.com: Authorized

# 非交互方式（脚本化部署时使用，注意密码会进 history）
# pcs host auth node1.example.com node2.example.com -u hacluster -p 'YourPassword'

# —— 推荐：双心跳链路 ——
pcs cluster setup my_cluster --start \
  node1.example.com addr=192.168.20.11 addr=192.168.30.11 \
  node2.example.com addr=192.168.20.12 addr=192.168.30.12

# —— 最简形式（单链路，仅实验用）——
# pcs cluster setup my_cluster --start node1.example.com node2.example.com

# 设置开机自启（否则节点重启后需手工 pcs cluster start）
pcs cluster enable --all

pcs cluster status          # 集群服务状态
pcs status                  # 总览：节点 / 资源 / 守护进程
pcs status --full           # 含 failcount 等详细信息
pcs cluster config          # 查看生成的 corosync 配置
pcs quorum status           # 票数与 quorum
corosync-cfgtool -s         # 两条 link 都应为 connected

grep -A5 '^quorum' /etc/corosync/corosync.conf

# 期望看到：
# quorum {
#     provider: corosync_votequorum
#     two_node: 1
# }

pcs quorum config
corosync-quorumtool -s

# 负责打 node1 的设备立即动手；负责打 node2 的设备等 10 秒
# 结果：脑裂时 node2 总是先被打掉，node1 胜出（确定性）
pcs stonith update fence-node1 pcmk_delay_base=0s
pcs stonith update fence-node2 pcmk_delay_base=10s

# 或使用随机延迟打破对称（不确定谁赢，但一定不会互杀）
# pcs stonith update fence-node1 pcmk_delay_max=15s
# pcs stonith update fence-node2 pcmk_delay_max=15s

# 给重要资源设置 priority，集群会让"承载高优先级资源较少"的节点延迟 fence，
# 从而更可能被对方先干掉 —— 保住业务更重的一侧。
pcs resource update Website meta priority=10
pcs property set priority-fencing-delay=15s

pcs property config priority-fencing-delay

dnf install -y pcs corosync-qnetd

systemctl start  pcsd.service
systemctl enable pcsd.service

# 设置 hacluster 密码（与集群节点保持一致更便于管理）
passwd hacluster

# 初始化并启动 qnetd 服务
pcs qdevice setup model net --enable --start

# 放行端口
firewall-cmd --permanent --add-service=high-availability
firewall-cmd --add-service=high-availability

# 验证
pcs qdevice status net --full
ss -lntp | grep 5403

dnf install -y corosync-qdevice

# 先认证仲裁主机
pcs host auth qnetd.example.com
# Username: hacluster / Password: ********

# 加入 quorum device（ffsplit 为默认算法）
pcs quorum device add model net \
    host=qnetd.example.com \
    algorithm=ffsplit

# 验证
pcs quorum config
pcs quorum status
pcs quorum device status

pcs quorum device update model algorithm=lms
pcs quorum device remove          # 从集群移除 qdevice
# 在仲裁主机上销毁：pcs qdevice destroy net

pcs stonith list                     # 全部可用 agent
pcs stonith list ipmi                # 关键字过滤
pcs stonith describe fence_ipmilan   # 查看参数说明（配置前必看）

# 先用命令行直接测试 fence agent 能否连通设备（不经过集群）
fence_ipmilan -a 10.10.10.12 -l fenceuser -p 'FencePass' \
              --lanplus -o status

# 负责隔离 node1 的设备（指向 node1 的 BMC）
pcs stonith create fence-node1 fence_ipmilan \
    ip=10.10.10.11 \
    username=fenceuser password='FencePass' \
    lanplus=1 \
    pcmk_host_list="node1.example.com" \
    pcmk_delay_base=0s \
    op monitor interval=60s

# 负责隔离 node2 的设备（指向 node2 的 BMC）
pcs stonith create fence-node2 fence_ipmilan \
    ip=10.10.10.12 \
    username=fenceuser password='FencePass' \
    lanplus=1 \
    pcmk_host_list="node2.example.com" \
    pcmk_delay_base=10s \
    op monitor interval=60s

# 避免 fence 设备资源运行在它要隔离的那个节点上
pcs constraint location fence-node1 avoids node1.example.com=INFINITY
pcs constraint location fence-node2 avoids node2.example.com=INFINITY

pcs stonith config
pcs stonith status

# 先确认能列出虚机（验证凭据与连通性）
fence_vmware_rest -a vcenter.example.com \
    -l 'fenceuser@vsphere.local' -p 'FencePass' \
    --ssl-insecure -o list | grep -Ei 'node1|node2'

# 单个 stonith 资源即可管理两台虚机（用 pcmk_host_map 做映射）
pcs stonith create fence-vmware fence_vmware_rest \
    ip=vcenter.example.com \
    username='fenceuser@vsphere.local' password='FencePass' \
    ssl=1 ssl_insecure=1 \
    pcmk_host_map="node1.example.com:RHEL10-node1;node2.example.com:RHEL10-node2" \
    pcmk_delay_max=15s \
    op monitor interval=60s

# ① 两节点安装
dnf install -y sbd fence-agents-sbd

# ② 确认 watchdog 设备存在（硬件 watchdog 优先；虚机可加载 softdog）
ls -l /dev/watchdog*
# modprobe softdog   # 仅测试环境

# ③ 在共享存储上创建 SBD 分区（例如 /dev/sdc1，8MB 即可），仅需在一个节点初始化
sbd -d /dev/sdc1 create
sbd -d /dev/sdc1 dump
sbd -d /dev/sdc1 list

# ④ 两节点配置 /etc/sysconfig/sbd
#   SBD_DEVICE="/dev/sdc1"
#   SBD_WATCHDOG_DEV=/dev/watchdog
#   SBD_STARTMODE=always

# ⑤ 启用（需要先停集群）
pcs cluster stop --all
pcs stonith sbd enable --device=/dev/sdc1
pcs cluster start --all
pcs stonith sbd status

# ⑥ 创建 fence_sbd 资源（poison-pill 模式需要）
pcs stonith create fence-sbd fence_sbd devices=/dev/sdc1

# 确认已启用（默认即为 true）
pcs property set stonith-enabled=true
pcs property config stonith-enabled

# ⚠ 真实测试：这会真的重启 node2！请在业务上线前完成
pcs stonith fence node2.example.com

# 预期：node2 被重启，pcs status 中短暂显示 OFFLINE，随后自动恢复 Online
watch -n2 pcs status

# 查看 fencing 历史
pcs stonith history show
stonith_admin --history='*'

# 第 1 级 IPMI，失败后第 2 级切 PDU 电源
pcs stonith level add 1 node1.example.com fence-node1
pcs stonith level add 2 node1.example.com fence-pdu-node1
pcs stonith level add 1 node2.example.com fence-node2
pcs stonith level add 2 node2.example.com fence-pdu-node2

pcs stonith level config

# 将 system_id_source 设为 uname
sed -i 's/^\s*#\?\s*system_id_source\s*=.*/\tsystem_id_source = "uname"/' /etc/lvm/lvm.conf

# 验证：应返回本机 hostname
lvm systemid
grep -E '^\s*system_id_source' /etc/lvm/lvm.conf

# 分区（也可直接用整盘）
parted -s /dev/sdb mklabel gpt
parted -s /dev/sdb mkpart primary 0% 100%
partprobe /dev/sdb

# 加入 LVM devices 文件（RHEL 9+ 默认启用 devices file）
lvmdevices --adddev /dev/sdb1

# 创建 VG：禁止自动激活，交给集群管理
vgcreate --setautoactivation n my_vg /dev/sdb1

# 创建 LV 与文件系统
lvcreate -L 10G -n my_lv my_vg
mkfs.xfs /dev/my_vg/my_lv

# 确认 VG 的 system id 已打上 node1
vgs -o+systemid

lvmdevices --adddev /dev/sdb1
pvscan --cache
vgs -o+systemid       # 应能看到 my_vg，system id 为 node1（当前归属）

dnf install -y httpd wget

# apache 资源代理需要通过 server-status 探测健康，必须配置
cat > /etc/httpd/conf.d/status.conf <<'EOF'
<Location /server-status>
    SetHandler server-status
    Require local
</Location>
EOF

# ⚠ 关键：禁止 systemd 自启，避免与集群抢管理权
systemctl disable --now httpd

# 防火墙放行 http
firewall-cmd --permanent --add-service=http
firewall-cmd --add-service=http

# 临时激活并挂载（配置完资源后会由集群接管）
lvchange -ay my_vg/my_lv
mount /dev/my_vg/my_lv /var/www
mkdir -p /var/www/html /var/www/cgi-bin /var/www/error
restorecon -R /var/www

echo '<html><body>Hello from RHEL 10 HA Cluster</body></html>' \
     > /var/www/html/index.html

umount /var/www
lvchange -an my_vg/my_lv

# ① 导出当前 CIB 到本地文件
pcs cluster cib my_cfg

# ② 在沙箱里创建资源（组内按声明顺序启动，逆序停止，且必定同节点）
pcs -f my_cfg resource create my_lvm ocf:heartbeat:LVM-activate \
      vgname=my_vg vg_access_mode=system_id \
      --group apachegroup

pcs -f my_cfg resource create my_fs ocf:heartbeat:Filesystem \
      device="/dev/my_vg/my_lv" directory="/var/www" fstype="xfs" \
      --group apachegroup

pcs -f my_cfg resource create VirtualIP ocf:heartbeat:IPaddr2 \
      ip=192.168.10.100 cidr_netmask=24 \
      op monitor interval=30s \
      --group apachegroup

pcs -f my_cfg resource create Website ocf:heartbeat:apache \
      configfile="/etc/httpd/conf/httpd.conf" \
      statusurl="http://127.0.0.1/server-status" \
      op monitor interval=1min \
      --group apachegroup

# ③ 设置默认资源黏性，避免故障节点恢复后资源自动漂回（二次中断）
pcs -f my_cfg resource defaults update resource-stickiness=100

# ④ 校验后一次性提交
crm_verify -x my_cfg -V
pcs cluster cib-push my_cfg --config

# ⑤ 查看
pcs status
pcs resource config apachegroup

# 位置倾向：正常情况下优先跑在 node1
pcs constraint location apachegroup prefers node1.example.com=100

# 共置：Website 必须和 VirtualIP 在一起（A 跟着 B 走）
pcs constraint colocation add Website with VirtualIP INFINITY

# 顺序：先起 VirtualIP 再起 Website
pcs constraint order start VirtualIP then start Website

# 查看 / 删除
pcs constraint --full
pcs constraint delete <constraint_id>

pcs status
ip a | grep 192.168.10.100        # VIP 应出现在承载资源的节点上
mount | grep /var/www             # 文件系统已挂载
curl http://192.168.10.100        # 应返回 Hello from RHEL 10 HA Cluster
curl http://192.168.10.100/server-status | head

# 实时观察
watch -n1 'pcs status --full'
crm_mon -f                      # 交互式，含 failcount

# 客户端侧观察中断时长
while true; do curl -s -o /dev/null -w "%{http_code} " \
  --max-time 2 http://192.168.10.100; sleep 1; done

# standby / unstandby
pcs node standby   node1.example.com
pcs node unstandby node1.example.com

# 迁移后务必清理临时约束（否则资源被"钉死"）
pcs resource move  apachegroup node2.example.com
pcs constraint --full | grep -i "cli-"
pcs resource clear apachegroup

# 清理失败计数
pcs resource failcount show --full
pcs resource cleanup Website

pcs status --full            # 总览 + failcount
pcs cluster status
pcs quorum status
pcs stonith status
pcs constraint --full
pcs config                   # 完整配置快照
crm_mon -1 -A                # 含节点属性
crm_verify -L -V             # 校验配置合法性（应无输出）
corosync-cfgtool -s          # 心跳链路健康

# —— 单节点维护（打补丁、换硬件）——
pcs node standby node2.example.com     # 资源迁走
# ... 维护操作、重启 ...
pcs node unstandby node2.example.com
pcs status                              # 确认重新 Online

# —— 全集群维护模式（集群只监控不动作）——
pcs property set maintenance-mode=true
# ... 手工操作资源 ...
pcs resource refresh                    # 重新探测真实状态
pcs property set maintenance-mode=false

# —— 单个资源不受管 ——
pcs resource unmanage Website
pcs resource manage   Website

# —— 停用/启用资源 ——
pcs resource disable apachegroup
pcs resource enable  apachegroup

# 官方备份/恢复（打包 CIB + corosync 配置）
pcs config backup  /root/cluster_backup_$(date +%F)
pcs config restore /root/cluster_backup_2026-08-09.tar.bz2

# 额外导出为可复现的命令脚本（做变更前强烈建议）
pcs cluster cib > /root/cib_$(date +%F).xml
pcs resource config --output-format=cmd   > /root/resources.sh
pcs constraint config --output-format=cmd > /root/constraints.sh

journalctl -u pacemaker -u corosync --since "30 min ago"
tail -f /var/log/pacemaker/pacemaker.log
tail -f /var/log/cluster/corosync.log
grep -Ei 'fence|stonith|error|Transition' /var/log/messages | tail -50

# 一键打包全集群日志与配置（提交支持时使用）
pcs cluster report --from "2026-08-09 08:00" /tmp/cluster_report

#=========== [两节点] 1. 仓库与安装 ===========
subscription-manager repos --enable=rhel-10-for-x86_64-highavailability-rpms
dnf install -y pcs pacemaker fence-agents-all pcp-zeroconf corosync-qdevice

#=========== [两节点] 2. 系统准备 ===========
hostnamectl set-hostname node1.example.com          # node2 上改成 node2
cat >> /etc/hosts <<'EOF'
192.168.10.11   node1.example.com node1
192.168.10.12   node2.example.com node2
192.168.10.20   qnetd.example.com qnetd
EOF
dnf install -y chrony && systemctl enable --now chronyd
firewall-cmd --permanent --add-service=high-availability
firewall-cmd --add-service=high-availability
echo 'YourPassword' | passwd --stdin hacluster
systemctl enable --now pcsd.service

#=========== [node1] 3. 建集群 ===========
pcs host auth node1.example.com node2.example.com -u hacluster -p 'YourPassword'
pcs cluster setup my_cluster --start \
  node1.example.com addr=192.168.20.11 addr=192.168.30.11 \
  node2.example.com addr=192.168.20.12 addr=192.168.30.12
pcs cluster enable --all
pcs status

#=========== [仲裁主机] 4. qnetd ===========
# dnf install -y pcs corosync-qnetd
# systemctl enable --now pcsd.service; echo 'YourPassword' | passwd --stdin hacluster
# pcs qdevice setup model net --enable --start
# firewall-cmd --permanent --add-service=high-availability; firewall-cmd --reload

#=========== [node1] 5. 加入 qdevice ===========
pcs host auth qnetd.example.com -u hacluster -p 'YourPassword'
pcs quorum device add model net host=qnetd.example.com algorithm=ffsplit
pcs quorum status

#=========== [node1] 6. Fencing ===========
pcs stonith create fence-node1 fence_ipmilan ip=10.10.10.11 \
    username=fenceuser password='FencePass' lanplus=1 \
    pcmk_host_list="node1.example.com" pcmk_delay_base=0s op monitor interval=60s
pcs stonith create fence-node2 fence_ipmilan ip=10.10.10.12 \
    username=fenceuser password='FencePass' lanplus=1 \
    pcmk_host_list="node2.example.com" pcmk_delay_base=10s op monitor interval=60s
pcs constraint location fence-node1 avoids node1.example.com=INFINITY
pcs constraint location fence-node2 avoids node2.example.com=INFINITY
pcs property set stonith-enabled=true
pcs property set priority-fencing-delay=15s
pcs stonith fence node2.example.com          # ⚠ 验收测试

#=========== [两节点] 7. LVM + Apache 准备 ===========
sed -i 's/^\s*#\?\s*system_id_source\s*=.*/\tsystem_id_source = "uname"/' /etc/lvm/lvm.conf
dnf install -y httpd
printf '<Location /server-status>\n SetHandler server-status\n Require local\n</Location>\n' \
   > /etc/httpd/conf.d/status.conf
systemctl disable --now httpd
firewall-cmd --permanent --add-service=http && firewall-cmd --add-service=http

#=========== [node1] 8. 存储 ===========
lvmdevices --adddev /dev/sdb1
vgcreate --setautoactivation n my_vg /dev/sdb1
lvcreate -L 10G -n my_lv my_vg
mkfs.xfs /dev/my_vg/my_lv

#=========== [node1] 9. 资源 ===========
pcs cluster cib my_cfg
pcs -f my_cfg resource create my_lvm ocf:heartbeat:LVM-activate \
      vgname=my_vg vg_access_mode=system_id --group apachegroup
pcs -f my_cfg resource create my_fs ocf:heartbeat:Filesystem \
      device="/dev/my_vg/my_lv" directory="/var/www" fstype="xfs" --group apachegroup
pcs -f my_cfg resource create VirtualIP ocf:heartbeat:IPaddr2 \
      ip=192.168.10.100 cidr_netmask=24 op monitor interval=30s --group apachegroup
pcs -f my_cfg resource create Website ocf:heartbeat:apache \
      configfile="/etc/httpd/conf/httpd.conf" \
      statusurl="http://127.0.0.1/server-status" op monitor interval=1min --group apachegroup
pcs -f my_cfg resource defaults update resource-stickiness=100
crm_verify -x my_cfg -V
pcs cluster cib-push my_cfg --config

#=========== [node1] 10. 验收 ===========
pcs status --full
curl http://192.168.10.100
pcs config backup /root/cluster_backup_initial