Pacemaker 高可用集群
核心模块深度解析

totem {
    version: 2
    cluster_name: my_cluster
    transport: knet              # RHEL 8+ 默认传输，支持多链路
    crypto_cipher: aes256        # 链路加密
    crypto_hash: sha256          # 消息完整性校验
    # token: 3000               # token 超时(ms)，判定节点失联的关键阈值
    # token_retransmits_before_loss_const: 4
}

nodelist {
    node {
        ring0_addr: 192.168.10.11   # link0：心跳主链路
        ring1_addr: 192.168.20.11   # link1：心跳备链路（强烈建议）
        name: node1.example.com
        nodeid: 1
    }
    node {
        ring0_addr: 192.168.10.12
        ring1_addr: 192.168.20.12
        name: node2.example.com
        nodeid: 2
    }
}

quorum {
    provider: corosync_votequorum
    two_node: 1                  # 双节点集群自动写入！见第 11 章
    # wait_for_all: 1           # two_node:1 时自动隐式启用
}

logging {
    to_logfile: yes
    logfile: /var/log/cluster/corosync.log
    to_syslog: yes
    timestamp: on
}

# 语法
pcs cluster setup cluster_name \
  node1_name addr=node1_link0_address addr=node1_link1_address \
  node2_name addr=node2_link0_address addr=node2_link1_address

# 官方示例
pcs cluster setup my_twolink_cluster \
  rh80-node1 addr=192.168.122.201 addr=192.168.123.201 \
  rh80-node2 addr=192.168.122.202 addr=192.168.123.202

# 指定优先级：让 link1 优先、link0 作备（link_mode 默认 passive）
pcs cluster setup my_twolink_cluster \
  rh80-node1 addr=192.168.122.201 addr=192.168.123.201 \
  rh80-node2 addr=192.168.122.202 addr=192.168.123.202 \
  transport knet link link_priority=1 link link_priority=0

corosync-quorumtool -s        # 查看票数、期望票数、当前 quorum 状态
corosync-cfgtool -s           # 查看各 link 的健康状态（ring status）
corosync-cmapctl | grep members   # 查看运行时成员表
pcs cluster config            # 以 pcs 视角查看 corosync 配置
pcs quorum status             # quorum 详细状态（推荐）
journalctl -u corosync -f     # 实时日志

ps -ef | grep pacemaker            # 看到 pacemakerd 及其 6~7 个子进程
systemctl status pacemaker         # 服务级状态
pcs status | grep -i "Current DC"   # 当前 DC 是谁
crm_mon -1                         # 一次性快照（不进入交互界面）
crm_mon -1 -A                      # 附带显示节点属性

<cib admin_epoch="0" epoch="37" num_updates="12" validate-with="pacemaker-3.x"
     have-quorum="1" dc-uuid="1">

  <configuration>                    <!-- ① 管理员写的：期望状态 -->
    <crm_config>                     <!-- 集群全局属性 -->
      <cluster_property_set id="cib-bootstrap-options">
        <nvpair name="stonith-enabled"  value="true"/>
        <nvpair name="no-quorum-policy" value="stop"/>
      </cluster_property_set>
    </crm_config>

    <nodes>                          <!-- 节点清单与永久节点属性 -->
      <node id="1" uname="node1.example.com"/>
      <node id="2" uname="node2.example.com"/>
    </nodes>

    <resources>                      <!-- 资源定义：primitive / group / clone / bundle -->
      <primitive id="VirtualIP" class="ocf" provider="heartbeat" type="IPaddr2">
        <instance_attributes id="VirtualIP-ia">
          <nvpair name="ip" value="192.168.10.100"/>
        </instance_attributes>
        <operations>
          <op name="monitor" interval="30s"/>
        </operations>
      </primitive>
    </resources>

    <constraints>                    <!-- location / colocation / order / ticket -->
    </constraints>

    <fencing-topology/>              <!-- 多级 fencing -->
    <acls/>  <alerts/>              <!-- 访问控制 / 告警 -->
  </configuration>

  <status>                           <!-- ② 集群自动写的：实际状态，只读，勿动 -->
    <node_state id="1" in_ccm="true" crmd="online" join="member">
      <!-- 每个资源的最近一次操作结果、rc-code、failcount 等 -->
    </node_state>
  </status>
</cib>

# —— 查看 ——
pcs cluster cib                     # 输出完整 CIB XML
pcs cluster cib > /root/cib_backup.xml
cibadmin --query                    # 底层等价命令
cibadmin --query --scope resources  # 只看资源段
pcs config                          # 人类可读的完整配置摘要（推荐）
pcs status --full                   # 状态 + 资源 + failcount

# —— 离线批量修改（沙箱模式，强烈推荐用于复杂变更）——
pcs cluster cib my_cfg                       # ① 导出到本地文件
pcs -f my_cfg resource create VIP IPaddr2 ip=192.168.10.100 cidr_netmask=24
pcs -f my_cfg resource create Web  apache configfile=/etc/httpd/conf/httpd.conf
pcs -f my_cfg constraint colocation add Web with VIP INFINITY
pcs cluster cib-push my_cfg --config         # ② 一次性原子提交

# —— 备份与恢复整个集群配置 ——
pcs config backup  cluster_backup            # 生成 cluster_backup.tar.bz2
pcs config restore cluster_backup.tar.bz2

# 干跑：告诉我"如果现在重新计算，集群会做什么"，但不真正执行
crm_simulate -SL

# 从当前 CIB 模拟并显示动作图
pcs cluster cib > /tmp/cib.xml
crm_simulate -x /tmp/cib.xml -S -s      # -s 显示各资源在各节点的分数

# 查看资源为什么跑在这个节点：打印分配分数
crm_simulate -sL | grep -i "native_color"

# 集群日志（决策细节都在这里）
journalctl -u pacemaker --since "10 min ago"
grep -Ei "pengine|schedulerd|Transition|fence" /var/log/pacemaker/pacemaker.log

pcs resource standards                 # 支持的 standard 列表
pcs resource providers                 # 支持的 provider 列表
pcs resource agents ocf:heartbeat      # 列出所有 ocf:heartbeat 代理
pcs resource describe ocf:heartbeat:IPaddr2   # 查看参数说明（最常用！）
pcs resource list | grep -i nfs        # 关键字搜索

# 资源组：apachegroup 内按声明顺序 启动 lvm → fs → vip → web
pcs resource create my_lvm ocf:heartbeat:LVM-activate vgname=my_vg \
      vg_access_mode=system_id --group apachegroup
pcs resource create my_fs Filesystem device="/dev/my_vg/my_lv" \
      directory="/var/www" fstype="xfs" --group apachegroup
pcs resource create VirtualIP IPaddr2 ip=192.168.10.100 cidr_netmask=24 \
      --group apachegroup
pcs resource create Website apache configfile="/etc/httpd/conf/httpd.conf" \
      statusurl="http://127.0.0.1/server-status" --group apachegroup

# 克隆：每个节点都跑一份
pcs resource create dlm ocf:pacemaker:controld op monitor interval=30s on-fail=fence \
      clone interleave=true ordered=true

# 可提升克隆（主从）
pcs resource promotable my_db promoted-max=1 promoted-node-max=1 \
      clone-max=2 clone-node-max=1

# ——— Location ———
pcs constraint location Website prefers node1.example.com=100   # 倾向
pcs constraint location Website avoids  node2.example.com=INFINITY  # 禁止
pcs constraint location Website prefers node1.example.com       # 不写分数=INFINITY

# ——— Colocation：把 Website 放到 VirtualIP 所在的节点 ———
# 注意方向：colocation add <源> with <目标>，先决定目标位置，再放源
pcs constraint colocation add Website with VirtualIP INFINITY

# ——— Order：先起 VirtualIP，再起 Website ———
pcs constraint order start VirtualIP then start Website
pcs constraint order VirtualIP then Website kind=Mandatory   # Mandatory/Optional/Serialize

# ——— 查看 / 删除 ———
pcs constraint                 # 概览
pcs constraint --full          # 含约束 id（删除时要用）
pcs constraint location config
pcs constraint delete <constraint_id>

pcs property config                      # 查看已显式设置的属性
pcs property config --all                # 查看全部属性（含默认值）
pcs property describe no-quorum-policy   # 查看某属性的说明与可选值

pcs property set stonith-enabled=true
pcs property set no-quorum-policy=freeze
pcs property set priority-fencing-delay=15s
pcs resource defaults update resource-stickiness=100   # 资源默认 meta

pcs property set maintenance-mode=true   # 进入维护模式
pcs property set maintenance-mode=false  # 退出

# 级别 1：先试 IPMI；失败则级别 2：切 PDU 电源
pcs stonith level add 1 node1.example.com ipmi-node1
pcs stonith level add 2 node1.example.com apc-pdu

# 典型组合：kdump 优先（保留崩溃转储），再走 IPMI
pcs stonith level add 1 node1.example.com kdump-node1
pcs stonith level add 2 node1.example.com ipmi-node1

pcs stonith level config      # 查看
pcs stonith level remove 2 node1.example.com

pcs stonith list                          # 列出本机可用的 fence agent
pcs stonith list ipmi                     # 关键字过滤
pcs stonith describe fence_ipmilan        # 查看参数（配置前必看）

# 创建（官方 APC SNMP 示例）
pcs stonith create myapc fence_apc_snmp \
      ipaddr="zapc.example.com" \
      pcmk_host_map="z1.example.com:1;z2.example.com:2" \
      login="apc" passwd="apc"

pcs stonith config                        # 查看已配置的 stonith 资源
pcs stonith status
pcs stonith fence node2.example.com       # ⚠ 真的会把 node2 打掉（测试用）
pcs stonith confirm node2.example.com     # 手工确认节点已死（仅在确实已断电时使用！）
stonith_admin --history="*"              # fencing 历史
pcs stonith history show

pcs quorum status            # 当前票数与 quorum 状态（最常用）
pcs quorum config            # quorum 配置
corosync-quorumtool -s       # 底层视图
pcs quorum device status     # qdevice 客户端状态
pcs qdevice status net --full # 在 qnetd 主机上查看服务端状态

firewall-cmd --permanent --add-service=high-availability
firewall-cmd --add-service=high-availability
firewall-cmd --list-services