git.rot13.org Git - pgpool-online-recovery/blob - online-recovery.sh

   1 #!/bin/bash
   2
   3 #Postgres data directory
   4 postgres_datadir='/var/lib/postgresql/9.1/main'
   5 #Postgres configuration directory
   6 postgres_configdir='/etc/postgresql/9.1/main'
   7 #Postgres user ssh key
   8 postgres_user_key='/var/lib/postgresql/.ssh/id_rsa'
   9 #Pgpool configuration directory
  10 pgpool_configdir='/etc/pgpool2'
  11
  12 if [ -f '/tmp/postgres_master' ]
  13 then
  14     #Get current postgres master id
  15     current_master_id=$(cat /tmp/postgres_master);
  16 else
  17     echo "[ERROR] /tmp/postgres_master not found !";
  18     exit 0;
  19 fi
  20
  21 #Get postgres master name
  22 current_master_name=$(pcp_node_info 10 localhost 9898 postgres postgres $current_master_id | cut -d' ' -f1)
  23 #Get postgres slave id
  24 [ $current_master_id == 0 ] && current_slave_id=1 || current_slave_id=0
  25 #Get postgres slave name
  26 current_slave_name=$(pcp_node_info 10 localhost 9898 postgres postgres $current_slave_id | cut -d' ' -f1)
  27
  28 #Test if pgpool is running
  29 CheckIfPgpoolIsRunning () {
  30     #Send signal 0 to pgpool to check if it's running
  31     if ! killall -0 pgpool; then echo "[ERROR] Pgpool is not running !"; exit 1; fi;
  32 }
  33
  34 AttachNodeToPgpool () {
  35    #pcp_attach_node is a command that permit to attach a specific postgres server (identified by 6th parameter) to pgpool.
  36    #pcp_attach_node dont return a good error code when it fails so here if I catch "BackendError" message in stderr I presume
  37    #that attachment failed.
  38    #TODO:find a condition to break the folowing loop if attachment fails.
  39    while [ "`pcp_attach_node 10 localhost 9898 postgres postgres  $1`" == "BackendError" ]
  40     do
  41         pcp_attach_node 10 localhost 9898 postgres postgres  $1;
  42         #This sleep is recommanded to avoid stressing pgpool in this infinite loop.
  43         sleep 5;
  44     done
  45 }
  46
  47 #Whether the slave node is down, start it and attach it to pgpool's backend pool.
  48 ReattachDegeneratedSlave () {
  49     #Reboot slave node
  50     echo "[INFO] Slave node '$current_slave_name' is down. Performing postgres server reboot..."
  51     #Remote postgres reboot via ssh
  52     ssh -i $postgres_user_key postgres@$current_slave_name "/etc/init.d/postgresql restart"
  53     #Test if postgres is running
  54     status=$(ssh -i $postgres_user_key postgres@$current_slave_name "if ! killall -0 postgres; then echo 'error'; else echo 'running'; fi;")
  55     if [ $status == "error" ]
  56     then
  57         echo "[ERROR] Postgres slave still down !";
  58         exit 0;
  59     else
  60         echo "[OK] Slave node successfully started.";
  61     fi
  62
  63     #Do 'slave online recovery' to force slave sync if it has incoherent data relatevely to master.
  64     #echo "[INFO] Starting online recovery for slave '$current_slave_name' ..."
  65     #ssh -i /var/lib/postgresql/.ssh/id_rsa postgres@$current_slave_name "bash /var/lib/postgresql/streaming-replication.sh $current_master_name"
  66     #Atttach slave (even master) to pgpool's backends pool
  67     #Reattach the master node if you have performed an online recovery for slave node and not juste a simple reboot.
  68     #Attempting to reatach master to pgpool's backend pool
  69     #echo "[INFO] Attaching master node '$current_master_name' ..."
  70     #AttachNodeToPgpool "$current_master_id"
  71     #echo "[OK] Master node '$current_master_name' has been successfully reattached to pgpool."
  72     #Attempting to reattach slave to pgpool's backend pool
  73     echo "[INFO] Attaching slave node '$current_slave_name'..."
  74     AttachNodeToPgpool "$current_slave_id"
  75     echo "[OK] Slave node '$current_slave_name' has been successfully reattached to pgpool."
  76 }
  77
  78
  79 #Whether the master is down do the folowing operations :
  80 SwitchOldMasterToSlave () {
  81
  82     new_master_name=$current_slave_name
  83     new_master_id=$current_slave_id
  84     new_slave_name=$current_master_name
  85     new_slave_id=$current_master_id
  86     #Setup old master config to slave mode
  87     echo "[INFO] Setting up configuration for the new slave node '$new_slave_name'..."
  88     ssh -i $postgres_user_key postgres@$new_slave_name "/etc/init.d/postgresql stop"
  89     ssh -i $postgres_user_key postgres@$new_slave_name "cp -p $postgres_configdir/postgresql.conf.slave $postgres_configdir/postgresql.conf"
  90     ssh -i $postgres_user_key postgres@$new_slave_name  "[ -f $postgres_datadir/recovery.done ] && mv $postgres_datadir/recovery.done $postgres_datadir/recovery.conf"
  91     # Switch slave to new master
  92     echo "[INFO] Setting up configuration for the new master '$new_master_name'..."
  93     ssh -i $postgres_user_key postgres@$new_master_name "[ -f /tmp/trigger_file ] && rm /tmp/trigger_file"
  94     ssh -i $postgres_user_key postgres@$new_master_name "[ -f $postgres_datadir/recovery.conf ] && mv $postgres_datadir/recovery.conf $postgres_datadir/recovery.done"
  95     ssh -i $postgres_user_key postgres@$new_master_name "cp -p $postgres_configdir/postgresql.conf.master $postgres_configdir/postgresql.conf"
  96     echo "[INFO] Restarting new master..."
  97     ssh -i $postgres_user_key postgres@$new_master_name "/etc/init.d/postgresql restart"
  98     status=$(ssh -i $postgres_user_key postgres@$new_master_name "if ! killall -0 postgres; then echo 'error'; else echo 'running'; fi;")
  99     if [ $status == "error" ]
 100     then
 101         echo "[ERROR] New postgres master not running !";
 102         exit 0;
 103     else
 104         echo "[OK] New master started.";
 105     fi
 106     # Start new slave/master with online recovery
 107     echo "[INFO] Performing online slave recovery..."
 108     ssh -i $postgres_user_key postgres@$new_slave_name "bash /var/lib/postgresql/streaming-replication.sh $new_master_name"
 109     echo "[OK] Online recovery completed."
 110
 111     #Write changes to pgpool.conf file to keep the same current master and slave nodes even after pgpool reboot.
 112     sed -i "s/^backend_hostname0.*/backend_hostname0='$new_master_name'/" $pgpool_configdir/pgpool.conf
 113     sed -i "s/^backend_hostname1.*/backend_hostname1='$new_slave_name'/" $pgpool_configdir/pgpool.conf
 114     echo "[OK] Pgpool configuration file updated."
 115
 116     #Attach new master to pgpool
 117     echo "[INFO] Attaching new master node '$new_master_name'..."
 118     AttachNodeToPgpool "$new_master_id"
 119     echo "[OK] New master node '$new_master_name' has been successfully reattached to pgpool."
 120
 121     #Attach new slave to pgpool
 122     echo "[INFO] Attaching new slave node '$new_slave_name'..."
 123     AttachNodeToPgpool "$new_slave_id"
 124     echo "[OK] New slave node '$new_slave_name' has been successfully reattached to pgpool."
 125
 126 }
 127
 128 CheckIfPgpoolIsRunning
 129
 130 #Get master/slave state
 131 current_master_state=$(pcp_node_info 10 localhost 9898 postgres postgres $current_master_id | cut -d' ' -f3)
 132 current_slave_state=$(pcp_node_info 10 localhost 9898 postgres postgres $current_slave_id | cut -d' ' -f3)
 133
 134 # state 1 => postgres server is attached but still not receiving connections
 135 # state 2 => postgres server is attached and managing clients connections
 136 # state 3 => postgres server is detached and probably is down.
 137
 138 #If slave is down and master is up then perform an online slave backup.
 139 [ $current_slave_state == 3 ] && ([ $current_master_state == 1 ] || [ $current_master_state == 2 ]) && ReattachDegeneratedSlave
 140 #If master is down then switch roles between failed master(new server) and the slave(new master).
 141 [ $current_master_state == 3 ] && SwitchOldMasterToSlave