PG数据库导致断电/重启无法正常启动问题排查

一、问题

数据库断电后，启动PG数据库后无法正常启动，报”psql: could not connect to server: No such file or directory”的错误，错误图片如下：

二、背景分析

数据库是单机版，使用k8s进行部署运行在指定节点，数据目录挂服务器的指定目录。在数据中心机房部署了两套k8s集群，但是pod网络未规划好，两个集群pod网段有重复导致两个集群之间的pod概率性的发生地址冲突。在发生ip重复了后修改了我方使用的k8s集群的pod网段，并对所有pod进行了重启，在执行重启操作后我方部署pg数据库无法正常提供服务，经过查询容器日志发现了上述问题。

三、解决过程

①   根据日志进入容器查看文件是否存在

kubectl exec -it -n namespace contairnerId /bin/sh

进入容器后发现/var/run/postgresql/.s.PGSQL.5432文件不存在，然后进入一个正常的pg数据库容器，发现该文件是存在的，因此确认pg数据库的进程不正常。

②   查看pg数据库进程是否存在

cat /var/lib/postgresql/11/main/master.pid

                   查看后结果和含义如下：

          1）154->数据库的主进程号，可以通过ps -ef | grep postgres来查询，同时与/var/run/postgresql/11-main.pid里的值一致。

     2）/var/lib/postgresql/11/main->数据库的数据目录

     3）1724468744->数据库的启动时间，需要进行转换

          4）5432->数据库端口号

     5）/var/run/postgresql->PostgreSQL 的 Unix 域套接字目录

         然后通过执行top命令，发现pg数据库的进程并未启动，因此进一步确认pg数据库未正常启动。

③   重新启动pg数据库进程，发现问题原因

执行以下命令启动数据库：

./usr/lib/postgresql/11/bin/pg_ctl  /var/lib/postgresql/11/main start

执行完以后在当前屏幕输出有“invalid primary checkpoint record”等字样，翻译之后就是检查点损坏的意思。

④   修复检查点

使用数据库自带工具对检查点进行修复，进入数据库容器，切换到postgres用户，使用PG自带工具修复，执行命令如下：

./usr/lib/postgresql/11/bin/pg_resetwal –D /var/lib/postgresql/11/main

          修复完后启动数据库进程:

                   /usr/lib/postgresql/11/bin/pg_ctl -D /var/lib/postgresql/11/main start

     再通过navicat工具连可正常访问数据库了。

四、总结

原因定位：异常重启或断电异常了数据文件损坏，pg数据重启后在加载数据文件时发现检查点损坏，无法正常启动。

  解决方法：使用pg自带工具进行检查点修复：

1）  进入数据库容器，切换到postgres用户；

2）  找到pg_resetwal工具，对指定数据文件进行修改，以下是本次修改的命令

./usr/lib/postgresql/11/bin/pg_resetwal –D /var/lib/postgresql/11/main

3）  启动数据库

./usr/lib/postgresql/11/bin/pg_ctl -D /var/lib/postgresql/11/main start