MogDB/openGauss 故障排查思路

发布日期:2022-08-07 10:31    点击次数:67

本文转载自微信公众号「数据和云」,作者高云龙。转载本文请联系数据和云公众号。

前提

当我们收到反馈说数据库响应慢或者压测过程中数据库有报错,第一步先收集数据库服务器资源使用情况,这一步是处理所有故障的前提。

--负载 top 命令 htop 命令  --cpu lscpu 命令  --内存大小 free -g  --磁盘大小 df-Th   --磁盘使用跟踪 nohup iostat -xmt 1 > iostat.log 2>&1 &  --网络延时 应用程序与数据库之间的网络延时,集群内主库与同步备库之间的网络延时 nohup ping 目标ip | awk '{ print $0"\t" strftime("%Y-%m-%d %H:%M:%S",systime())}' > ping.log 2>&1 & 

*模拟网络延时小知识*

模拟同城机房网络延迟在0.7ms ~ 0.9ms ;

添加网络延迟模拟:tc qdisc add dev enp23s0f1(网卡) root netem delay 0.8ms 0.1ms ;

删除网络延时模拟:tc qdisc dev dev enp23s0f1(网卡) root netem delay 0.8ms 0.1ms。

常见问题

一.Xlog目录磁盘空间不足

Xlog日志目录满的原因有以下几个:

集群内有宕机的备节点,或者主备节点之间的网络不通; 无效的复制槽未及时清理; 开启归档,但归档失败; Xlog保留数量过多。

备节点故障:

通过网络及数据库日志信息,判断节点故障原因,并尽快恢复主备节点之间的复制关系,当故障无法快速解决时,建议修改数据库参数来改变主库Xlog保留大小。

enable_xlog_prune = on max_size_for_xlog_prune:默认是2T,建议修改值为104857600 (100GB),或根据磁盘空间自行调整 

无效复制槽:

查看是否存在无效的复制槽导致Xlog清理不及时,需要将延时最大的复制槽删除。

--查看复制槽 select slot_name,coalesce(plugin,
大型游戏'_') as plugin,        slot_type,datoid,coalesce(database,'_') as database,        active,coalesce(xmin,'_') as xmin,精品集萃        pg_size_pretty(pg_xlog_location_diff(CASE WHEN pg_is_in_recovery() THEN pg_last_xlog_receive_location() ELSE pg_current_xlog_location() END , restart_lsn))  AS retained_bytes from pg_replication_slots;  --清理复制槽 select pg_drop_replication_slot('slot_name'); 

归档失效:

先检查归档目录是否有归档日志,如果没有,需要查看数据库日志归档失效的原因。

Xlog参数不合理:

检查数据库Xlog保留参数值是否合理: wal_keep_segments。

二.CPU使用率高

除了数据库BUG、其他程序耗CPU高影响数据库外,绝大部分原因是SQL执行慢且并发量大引起。

1、当前正在执行的SQL汇总  select query,count(*) from pg_stat_activity group by query order by 2 desc limit 5;  2、查看SQL的执行计划 explain (analyze,costs,buffers,timing) QUERY   3、SQL涉及的表是否有表膨胀、索引失效或缺失或重复 的情况,这步可以处理80%的慢SQL  --表结构 \d+ 表名  --表及索引占空间大小 SELECT CURRENT_CATALOG AS datname,nsp.nspname,rel.relname,         pg_size_pretty(pg_total_relation_size(rel.oid))       AS totalsize,         pg_size_pretty(pg_relation_size(rel.oid))             AS relsize,         pg_size_pretty(pg_indexes_size(rel.oid))              AS indexsize,         pg_size_pretty(pg_total_relation_size(reltoastrelid)) AS toastsize FROM pg_namespace nsp JOIN pg_class rel ON nsp.oid = rel.relnamespace WHERE nspname NOT IN ('pg_catalog', 'information_schema') AND rel.relkind = 'r' order by pg_total_relation_size(rel.oid) desc limit 20;  --表膨胀 select schemaname,relname,n_live_tup,n_dead_tup,     round((n_dead_tup::numeric/(case (n_dead_tup+n_live_tup) when 0 then 1 else (n_dead_tup+n_live_tup) end ) *100),2) as dead_rate from pg_stat_user_tables where n_live_tup > 0 and (n_dead_tup::numeric/(n_dead_tup+n_live_tup))>0 order by 5 desc limit 50;  --索引使用率 select schemaname


栏目分类



Powered by 重庆递乐搬家服务有限公司 @2013-2022 RSS地图 HTML地图

Copyright 站群系统 © 2013-2022 365建站器 版权所有