greenplum-清理pg_xlog释放空间(慎重!!!)_greenplum pg_xlog-程序员宅基地

技术标签: greenplum  pg_xlog  数据库  维护  

greenplum(gp)postgre清理pg_xlog释放空间

greenplum数据库在大量数据更新时,会产生大量的pg_xlog,造成磁盘空间占用;系统长时间运行后,pg_log文件夹下日志文件也会越来越大,合理的做法是日志文件的磁盘和数据目录挂载在不同的磁盘路径下或者磁盘扩容;若在同一路径下,可将日志文件备份到其他路径,腾出一部分空间,或清理pg_xlog

【注意】:

pg_xlog下面的日志不能人为的随意删除,例如使用rm -rf命令,否则给数据库带来巨大灾难,服务启动失败
greenplum/PostgreSQL自带了清理wal日志的工具叫pg_resetxlog,其实是通过重置xlog的值来清理xlog文件。但是这个工具通常不建议使用,在无法扩容且磁盘快满等特殊情况下,可以选择清理,但也会有一定几率造成服务启动异常。
一定不能在服务运行的情况下去操作pg_resetxlog

1、查看当前pg_xlog占用大小【gpmaster操作】

cd /home/gpadmin/gpdata/gpmaster/gpseg-1/ 
或  cd $MASTER_DATA_DIRECTORY
du -sh *

可以看到当前数据目录下pg_xlog

备注:集群的每个数据存储节点上都会存在pg_xlog的空间占用

2、同样操作方式逐个节点实施清理【根据机器清单逐个执行】

gpstate -s | grep -E "Master data directory|Datadir"|awk -F"=" '{print $2}'

3、停止gp集群服务【gpmaster操作】

gpstop -M fast #确保无任务执行

4、清理流程【gpmaster操作】

# 注意操作用户均为gpadmin管理员用户来操作,其他linux普通用户无法操作
# pg_controldata命令读取的pg_control里存储路径的元数据信息
[gpadmin@gpmaster gpseg-1]$ pg_controldata /home/gpadmin/gpdata/gpmaster/gpseg-1 | grep -E "Latest checkpoint's NextXID|Latest checkpoint's NextOID"
Latest checkpoint's NextXID:          0/735
Latest checkpoint's NextOID:          16395

# -o 参数为查询到的NextOID,-x 参数为查询到的NextXID,-f 参数为对应的数据存储目录
[gpadmin@gpmaster gpseg-1]$ pg_resetxlog -o 16395 -x 735 -f /home/gpadmin/gpdata/gpmaster/gpseg-1
WARNING: Do not use this on Greenplum. pg_resetxlog might cause data loss
and render system irrecoverable. Do you wish to proceed? [yes/no] yes
Transaction log reset
[gpadmin@gpmaster gpseg-1]$ 

5、再次验证数据存储目录【gpmaster操作】

du -sh *

可以看到当前数据目录下pg_xlog 65M大小,已经被清理

备注:

  1. 涉及的数据路径均以真实环境查询到的数据存储路径清单为准
  2. NextXID和NextOID均以真实环境查询到的结果为准
  3. master清理后 应该是64M(没验证是不是绝对),segment节点清理之后是比较大的

6、同样操作方式逐个节点实施清理【根据机器清单逐个执行】

7、启动gp集群服务【gpmaster操作】

gpstart -a
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/qq_38195893/article/details/137140001

智能推荐

pytorch学习笔记01_张量——Tensor基本常用操作_tensor 开根号-程序员宅基地

文章浏览阅读789次。文章目录前言一、张量是什么?二、张量的属性三、张量创建3.1 依据原有数据创建3.1.1. torch.tensor()3.1.2 torch.from_numpy()3.2 数学方法创建3.2.1 torch.zeros()3.2.2 torch.ones()3.2.3 torch.fill()3.2.4 torch.arange()3.2.5 torch.linspace()3.2.6 torch.logspace()3.2.7 torch.eye()3.3 依概率分布创建张量3.3.1 torch.n_tensor 开根号

AML8726调试记录_aml8726mx刷linux-程序员宅基地

文章浏览阅读1w次。A:android本身的机制,调节volume时不会去控制声卡上的寄存器,而是通过软件算法将volume调大或者调小。声卡控制的音频输出有好几路,每一路都有vol和gain控制着音量大小。#cat /sys/class/sound/card0/device/RT5631/codec_reg →察看寄存器值# tinymix 15 20 → Speaker Playback Volu_aml8726mx刷linux

【LSTM分类】基于贝叶斯结合支持向量机BO-SVM的数据分类预测附matlab代码-程序员宅基地

文章浏览阅读72次。在当今信息时代,数据分类预测成为了许多领域中的重要任务。而随着深度学习技术的快速发展,长短期记忆网络(LSTM)作为一种强大的序列模型,被广泛应用于各种数据分类问题中。本文将介绍一种基于贝叶斯结合支持向量机(BO-SVM)的方法,来进一步提高LSTM在数据分类预测中的性能。首先,我们需要了解LSTM和BO-SVM的基本概念。LSTM是一种特殊的循环神经网络(RNN),其内部结构包含了输入门、遗忘门和输出门等关键组件,使其能够有效地处理长期依赖关系。

肠道微生物群可以导致自闭、多动、焦虑和抑郁-程序员宅基地

文章浏览阅读268次。文 / 王不留(微信公众号:考研英语笔记)2021年11月15号的清晨,来杯“经济学人浓香咖啡”,提神解困。Following your gut: Microbiomes and behaviourDespite its name, the microbiome, an ecosystem of microorganisms living in the body, plays a big role. Apart from profoundly affecting the im

GridView导出Excel方法_gridview导出excel的方法-程序员宅基地

文章浏览阅读2k次。GridView导出Excel方法一、引用如下命名空间using System.IO;using System.Text;二、详细代码方法一:将代码直接写在页面 /// /// 数据导出 /// /// /// private void Export(string FileType, string FileName) { Re_gridview导出excel的方法

Orange3入门-程序员宅基地

文章浏览阅读1.1k次,点赞10次,收藏26次。Orange3 是一个开源的机器学习和数据可视化桌面软件。它允许你通过简单的拖放技术来创建数据分析工作流程。Orange3 提供了一个友好的图形化用户界面,非常适合初学者使用,同时也为熟练的数据科学家提供了数据探索和建模的强大功能。在 Orange3 中,数据分析过程被设计为工作流程,它顺畅地转换并可视化数据,使用机器学习算法进行建模,并创建了可视化的数据呈现。每个流程都是一系列称为 "widget" 的模块,它们通过渠道连接在一起进行通信。_orange3

随便推点

【VHDL】VHDL设计一个分频器_lpm div-程序员宅基地

文章浏览阅读2.8w次,点赞22次,收藏123次。尝试用两种或以上方式设计并实现一个分频器_lpm div

platform设备 函数解析_hardware/qcom/audio/hal/plaformc platform_get_para-程序员宅基地

文章浏览阅读2.2k次。platform设备 函数解析 这些函数都在inlcude/linux/platform_device.h 和platform.c中1. platform驱动结构体:struct platform_driver { int (*probe)(struct platform_device *_hardware/qcom/audio/hal/plaformc platform_get_parameters是什么意思

新手入门:了解网络应用与网络协议-程序员宅基地

文章浏览阅读62次。网络应用(network application)是计算机网络之所以存在的理由。要是我们设想不出任何有用的网络应用,那就没有必要设计支持它们的网络协议了。不过,过去30年内已有不少人设计出大量精妙的网络应用。这些应用既包括从20世纪80年代流行起来的基于文本的经典应用,例如远程计算机访问、电子邮件、文件传送、新闻组、聊天等;也包括近些年来所谓的多媒体应用,例如Web、因特网电话、视频会议、音频/视..._trdp 乱序

计算机组成原理期末考试题库(超级多的那种)_云南大学滇池学院2024计算机组成原理期末考试-程序员宅基地

文章浏览阅读2.9w次,点赞160次,收藏1.7k次。废话不多说,不管是应对期末考试还是考研基础复习,刷题是必不可少的!!! 大家冲就完了!!!!记得给 罡罡同学点关注哦! 后期还会更新其他题库的呢!!!打赏一点钱,帮我买瓶肥宅快乐水,继续创作,谢大家!计算机组成原理试题库——题目及答案计算机组成原理试卷1一、选择题(共20分,每题1分)1.CPU响应中断的时间是______。A.中断源提出请求;B.取指周期结束;C.执行周期结束;D.间址周期结束。2.下列说法中______是正确的。A.加法指令的执行周期一定要访存;B.加法指令_云南大学滇池学院2024计算机组成原理期末考试

IPC网络高清摄像机基础知识6(CCD 与 CMOS传感器)_ipc shutter-程序员宅基地

文章浏览阅读1.2w次。需求说明:IPC高清摄像机知识储备内容 :第一部分 从四大方面分析CCD传感器与CMOS传感器的优劣 第二部分 解析数码相机的技术参数整理来自:时间的诗第一部分 从四大方面分析CCD传感器与CMOS传感器的优劣来自:http://www.elecfans.com/yuanqijian/sensor/20_ipc shutter

给NAS-Tool添加拓展功能,自定义刷流、索引规则_nastool安装第三方插件-程序员宅基地

文章浏览阅读1.5k次,点赞7次,收藏8次。给NAS-Tool添加拓展功能,自定义刷流、索引规则_nastool安装第三方插件

推荐文章

热门文章

相关标签