Centos8中安装并配置VDO来优化存储空间_Linux_华仔的博客-程序员宝宝_centos 安装pvcreate

技术标签: 技术干货  运维  linux  

虚拟数据优化器(VDO)是一种块虚拟化技术,可提供透明的数据重复删除功能。通过消除冗余的数据块,VDO可以大大减少实际使用的磁盘容量。

VDO由两个内核模块和两个命令组成:

由下面两个内核模块组成:

  • kvdo - 该模块加载到设备管理器层,提供用于重复数据删除的块存储卷。
  • uds - 该模块负责与VDO磁盘上的通用的重复数据删除索引进行通信。

包括两个命令行工具:

  • vdo - 用于创建,删除,启动和停止VDO卷,以及执行其他配置操作。
  • vdostats - 用于报告VDO卷的各个方面,包括有效的减少和物理卷的利用率。

系统环境

Centos8

安装VDO

下面命令安装vdo和相关依赖,安装完成之后重启系统:

[[email protected] ~]# yum -y install vdo
[[email protected] ~]# reboot

Centos8中安装并配置VDO来优化存储空间Centos8中安装并配置VDO来优化存储空间

创建一个VDO设备

确保有一个空余磁盘或分区可供VDO使用。尽管可以在LVM逻辑卷上面创建VDO卷,但是重新引导系统时会出现引导顺序问题。所以再裸盘上面创建vdo卷之后在它之上创建LVM逻辑卷。

Centos8中安装并配置VDO来优化存储空间Centos8中安装并配置VDO来优化存储空间


下面使用一块20GB的磁盘,/dev/sda做vdo卷
下面创建vdo卷:

[[email protected] ~]# vdo create --name=vdolvm --device /dev/sda --vdoLogicalSize 60G --writePolicy async 
Creating VDO vdolvm
      The VDO volume can address 16 GB in 8 data slabs, each 2 GB.
      It can grow to address at most 16 TB of physical storage in 8192 slabs.
      If a larger maximum size might be needed, use bigger slabs.
Starting VDO vdolvm
Starting compression on VDO vdolvm
VDO instance 0 volume is ready at /dev/mapper/vdolvm

Centos8中安装并配置VDO来优化存储空间Centos8中安装并配置VDO来优化存储空间


下面分解一下命令,看看所使用的选项:

  • --device - 指定在哪个硬盘上创建vdo卷
  • --vdoLogicalSize - 这里我们指定了容量大小为60G,比我们实际磁盘20G大了许多。假设我们将从重复数据删除中至少得到3:1的减少,对于大多数的数据,这是相当保守的,但如果你的数据没有很多重复的,那么比率应该是不同的。日志文件和其他纯文本文件通常可以很好地进行重复数据删除,可能会得到10:1甚至更高的重复数据删除率。但是二进制文件,如视频、音频或压缩包,将远远低于3:1,甚至在某些情况下1:1。这种情况下不建议使用vdo卷。
  • --writePolicy - vdo有三种写策略:sync:只有在数据写入物理设备后,才会确认对VDO卷的写入。async:在数据写入缓存后被确认。如果在设备故障或掉电之前没有刷新缓存,可能会导致数据丢失。auto:在这种默认模式下,VDO将检查存储设备并确定它是否支持刷新。如果是这样,VDO将使用异步模式。如果没有,它将使用同步模式。

查看新建VDO卷相关的信息

正如我们在上一步的输出中看到的,VDO创建了一个名为/dev/mapper/vdolvm的新dm设备。当我们创建lvm卷组时,这就是我们将要使用的设备。

[[email protected] ~]# ll /dev/mapper/vdolvm 
lrwxrwxrwx 1 root root 7 Mar  4 13:31 /dev/mapper/vdolvm -> ../dm-2

Centos8中安装并配置VDO来优化存储空间Centos8中安装并配置VDO来优化存储空间


让我们看看使用vdostats可以获得有关vdo卷的什么样的信息:

[[email protected] ~]# vdostats --hu
Device                    Size      Used Available Use% Space saving%
/dev/mapper/vdolvm       20.0G      4.0G     16.0G  20%           N/A

Centos8中安装并配置VDO来优化存储空间Centos8中安装并配置VDO来优化存储空间


由于我们尚未将任何数据写入该卷,因此Space saving%字段为N/A。稍后我们将写一些数据时,在此处看到更多有用的信息。

可以看到上图中,我们还没有写任何数据,但是已经有4GB,20%的空间正在使用中了!这是因为“通用重复数据删除索引”已被写入磁盘。这基本上是一个数据库,用于记录slab指纹及其位置。这就是使重复数据删除成为可能的原因。

将VDO卷作为普通磁盘设备进行设置

现在我们已经创建了VDO设备,我们可以对其进行分区并格式化,或者在这个vod卷上面创建lvm逻辑卷。下面我们创建逻辑卷:

# 创建物理卷
[[email protected] ~]# pvcreate /dev/mapper/vdolvm 
  Physical volume "/dev/mapper/vdolvm" successfully created.
# 创建卷组vdo_vg
[[email protected] ~]# vgcreate vdo_vg /dev/mapper/vdolvm 
  Volume group "vdo_vg" successfully created
# 查看vdo_vg卷组的信息
[[email protected] ~]# vgdisplay vdo_vg 
  --- Volume group ---
  VG Name               vdo_vg
  System ID             
  Format                lvm2
  Metadata Areas        1
  Metadata Sequence No  1
  VG Access             read/write
  VG Status             resizable
  MAX LV                0
  Cur LV                0
  Open LV               0
  Max PV                0
  Cur PV                1
  Act PV                1
  VG Size               <60.00 GiB
  PE Size               4.00 MiB
  Total PE              15359
  Alloc PE / Size       0 / 0   
  Free  PE / Size       15359 / <60.00 GiB
  VG UUID               qfPiH6-eMCU-Z6kr-eeCu-jd0J-8lmf-49daZX

从上面可以看到,lvm认为我们的基础磁盘为120GB,尽管我们知道它只有40GB。由于LVM不知道VDO后端磁盘的大小。

Centos8中安装并配置VDO来优化存储空间Centos8中安装并配置VDO来优化存储空间


现在,让我们创建几个逻辑卷吧:

[[email protected] ~]# lvcreate -n vdo_lv01 -L 15G vdo_vg 
[[email protected] ~]# lvcreate -L 15G -n vdo_lv02 vdo_vg
[[email protected] ~]# lvcreate -L 15G -n vdo_lv03 vdo_vg 
# 查看创建好的逻辑卷
[[email protected] ~]# lvs -o +devices

Centos8中安装并配置VDO来优化存储空间Centos8中安装并配置VDO来优化存储空间

创建挂载点并挂载文件系统

通常,创建文件系统后,它将在设备上运行Trim操作。使用VDO时,这不是理想的选择,因为磁盘容量是按需分配的。因此,我们要告诉mkfs在文件系统创建过程中不要丢弃块。对于XFS,请使用-K选项。对于EXT4,请使用-E nodiscard。下面使用了一个for循环,将三个逻辑卷格式化为XFS文件系统:

[[email protected] ~]# for i in `seq 1 3`; do mkfs.xfs -K /dev/vdo_vg/vdo_lv0$i ; done
meta-data=/dev/vdo_vg/vdo_lv01   isize=512    agcount=4, agsize=983040 blks
         =                       sectsz=4096  attr=2, projid32bit=1
         =                       crc=1        finobt=1, sparse=1, rmapbt=0
         =                       reflink=1
data     =                       bsize=4096   blocks=3932160, imaxpct=25
         =                       sunit=0      swidth=0 blks
naming   =version 2              bsize=4096   ascii-ci=0, ftype=1
log      =internal log           bsize=4096   blocks=2560, version=2
         =                       sectsz=4096  sunit=1 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0
meta-data=/dev/vdo_vg/vdo_lv02   isize=512    agcount=4, agsize=983040 blks
         =                       sectsz=4096  attr=2, projid32bit=1
         =                       crc=1        finobt=1, sparse=1, rmapbt=0
         =                       reflink=1
data     =                       bsize=4096   blocks=3932160, imaxpct=25
         =                       sunit=0      swidth=0 blks
naming   =version 2              bsize=4096   ascii-ci=0, ftype=1
log      =internal log           bsize=4096   blocks=2560, version=2
         =                       sectsz=4096  sunit=1 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0
meta-data=/dev/vdo_vg/vdo_lv03   isize=512    agcount=4, agsize=983040 blks
         =                       sectsz=4096  attr=2, projid32bit=1
         =                       crc=1        finobt=1, sparse=1, rmapbt=0
         =                       reflink=1
data     =                       bsize=4096   blocks=3932160, imaxpct=25
         =                       sunit=0      swidth=0 blks
naming   =version 2              bsize=4096   ascii-ci=0, ftype=1
log      =internal log           bsize=4096   blocks=2560, version=2
         =                       sectsz=4096  sunit=1 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0

Centos8中安装并配置VDO来优化存储空间Centos8中安装并配置VDO来优化存储空间


当我们将新文件系统挂载到挂载点时,我们要告诉XFS放弃块,因为这将大大加快文件删除的速度。

[[email protected] ~]# mkdir -p /data/{01..03}
[[email protected] ~]# for i in `seq 1 3`; do mount -o discard /dev/vdo_vg/vdo_lv0$i /data/0$i; done

Centos8中安装并配置VDO来优化存储空间Centos8中安装并配置VDO来优化存储空间


现在,我们向设备写入了少量数据,我们可以再次检查VDO卷以查看情况是否已更改。

[[email protected] ~]# vdostats --hu
Device                    Size      Used Available Use% Space saving%
/dev/mapper/vdolvm       20.0G      4.0G     16.0G  20%           86%

Centos8中安装并配置VDO来优化存储空间Centos8中安装并配置VDO来优化存储空间

设置为开机启动

下面将三个逻辑卷设置为开机启动,需要在fstab文件中添加x-systemd.device-timeout=0x-systemd.requires=vdo.service

使用blkid查看这三个逻辑卷的UUID。

Centos8中安装并配置VDO来优化存储空间Centos8中安装并配置VDO来优化存储空间


使用上面获取到的UUID,添加在/etc/fstab文件中:

[[email protected] systemd]# vim /etc/fstab 

UUID="bd2c1c61-4656-4065-b5a0-3ca53ef0f949" /data/01  xfs  defaults,x-systemd.device-timeout=0,x-systemd.requires=vdo.service 0 0
UUID="1e53579b-f1da-4f77-80e6-d61a40515525" /data/02  xfs  defaults,x-systemd.device-timeout=0,x-systemd.requires=vdo.service 0 0
UUID="d41bf7e2-bf75-4db7-b323-a923375f6a6e" /data/03  xfs  defaults,x-systemd.device-timeout=0,x-systemd.requires=vdo.service 0 0

总结

虚拟数据优化器(VDO)是一种块虚拟化技术,可提供透明的数据重复删除功能。通过消除冗余的数据块,VDO可以大大减少实际使用的磁盘容量。

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/linux_hua130/article/details/120720045

智能推荐

ACL2020有关可解释性的文章_Kenny_SI的博客-程序员宝宝

DTCA: Decision Tree-based Co-Attention Networks for Explainable Claim Verification摘要:Recently, many methods discover effective evidence from reliable sources by appropriate neural networks for explainable claim verification, which has been widely recogni

django 字段DateTimeField用法 200315_whalecode的博客-程序员宝宝_datetimefield

时间的三个字段DateTimeField迁移后的类型使用例子now函数返回的是utc的时间utc时间与我们相差八个小时使用本地的时间设置中的时间配置结果小结,把别的时间转换成本地时间localtime(日期时间)auto_now_add参数创建时间适用auto_now参数更新时间适用总结DateTimeField的用法记录信息发布...

皮尔逊相关系数 Pearson correlation coefficient_学渣渣渣渣渣的博客-程序员宝宝_皮尔逊相关系数

在统计学中,皮尔逊相关系数( Pearson correlation coefficient),又称皮尔逊积矩相关系数(Pearson product-moment correlation coefficient,简称 PPMCC或PCCs),是用于度量两个变量X和Y之间的相关程度(线性相关),其值介于-1与1之间。目录1 定义2 性质3 物理意义3.1 皮尔森距离4 应用调包4.1 衡量两个样本的相似度1 定义两个变量之间的皮尔逊相关系数定义为两个变量之间的协方差和标准差的商:上式定义了总体相关

2006年度中国上市公司价值百强排名表前100强_唐古拉山的博客-程序员宝宝

来源: 网易财经 2006年度证券时报.中联集团中国上市公司价值百强排名表 股票代码 股票简称 公司所在地 最终排名 60

前端本地存储sessionStorage和localStorage_Tj,나 갔어的博客-程序员宝宝

window.sessionStorage1.生命周期为关闭浏览器窗口2.在同一个窗口下数据可以共享3.以键值对的形式存储用法:存储数据 sessionStorage.setItem(key, val)获取数据 sessionStorage.getItem(key)删除数据 sessionStorage.removeItem(key)清楚所有数据 sessionStorage.clear()//会清除页面中所有数据,慎用window.localStorage..

随便推点

编程寓言:两位新手正讨论常用快捷键,路边乞丐直接说出答案!_普通网友的博客-程序员宝宝

两位大一新生刚刚开始学习C语言,并畅想着以后要成为一名优秀的C语言程序员,可谓是志向远大!这时,同伴突然向他询问了一个问题,问他编程里边这么多快捷键,我们学习C语言最常用的快捷键是哪一个,这个同伴苦思冥想了半天,奈何自己刚刚接触学习的C语言,还没弄清楚自己最常用的快捷键。一边走一边想,还是没有得到答案,可是没想到,路边的一个乞丐,却突然给出了答案······以上...

Oracle - 2.0 - 【学习笔记】for ocp 12c、体系结构、网络_LawssssCat的博客-程序员宝宝

测试package cn.edut.tarena.demo1;import java.math.BigDecimal;public class Test7_BigDEcimal { public static void main(String[] args) { // 接受用户数输入的两个浮点数 double f1 = 10.5 ; double f2 = 3.1; ...

关于《ERP原理》的读书笔记和思考(二)_ERP原理初探_猫撵耗子的博客-程序员宝宝

ERP定义支持混合方式的制作环境(1)生产方式的混合    离散型和流程型制造的混合。单件生产、面向库存生产、面向订单装备。(2)经营方式的混合    跨国的混合经营(3)生产、分销和服务等业务的混合提供据测能力支持ERP的能动性。ERP系统的一般构成1、主生产计划主生产计划员利用ERP系统提供一个模拟环境,ERP系统利用模拟数据库计算处相应

浏览器本地存储 sessionStorage和localStorage_ALKEN ABBY的博客-程序员宝宝_浏览器的sessionstorage

一. sessionStorage和localStorage的Api是一样的,都是四种// 保存一个数据setItem(key,value)// 读取一个数据getItem(key)// 删除一个数据removeItem(key)// 清空所有数据clear()// 注意:4个方法里面的key和value都是字符串类型的二. 下面是具体例子:localStorage使用:&lt;!DOCTYPE html&gt;&lt;html lang="en"&gt;&lt;head&g

web本地存储sessionStorage和localStorage_SC前端的博客-程序员宝宝

本地存储特性:1、数据存储在用户浏览器中2、设置、读取方便、甚至页面刷新不丢失数据3、容量较大,sessionStorage约5M、localStorage约20M4、只能存储字符串,可以将对象JSON.stringify() 编码后存储一、window.sessionStorage1、生命周期为关闭浏览器窗口2、在同一个窗口(页面)下数据可以共享3、以键值对的形式存储使用存储数...

ueditor内容带格式回显(html字符串回显)_weixin_33739523的博客-程序员宝宝

简单描述:项目里有个地方用到啦ueditor,用来输入XX描述就用电影film代替,保存后,获取到ueditor里的内容(html字符串),保存到数据库。吐槽:回显的时候,无论怎么处置,就是死活不好用,百度的什么初始化,然后调用setContent()方法,也都是白搭,emmmm,终于在我找了好久之后,找到了一个,下面是Code代码://js代码&lt;script type="t...

推荐文章

热门文章

相关标签