HDP学习--HDFS Storage(中)_hortonword hdp hdfs-程序员宅基地

技术标签: HDP  # HDP学习  

承接HDP学习–HDFS Storage(上)

八、 HDFS Trash

Trash相当于回收站,暂时的将删除的文件和目录移动到/.Trash/Current, 当文件被其他用户删除, 方便恢复。删除的文件保存在Trash directory
例如:
删除 /user/steve/dir1/fileA
重建在Trash directory:

/user/steve/.Trash/Current/user/steve/dir1/fileA

但也是有限制:
 如果你使用 HDFS Shell or the Ambari Files View删除文件, 是会保护的;
 如果使用Java API, WebHDFS, the HDFS NFS Gateway, or HUE删除的文件,是不被保护的。
Ttrash有两个属性决定:

Set In core-default.xml 
property:
    fs.trash.checkpoint.interval
    Determines how often the NameNode should checkpoint the .Trash directory.
    0 means use the value set in fs.trash.interval

Set In core-site.xml
property:
    fs.trash.interval
    Determines how often checkpoints in the .Trash directory should be removed. 
    A value of 0 disables trash. 
    The HDP default value is 360 minutes. 

HDFS Shell -rm 命令包含一个 参数:

   -skip Trash  相当于Windows中的永久删除, 步移动回收站

九、 HDFS Trash Operation

下图是Trash的流程:
这里写图片描述
解释:
The fs.trash.checkpoint.interval determines the number of minutes between trash checkpoints. If zero, the value is set to the value of fs.trash.interval. Zero is the HDP default. The number for fs.trash.checkpoint.interval should be smaller than or equal to fs.trash.interval.

Every time the checkpointer runs, it renames the .Trash/Current directory to a new numeric name. For example, .Trash/Current could be renamed to .Trash/150518175000. When new files or directories are deleted, HDFS creates a new .Trash/Current directory to hold them.

How long the older and now renamed checkpoint directory—with its deleted files and directories—is retained is determined by the fs.trash.interval property in core-site.xml. It determines the number of minutes after which the checkpoint directory gets deleted. If zero, the trash feature is disabled. The HDP default is 360 minutes. It is important to note that it is not the individual files and directories that are older that the fs.trash.interval that are deleted, but it is the checkpoint directory that is older than the fs.trash.interval that is deleted.

The fs.trash.interval may be configured both on the server and the client. If trash is disabled on the server side then the client side configuration is checked. If trash is enabled on the server side then the value configured on the server is used and the client configuration value is ignored.

十、 Overriding HDFS Default Properties

这里写图片描述

十一、 Changing File and Directory Ownership

这里写图片描述

十二、Changing File and Directory Permissions

这里写图片描述

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/wuxintdrh/article/details/53748321

智能推荐

【C C++服务器开发】什么是服务器?服务器分类及构建一个简单的服务器系统_软件开发服务器是什么意思_软件中服务器包括什么-程序员宅基地

文章浏览阅读833次,点赞12次,收藏26次。随着Internet的发展壮大,“主机/终端”或“客户机/服务器”的传统的应用系统模式已经不能适应新的环境,于是就产生了新的分布式应用系统,相应地,新的开发模式也应运而生,即所谓的“浏览器/服务器”结构、“瘦客户机”模式。应用服务器便是一种实现这种模式核心技术。[1]Web应用程序驻留在应用服务器(Application Server)上。应用服务器为Web应用程序提供一种简单的和可管理的对系统资源的访问机制。它也提供低级的服务,如HTTP协议的实现和数据库连接管理。_软件中服务器包括什么

BUUCTF web admin (flask_session问题)_kxck-程序员宅基地

文章浏览阅读1.3k次。检查源码,发现有注释<!-- you are not admin -->,应该是提示用admin账号登录。两个功能,注册和登录,想到之前做过一个注册admin加空格的题,试了一下不成功。然后老老实实注册一个普通用户显示了自己的用户名,我们的目的因该是让自己的用户名变成admin才行。change password只能修改自己账号的密码,没有漏洞。post可能有xss漏洞,交..._kxck

ssh放行端口_linux系统防火墙开启放行其他端口-程序员宅基地

文章浏览阅读1.9k次。我司弹性云主机默认在外部未对端口进行限制,如果服务运行后端口外部不通,可参考本教程在防火墙放行对应端口。1、WDCP 系统端口放行:(1)3.2版本登录wdcp面板后点击“安全管理”——“防火墙设置”——“快速添加”,如图填写端口(协议默认都使用tcp),保存即可放行。(2)2.5版本登录wdcp后,点击“安全管理”——“防火墙(iptables)”——增加规则如图,一般直接填写需要放行的端口,点..._ssh怎么放行端口

winform listbox控件简单使用。_listbox在form.show应用-程序员宅基地

文章浏览阅读3.2k次,点赞2次,收藏5次。Winform控件ListBox的用法: 1、如何添加listbox的值:this.listboxname.item.add("xxxx");2、如何判断listbox是否已经添加过:if(this.listboxname.item.Contain("xxxx")){MessageBox.show("已添加过此条信息");}else{//*****}3、获取listbox控件的值:i_listbox在form.show应用

Jquery实现搜索效果,进阶实战篇_jquery实现搜索功能-程序员宅基地

文章浏览阅读1.3k次。首先,我们实现搜索效果的思路一,使用点击事件调用后台api数据参数实现搜索;(1)这个其实是最简单的,因为调取后台api我们需要填参数,(有的不需要填,需要在后台重新写sql语句);而这个参数的值,就是我们输入文本框的内容,然后点击事件触发这个获取api的函数;二,使用jquery显示隐藏效果实现搜索,把我们要搜索的字段显示,而其他的就隐藏;js:代码方法一和二都可以实现搜索效果,但是我们实际运用的需要用第一个方法,因为或许api接口数据,不能把全部数据同时展示,也许我们只获取前二十个,然后剩下的用分_jquery实现搜索功能

Redis进阶知识点(可学习,可复习,可面试)(1),java只背面试题-程序员宅基地

文章浏览阅读876次,点赞25次,收藏10次。先自我介绍一下,小编浙江大学毕业,去过华为、字节跳动等大厂,目前阿里P7深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!因此收集整理了一份《2024年最新Java开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上Java开发知识点,真正体系化!由于文件比较多,这里只是将部分目录截图出来,全套

随便推点

浅谈Native、Web App、Hybrid、RN 和 Weex优劣-程序员宅基地

文章浏览阅读698次。一句话概要Native、Web App、Hybrid、React Native(后面以RN简称)、Weex 间的异同点,后期同步 小程序 和 PWAApp常用开发模式【简介】此处App为应用,application,并非我们通常讲的手机App常用的几种APP开发模式-脑图Native App传统的原生App开发模式,有iOS和aOS两大系统,需要各自语言开发各自App。优点:性能和..._native 运行比rn快?

【源码】基于MATLAB的短时傅里叶变换STFT_matlab stft底层源代码-程序员宅基地

文章浏览阅读2.8k次,点赞2次,收藏15次。本代码提供给定信号x[n]的短时傅立叶变换(STFT)的Matlab函数。The present code is a Matlab function that provides a Short-Time Fourier Transform (STFT) of a given signal x[n].该函数是Matlab命令“spectrogram”的替代方案。The function is..._matlab stft底层源代码

Linux technology introduction_linux庐 technology reference-程序员宅基地

文章浏览阅读1k次。Linux is a free to use and the spread of free Unix-like operating systems, based on POSIX and Unix is a multiuser, multitasking, and support multithreading and multiple CPU operating system. With the ..._linux庐 technology reference

2023年03月 C/C++(二级)真题解析#中国电子学会#全国青少年软件编程等级考试_c语言软件编程等级考试二级2023年03月真题-程序员宅基地

文章浏览阅读573次。请编写一个程序实现以下功能:从一个字符串中,提取出所有的数字字符即0-9,并作为数求和。时间限制:1000内存限制:65536一行字符串,长度不超过100,字符串中不含空格。字符串中所有数字字符作为数的和17你可以将上述代码保存为一个名为 “sum_digits.c” 的文件,并使用C编译器进行编译和运行。在输入字符串后,程序将提取出字符串中的数字字符,并计算它们的和。在主函数中,我们首先读取输入的字符串,并将其存储在str字符数组中。然后,我们调用sumDigits。_c语言软件编程等级考试二级2023年03月真题

WebGL利用缓冲区绘制三角和矩形-程序员宅基地

文章浏览阅读450次。WebGL利用缓冲区绘制三角形

【EI会议征稿】第五届人工智能与机电自动化国际学术会议(AIEA 2024)_2024年电子信息工程与人工智能国际学术会议(eieai2024)-程序员宅基地

文章浏览阅读389次。AIEA 2024会议将每年举行一次,旨在将“人工智能”和“机电自动化”等学术领域的学者、专家、研发者、技术人员聚集到一个学术交流的平台,并且提供一个共享科研成果、前沿技术,了解学术发展趋势,拓宽研究思路,加强学术研究和探讨,促进学术成果产业化合作的平台。所有的投稿都必须经过2-3位组委会专家审稿,经过严格的审稿之后,最终所录用的论文将被EI目录系列期刊出版,出版后提交 EI Compendex, Scopus检索。**注:被录用且完成注册的论文,如需申请撤稿,将扣除30%的手续费;_2024年电子信息工程与人工智能国际学术会议(eieai2024)

推荐文章

热门文章

相关标签