Hadoop常用命令_hadoop 高危命令-程序员宅基地

技术标签: Hadoop  

1 hadoop命令

在终端输入hadoop,会出现此命令可用的一些参数

[hadoop@izuf621gcimj21arvwjqo6z ~]$ hadoop
#Usage:使用的格式
Usage: hadoop [--config confdir] COMMAND
       where COMMAND is one of:
#下面左边为命令参数,右边为参数说明
  fs                   run a generic filesystem user client
  version              print the version
  jar <jar>            run a jar file
  checknative [-a|-h]  check native hadoop and compression libraries availability
  distcp <srcurl> <desturl> copy file or directories recursively
  archive -archiveName NAME -p <parent path> <src>* <dest> create a hadoop archive
  classpath            prints the class path needed to get the
  credential           interact with credential providers
                       Hadoop jar and the required libraries
  daemonlog            get/set the log level for each daemon
  trace                view and modify Hadoop tracing settings

常用参数如下:

参数 说明
fs 客户端跑一个文件系统命令,例如增,删,查; hadoop fs 等价于 hdfs dfs
version 查看hadoop的版本
jar 运行一个jar到yarn上
checknative 查看hadoop的压缩库是不是可用
classpath 查看启动的时候,什么路径下的jar包会被加载

2 hdfs命令

[hadoop@izuf621gcimj21arvwjqo6z ~]$ hdfs
#Usage:使用的格式
Usage: hdfs [--config confdir] COMMAND
       where COMMAND is one of:
#命令参数,左边是参数,右边是说明
  dfs                  run a filesystem command on the file systems supported in Hadoop.
  namenode -format     format the DFS filesystem
  secondarynamenode    run the DFS secondary namenode
  namenode             run the DFS namenode
  journalnode          run the DFS journalnode
  zkfc                 run the ZK Failover Controller daemon
  datanode             run a DFS datanode
  dfsadmin             run a DFS admin client
  haadmin              run a DFS HA admin client
  fsck                 run a DFS filesystem checking utility
  balancer             run a cluster balancing utility
  jmxget               get JMX exported values from NameNode or DataNode.
  mover                run a utility to move block replicas across
                       storage types
  oiv                  apply the offline fsimage viewer to an fsimage
  oiv_legacy           apply the offline fsimage viewer to an legacy fsimage
  oev                  apply the offline edits viewer to an edits file
  fetchdt              fetch a delegation token from the NameNode
  getconf              get config values from configuration
  groups               get the groups which users belong to
  snapshotDiff         diff two snapshots of a directory or diff the
                       current directory contents with a snapshot
  lsSnapshottableDir   list all snapshottable dirs owned by the current user
                                                Use -help to see options
  portmap              run a portmap service
  nfs3                 run an NFS version 3 gateway
  cacheadmin           configure the HDFS cache
  crypto               configure HDFS encryption zones
  storagepolicies      list/get/set block storage policies
  version              print the version

常用命令:

参数 说明
dfs 客户端跑一个文件系统命令,例如增,删,查;
namenode -format 格式化NN节点,生产上慎用,高危命令
fsck 查看文件系统的健康状态
getconf 获取配置文件name对应的value

下图,我们配置的name和valude
在这里插入图片描述
通过getconf命令,根据name获取到value
在这里插入图片描述

3 hdfs dfs命令(️️️)

[hadoop@izuf621gcimj21arvwjqo6z hadoop]$ hdfs dfs
Usage: hadoop fs [generic options]
        [-appendToFile <localsrc> ... <dst>]
        [-cat [-ignoreCrc] <src> ...]
        [-checksum <src> ...]
        [-chgrp [-R] GROUP PATH...]
        [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
        [-chown [-R] [OWNER][:[GROUP]] PATH...]
        [-copyFromLocal [-f] [-p] [-l] <localsrc> ... <dst>]
        [-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
        [-count [-q] [-h] [-v] <path> ...]
        [-cp [-f] [-p | -p[topax]] <src> ... <dst>]
        [-createSnapshot <snapshotDir> [<snapshotName>]]
        [-deleteSnapshot <snapshotDir> <snapshotName>]
        [-df [-h] [<path> ...]]
        [-du [-s] [-h] <path> ...]
        [-expunge]
        [-find <path> ... <expression> ...]
        [-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
        [-getfacl [-R] <path>]
        [-getfattr [-R] {
    -n name | -d} [-e en] <path>]
        [-getmerge [-nl] <src> <localdst>]
        [-help [cmd ...]]
        [-ls [-d] [-h] [-R] [<path> ...]]
        [-mkdir [-p] <path> ...]
        [-moveFromLocal <localsrc> ... <dst>]
        [-moveToLocal <src> <localdst>]
        [-mv <src> ... <dst>]
        [-put [-f] [-p] [-l] <localsrc> ... <dst>]
        [-renameSnapshot <snapshotDir> <oldName> <newName>]
        [-rm [-f] [-r|-R] [-skipTrash] <src> ...]
        [-rmdir [--ignore-fail-on-non-empty] <dir> ...]
        [-setfacl [-R] [{
    -b|-k} {
    -m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]]
        [-setfattr {
    -n name [-v value] | -x name} <path>]
        [-setrep [-R] [-w] <rep> <path> ...]
        [-stat [format] <path> ...]
        [-tail [-f] <file>]
        [-test -[defsz] <path>]
        [-text [-ignoreCrc] <src> ...]
        [-touchz <path> ...]
        [-usage [cmd ...]]
参数 说明
cat 查看文件内容
chmod 修改文件或文件夹的读写执权限
chwon 修改文件所属用户及用户组
copyFromLocal 把本地文件上传到hdfs
copyToLocal 把hdfs文件下载到本地
put 把本地文件上传到hdfs
get 把hdfs文件下载到本地
cp 拷贝文件(hdfs内部拷贝)
df 查看hdfs磁盘使用情况
du 查看某个文件目录或者文件的大小
find 搜索文件,可模糊搜索
ls 查看某个路径下的文件和目录清单
mkdir 创建文件夹
mv 移动文件或着文件夹
rm 删除文件或者文件夹
rmdir 删除文件夹
text 查看某个文件的内容
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/u010452388/article/details/98069128

智能推荐

内网用户通过域名或公网IP访问内部服务器的解决办法_ip回流及解决办法-程序员宅基地

文章目录原因-路由回流组网图解决方案内部NAT方案内网用户与服务器不同网段内网用户与服务器相同网段内网DNS方案防火墙DNS Mapping方案路由器DNS Mapping方案其他方案小结资源原因-路由回流当用路由器防火墙等设备将内网服务器发布到公网上,供外网用户访问的过程中出现的一种现象,就是你发现web服务器已经成功发布了,外网用户能够成功访问,但内网用户确无法访问到web服务器,这就是路..._ip回流及解决办法

项目SDK 语言级别反复跳动以及E java: -source 1.5 中不支持 diamond 运算符 (请使用 -source 7 或更高版本以启用 diamond_java sdk 语言级别-程序员宅基地

Warning:java: 源值1.5已过时, 将在未来所有发行版中删除Warning:java: 要隐藏有关已过时选项的警告, 请使用 -Xlint:-options。G:\javadata\level5\week2\mycommon\src\main\java\com\masiwen\common\utils\Query.javaError:(44, 33) java: -source 1.5 中不支持 diamond 运算符(请使用 -source 7 或更高版本以启用 diamond 运算._java sdk 语言级别

【ClickHouse】物化视图_clickhouse物化视图优缺点-程序员宅基地

【ClickHouse】物化视图_clickhouse物化视图优缺点

驱动软件是什么概念_为什么我确实认为概念软件可以改变您的生活-程序员宅基地

驱动软件是什么概念IMPORTANT ADVICE: there aren’t any affiliate marketing links, and I don’t receive anything at all from companies or people I mention in this article.重要建议:没有任何会员营销链接,我从本文中提到的公司或人员那里都收不到任何东西。 这..._drafts player

教你彻底学会动态规划-程序员宅基地

动态规划相信大家都知道,动态规划算法也是新手在刚接触算法设计时很苦恼的问题,有时候觉得难以理解,但是真正理解之后,就会觉得动态规划其实并没有想象中那么难。网上也有很多关于讲解动态规划的文章,大多都是叙述概念,讲解原理,让人觉得晦涩难懂,即使一时间看懂了,发现当自己做题的时候又会觉得无所适从。我觉得,理解算法最重要的还是在于练习,只有通过自己练习,才可以更快地提升。话不多说,接下来,下面我就通过一个例

马尔可夫链-程序员宅基地

马尔可夫链简介马尔可夫过程:设\({X(t),t \in T}\)是一个随机过程,如果\({X(t),t \in T}\)在\(t_{0}\)时刻所处的状态为未知时,以后的状态与它在\(t_{0}\)时刻之前所处的状态无关,则称\({X(t),t \in T}\)具有马尔可夫性,具有这种性质的随机过程就叫做马尔可夫过程。马尔可夫链:数学中具有马尔可夫性质的离散事件随机过程。即:\[P({X..._马尔科夫链是有向的还是无向的

随便推点

航空三字代码表_在携程买机票我从来都不买航空意外险-程序员宅基地

最近的埃塞俄比亚航空飞机失事让我想起来可以说说航空意外险这个险种。写在前面的题外话 我们民航局选择停飞737-8,也称737-MAX8机型,但是国外还是有很多航空公司此款机型仍在执飞的。各位在买机票的时候可以稍微关注下机型信息。 顺手科普下机型代码如下表,因为外航可能会采用别的代码体系。携程的航意险 记得以前买机票的时候,保险是默认勾选的,...

linux克隆python系统环境(无法联网)-程序员宅基地

有时候在无法联网的情况下需要搭建环境,且必须使用之前的环境,因为你的代码需要在同样的环境下运行。这样方便开发方法一:1.下载指定的包到指定文件夹。 pip list #查看安装的包 pip freeze &gt; requirements.txt 将已经通过pip安装的包的名称记录到 requirements.txt文件中 创建存放安装包的目录:mkdir /pack...

【Java基础】9、Enumeration接口和Iterator接口的区别-程序员宅基地

package java.util; public interface Enumeration<E> { boolean hasMoreElements(); E nextElement(); } public interface Iterator&l...

Spring WebApplicationContext示例-程序员宅基地

JDK1.5.0_22 + Tomcat 5.5.23 + Srping 3.0.0

使用Label控件直接显示并更新时间_label显示时间-程序员宅基地

使用Label控件直接显示并更新时间的应用程序设计具体步骤如下所示:1、程序设计界面如下图所示:_label显示时间

数据结构与算法 线性表_表长和存储容量的关系-程序员宅基地

线性表线性表:零个或多个数据元素的有限序列线性表元素的个数n(n>=0)定义为线性表的长度,当n等于0时,成为空表线性表的抽象数据类型定义如下顺序存储方式顺序存储结构需要三个属性:1)存储空间的起始位置:数组data他的存储位置就是存储空间的存储位置2)线性表的最大存储容量:数组长度MaxSize3)线性表的当前长度:length数据长度与线性表长度的区别这里有两..._表长和存储容量的关系