技术标签: Hadoop
在终端输入hadoop,会出现此命令可用的一些参数
[hadoop@izuf621gcimj21arvwjqo6z ~]$ hadoop
#Usage:使用的格式
Usage: hadoop [--config confdir] COMMAND
where COMMAND is one of:
#下面左边为命令参数,右边为参数说明
fs run a generic filesystem user client
version print the version
jar <jar> run a jar file
checknative [-a|-h] check native hadoop and compression libraries availability
distcp <srcurl> <desturl> copy file or directories recursively
archive -archiveName NAME -p <parent path> <src>* <dest> create a hadoop archive
classpath prints the class path needed to get the
credential interact with credential providers
Hadoop jar and the required libraries
daemonlog get/set the log level for each daemon
trace view and modify Hadoop tracing settings
常用参数如下:
参数 | 说明 |
---|---|
fs | 客户端跑一个文件系统命令,例如增,删,查; hadoop fs 等价于 hdfs dfs |
version | 查看hadoop的版本 |
jar | 运行一个jar到yarn上 |
checknative | 查看hadoop的压缩库是不是可用 |
classpath | 查看启动的时候,什么路径下的jar包会被加载 |
[hadoop@izuf621gcimj21arvwjqo6z ~]$ hdfs
#Usage:使用的格式
Usage: hdfs [--config confdir] COMMAND
where COMMAND is one of:
#命令参数,左边是参数,右边是说明
dfs run a filesystem command on the file systems supported in Hadoop.
namenode -format format the DFS filesystem
secondarynamenode run the DFS secondary namenode
namenode run the DFS namenode
journalnode run the DFS journalnode
zkfc run the ZK Failover Controller daemon
datanode run a DFS datanode
dfsadmin run a DFS admin client
haadmin run a DFS HA admin client
fsck run a DFS filesystem checking utility
balancer run a cluster balancing utility
jmxget get JMX exported values from NameNode or DataNode.
mover run a utility to move block replicas across
storage types
oiv apply the offline fsimage viewer to an fsimage
oiv_legacy apply the offline fsimage viewer to an legacy fsimage
oev apply the offline edits viewer to an edits file
fetchdt fetch a delegation token from the NameNode
getconf get config values from configuration
groups get the groups which users belong to
snapshotDiff diff two snapshots of a directory or diff the
current directory contents with a snapshot
lsSnapshottableDir list all snapshottable dirs owned by the current user
Use -help to see options
portmap run a portmap service
nfs3 run an NFS version 3 gateway
cacheadmin configure the HDFS cache
crypto configure HDFS encryption zones
storagepolicies list/get/set block storage policies
version print the version
常用命令:
参数 | 说明 |
---|---|
dfs | 客户端跑一个文件系统命令,例如增,删,查; |
namenode -format | 格式化NN节点,生产上慎用,高危命令 |
fsck | 查看文件系统的健康状态 |
getconf | 获取配置文件name对应的value |
下图,我们配置的name和valude
通过getconf命令,根据name获取到value
[hadoop@izuf621gcimj21arvwjqo6z hadoop]$ hdfs dfs
Usage: hadoop fs [generic options]
[-appendToFile <localsrc> ... <dst>]
[-cat [-ignoreCrc] <src> ...]
[-checksum <src> ...]
[-chgrp [-R] GROUP PATH...]
[-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
[-chown [-R] [OWNER][:[GROUP]] PATH...]
[-copyFromLocal [-f] [-p] [-l] <localsrc> ... <dst>]
[-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
[-count [-q] [-h] [-v] <path> ...]
[-cp [-f] [-p | -p[topax]] <src> ... <dst>]
[-createSnapshot <snapshotDir> [<snapshotName>]]
[-deleteSnapshot <snapshotDir> <snapshotName>]
[-df [-h] [<path> ...]]
[-du [-s] [-h] <path> ...]
[-expunge]
[-find <path> ... <expression> ...]
[-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
[-getfacl [-R] <path>]
[-getfattr [-R] {
-n name | -d} [-e en] <path>]
[-getmerge [-nl] <src> <localdst>]
[-help [cmd ...]]
[-ls [-d] [-h] [-R] [<path> ...]]
[-mkdir [-p] <path> ...]
[-moveFromLocal <localsrc> ... <dst>]
[-moveToLocal <src> <localdst>]
[-mv <src> ... <dst>]
[-put [-f] [-p] [-l] <localsrc> ... <dst>]
[-renameSnapshot <snapshotDir> <oldName> <newName>]
[-rm [-f] [-r|-R] [-skipTrash] <src> ...]
[-rmdir [--ignore-fail-on-non-empty] <dir> ...]
[-setfacl [-R] [{
-b|-k} {
-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]]
[-setfattr {
-n name [-v value] | -x name} <path>]
[-setrep [-R] [-w] <rep> <path> ...]
[-stat [format] <path> ...]
[-tail [-f] <file>]
[-test -[defsz] <path>]
[-text [-ignoreCrc] <src> ...]
[-touchz <path> ...]
[-usage [cmd ...]]
参数 | 说明 |
---|---|
cat | 查看文件内容 |
chmod | 修改文件或文件夹的读写执权限 |
chwon | 修改文件所属用户及用户组 |
copyFromLocal | 把本地文件上传到hdfs |
copyToLocal | 把hdfs文件下载到本地 |
put | 把本地文件上传到hdfs |
get | 把hdfs文件下载到本地 |
cp | 拷贝文件(hdfs内部拷贝) |
df | 查看hdfs磁盘使用情况 |
du | 查看某个文件目录或者文件的大小 |
find | 搜索文件,可模糊搜索 |
ls | 查看某个路径下的文件和目录清单 |
mkdir | 创建文件夹 |
mv | 移动文件或着文件夹 |
rm | 删除文件或者文件夹 |
rmdir | 删除文件夹 |
text | 查看某个文件的内容 |
文章目录原因-路由回流组网图解决方案内部NAT方案内网用户与服务器不同网段内网用户与服务器相同网段内网DNS方案防火墙DNS Mapping方案路由器DNS Mapping方案其他方案小结资源原因-路由回流当用路由器防火墙等设备将内网服务器发布到公网上,供外网用户访问的过程中出现的一种现象,就是你发现web服务器已经成功发布了,外网用户能够成功访问,但内网用户确无法访问到web服务器,这就是路..._ip回流及解决办法
Warning:java: 源值1.5已过时, 将在未来所有发行版中删除Warning:java: 要隐藏有关已过时选项的警告, 请使用 -Xlint:-options。G:\javadata\level5\week2\mycommon\src\main\java\com\masiwen\common\utils\Query.javaError:(44, 33) java: -source 1.5 中不支持 diamond 运算符(请使用 -source 7 或更高版本以启用 diamond 运算._java sdk 语言级别
【ClickHouse】物化视图_clickhouse物化视图优缺点
驱动软件是什么概念IMPORTANT ADVICE: there aren’t any affiliate marketing links, and I don’t receive anything at all from companies or people I mention in this article.重要建议:没有任何会员营销链接,我从本文中提到的公司或人员那里都收不到任何东西。 这..._drafts player
动态规划相信大家都知道,动态规划算法也是新手在刚接触算法设计时很苦恼的问题,有时候觉得难以理解,但是真正理解之后,就会觉得动态规划其实并没有想象中那么难。网上也有很多关于讲解动态规划的文章,大多都是叙述概念,讲解原理,让人觉得晦涩难懂,即使一时间看懂了,发现当自己做题的时候又会觉得无所适从。我觉得,理解算法最重要的还是在于练习,只有通过自己练习,才可以更快地提升。话不多说,接下来,下面我就通过一个例
马尔可夫链简介马尔可夫过程:设\({X(t),t \in T}\)是一个随机过程,如果\({X(t),t \in T}\)在\(t_{0}\)时刻所处的状态为未知时,以后的状态与它在\(t_{0}\)时刻之前所处的状态无关,则称\({X(t),t \in T}\)具有马尔可夫性,具有这种性质的随机过程就叫做马尔可夫过程。马尔可夫链:数学中具有马尔可夫性质的离散事件随机过程。即:\[P({X..._马尔科夫链是有向的还是无向的
最近的埃塞俄比亚航空飞机失事让我想起来可以说说航空意外险这个险种。写在前面的题外话 我们民航局选择停飞737-8,也称737-MAX8机型,但是国外还是有很多航空公司此款机型仍在执飞的。各位在买机票的时候可以稍微关注下机型信息。 顺手科普下机型代码如下表,因为外航可能会采用别的代码体系。携程的航意险 记得以前买机票的时候,保险是默认勾选的,...
有时候在无法联网的情况下需要搭建环境,且必须使用之前的环境,因为你的代码需要在同样的环境下运行。这样方便开发方法一:1.下载指定的包到指定文件夹。 pip list #查看安装的包 pip freeze > requirements.txt 将已经通过pip安装的包的名称记录到 requirements.txt文件中 创建存放安装包的目录:mkdir /pack...
package java.util; public interface Enumeration<E> { boolean hasMoreElements(); E nextElement(); } public interface Iterator&l...
JDK1.5.0_22 + Tomcat 5.5.23 + Srping 3.0.0
使用Label控件直接显示并更新时间的应用程序设计具体步骤如下所示:1、程序设计界面如下图所示:_label显示时间
线性表线性表:零个或多个数据元素的有限序列线性表元素的个数n(n>=0)定义为线性表的长度,当n等于0时,成为空表线性表的抽象数据类型定义如下顺序存储方式顺序存储结构需要三个属性:1)存储空间的起始位置:数组data他的存储位置就是存储空间的存储位置2)线性表的最大存储容量:数组长度MaxSize3)线性表的当前长度:length数据长度与线性表长度的区别这里有两..._表长和存储容量的关系