Hadoop集群搭建(六):hadoop配置namenode服务_hadoop namenode -format未找到命令-程序员宅基地

技术标签: 大数据平台搭建  namenode配置  Hadoop集群  大数据  

 

六:配置时间同步:

找到虚拟机设置:点击选项-->找到VMware Tools,打开时间同步即可:

 

 

注:如果你是创建一台虚拟机,其他几台都是这台克隆过去的,就可以不用配置时间同步也可以进行。

 

 

 

七:配置文件

 

1,进入hadoop配置文件目录:

命令:

 

 

 

2,更改配置文件core-site.xml :

 

命令:

 

 

3,所有的用户组目录:/etc/group

命令:/etc/group

 

 

 

4,配置hdfs-site.xml文件  :将hadoop组配置成超级用户组

命令:

[root@hadoop1 conf]# gedit hdfs-site.xml

 

 

 

 

5,配置本地存储路径:(hdfs的数据将保存的本地的位置)

更改hdfs-site.xml文件:

进入文件命令:

[root@hadoop1 conf]# gedit hdfs-site.xml

(1)Namenode的路径:(这里我设置的目录是:/data/nn)

修改文件:

<property>
    <name>dfs.namenode.name.dir</name>
    <value>/data/nn</value>
</property>

 

 

(2)DataNode的路径:(实际的数据存放的位置)

修改的文件:(这里我设置的目录是:/data/dn)

<property>
    <name>dfs.datanode.data.dir</name>
    <value>/data/dn</value>
 </property>

 

 

 

(3)都配置完成后的文件:hdfs-site.xml

文件内容:

 

<?xml version="1.0"?>
<!--
  Licensed to the Apache Software Foundation (ASF) under one or more
  contributor license agreements.  See the NOTICE file distributed with
  this work for additional information regarding copyright ownership.
  The ASF licenses this file to You under the Apache License, Version 2.0
  (the "License"); you may not use this file except in compliance with
  the License.  You may obtain a copy of the License at
 http://www.apache.org/licenses/LICENSE-2.0
  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License.
-->
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
           <property>
                      <name>dfs.permissions.superusergroup</name>
                      <value>hadoop</value>
            </property>
            <property>
                        <name>dfs.namenode.name.dir</name>
                        <value>/data/nn</value>
            </property>
            <property>
                       <name>dfs.datanode.data.dir</name>
                        <value>/data/dn</value>
            </property>
</configuration>

 

 

6,创建路径,修改目录权限

(1)创建nn目录:

命令:

[root@hadoop1 conf]# mkdir -p /data/nn

 

 

(2)创建dn目录:[root@hadoop1 conf]# mkdir -p /data/dn

命令:

[root@hadoop1 conf]# mkdir -p /data/dn

 

 

(3)切换Hadoop2在hadoop2上也创建这两个目录:(操作相同)

 

(4)修改目录权限:

命令:

[root@hadoop1 conf]# chown -R hdfs:hdfs /data

 

 

(5)查看文件权限:

 

(6)更改目录组权限:(三台虚拟机执行一样的操作)

命令:

[root@hadoop1 conf]# chmod -R 700 /data

 

 

 

7,初始化(格式化完成后nn目录就有信息)

命令:

[root@hadoop1 ~]# sudo -u hdfs hdfs namenode -format

查看nn目录信息:

 

 

8,将nn中生成的current目录拷贝到hadoop2上:

命令:

[root@hadoop1 nn]# scp -r current/ hadoop2:/data/nn

 

 

9,在hadoop2上将current文件权限改为hdfs组权限:

命令:

[root@hadoop2 nn]# chown -R hdfs:hdfs /data

 

10,配置管理界面:文件:hdfs-site.xml

命令:

[root@hadoop1 conf]# gedit hdfs-site.xml

 

文件内容:

<property>
     <name>dfs.namenode.http-address</name>
     <value>hadoop1:50070</value>
 </property>

 

 

11,拷贝配置文件:将文件发送给hadoop2,和hadoop2的指定目录中:

命令:

[root@hadoop1 conf]# scp core-site.xml hdfs-site.xml hadoop2:/etc/hadoop/conf
[root@hadoop1 conf]# scp core-site.xml hdfs-site.xml hadoop3:/etc/hadoop/conf

 

 

 

12,启动服务:(有顺序)

进入服务的目录:

 /etc/init.d/

查看虚拟机的所有服务:

 

 

 

(1)启动hadoop-hdfs-namenode服务:命令:

[root@hadoop1 init.d]# service hadoop-hdfs-namenode start

启动完查看服务是否启动:[root@hadoop1 init.d]# jps

 

 

(2)浏览器查看进程:hadoop1:50070

 

 

 

(3)启动hadoop-hdfs-datanode服务:

命令:

[root@hadoop1 init.d]# service hadoop-hdfs-datanode start

 

 

(4)浏览器再次查看:

 

 

Jps查看进程:

 

 

(5)在hadoop2上启动hadoop-hdfs-datanode服务:

命令:

[root@hadoop2 init.d]# service hadoop-hdfs-datanode start

 

 

(6)在hadoop1上的浏览器继续查看节点:

 

命令查看一下进程:

 

 

(7)在hadoop3上启动hadoop-hdfs-datanode服务:

命令:

[root@hadoop3 init.d]# service hadoop-hdfs-datanode start

 

 

(8)浏览器查看节点信息:

 

 

命令查看进程:

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/qq_34377273/article/details/84308185

智能推荐

一个对string按空格分割的方法_cstring按空格分割-程序员宅基地

文章浏览阅读2.3k次。一个对string按空格分割的方法:利用strtok,需要先转换为char*。不能用sstream转换,因为那个字符流会因为空格而结束。这里注意一定要给se先分配地址空间,否则不对。 char *se = new char[1024]; string str = "1 2 3 4"; strcpy(se,str.c_str()); cout<<se<<endl;..._cstring按空格分割

【SLAM】G2O优化库超详细解析_g2o库-程序员宅基地

文章浏览阅读8.6k次,点赞8次,收藏33次。通用图优化。为何叫通用呢?G2O的核里带有各种各样的求解器,而它的顶点、边的类型则多种多样。通过自定义顶点和边,事实上,只要一个优化问题能够表达成图,那么就可以用G2O去求解它。常见的,比如bundle adjustment、ICP、数据拟合,都可以用G2O来做。所谓图优化,是把优化问题表现成图的一种方式,这里的图是图论意义上的图。一个图由若干个顶点,以及连着这些顶点的边组成。在这里,我们用顶点表示优化变量,而用边表示残差项。_g2o库

EMNLP 2023 | 阅读顺序很重要:蚂蚁联合复旦提出全新多模态文档信息抽取模型-程序员宅基地

文章浏览阅读165次。作者 |蚂蚁安全天鉴实验室来源 |蚂蚁技术AntTech近日,蚂蚁安全天鉴实验室与复旦大学合作,针对视觉富文档的实际应用场景,指出了应用场景下常见的阅读顺序错乱问题,并强调该问题会严重影响当前模型的效果。针对上述问题,天鉴实验室在《Reading Order Matters: Information Extraction from Visually-rich Documents by Tok..._emnlp2023 命名实体识别

【React】React-18版本脚手架使用、React-17 与 React-18 入口与卸载区别_react18和17的区别-程序员宅基地

文章浏览阅读663次。React18 不在使用 ReactDOM.render( )来进行渲染,更新为ReactDOM.createRoot(rootNode).render()_react18和17的区别

图的基本概念_图的定义-程序员宅基地

文章浏览阅读1.5k次,点赞2次,收藏2次。图(Graph)G由两个集合V和E组成,记为G=(V,E),其中V是顶点的有穷非空集合,E是V中顶点偶对的有穷集合,这些顶点偶对称为边。V(G)和E(G)通常分别表示图G的顶点集合和边集合,E(G)可以为空集。若E(G)为空,则图G只有顶点而没有边。对于图G,若边集E(G)为有向边的集合,则称该图为有向图;若边集E(G)为无向边的集合,则称该图为无向图。在有向图中,顶点对是有序的,它称为从顶点x到顶点y的一条有向边。因此,与是不同的两条边。_图的定义

IOS 切面统计事件解耦_alpvp-程序员宅基地

文章浏览阅读575次。IOS 切面统计事件解耦统计这个事情可以说是个巨无语的系统,当然不把他独立出来也就不是什么问题了,只是一堆牛皮癣似得代码穿插在项目各个地方,毕竟真正应用到一个app里的统计都跟业务有着很强的绑定关系,脱离业务的统计数据基本没什么大用,先吐槽一波再开始正文。。。。基础封装先从用第三方的来说,基本上就只是需要包个壳就ok了,建个manager,初始化sdk一封装,加几个常用统计..._alpvp

随便推点

php二叉树广度优先遍历,使用广度优先遍历去遍历二叉树-程序员宅基地

文章浏览阅读77次。# 创建节点类class Node():def __init__(self, elem):self.elem = elemself.lc = Noneself.rc = None# 创建树类class Tree():def __init__(self):self.root = Nonedef add(self, elem):# 实例化节点node = Node(elem)# 判断根节点是否None..._php 二叉树广度遍历

Java并发(多线程)-程序员宅基地

文章浏览阅读121次。Java并发--Java线程面试题 Top 50  原文链接:http://www.importnew.com/12773.html  不管你是新程序员还是老手,你一定在面试中遇到过有关线程的问题。Java语言一个重要的特点就是内置了对并发的支持,让Java大受企业和程序员的欢迎。大多数待遇丰厚的Java开发职位都要求开发者精通多线程技术并且有丰富的Java程序开发、调试、优化经验,所以线程相关的...

解密Prompt系列6. lora指令微调扣细节-请冷静,1个小时真不够~_通过prompt控制lora开关-程序员宅基地

文章浏览阅读145次。LoRA的原理比较简单,原始全量微调其实就是在原始模型参数上通过微调加入增量W=W0+ΔWW=W0+ΔW,那我们可以通过冻结原始参数W0W0,并且把增量部分通过低秩分解方式进一步降低参数量级ΔW=A∗BTΔW=A∗BT,原始参数的维度是d∗dd∗d, 则低秩分解后的参数量级是2∗r∗d2∗r∗d,因为这里的r<

webstorm配置快捷启动项目_webstorm如何启动web项目-程序员宅基地

文章浏览阅读829次。westorm开发前端项目在左下角配置npm快捷方式_webstorm如何启动web项目

[20170816]Join Elimination Bug.txt-程序员宅基地

文章浏览阅读68次。[20170816]Join Elimination Bug.txt https://jonathanlewis.wordpress.com/2017/08/14/join-elimination-bug/ --//自己重复..._join elimination

世界荣耀,做AI时代的海-程序员宅基地

文章浏览阅读800次,点赞20次,收藏22次。在巴塞罗那参加MWC 2024的几天,密集领略了来自全球各个国家、各个领域的科技成果。其中,AI与5G-A可说是今年MWC的明星,相关展出百花齐放。但在智能终端领域,却呈现出“一枝独秀”的态势。如果你问现场媒体与观众,哪家智能终端品牌带来的产品最全面、技术最前沿,前来站台的朋友最多,咖位最大,那么得到的答案只有一个——荣耀。2月25日,荣耀在MWC 2024发布了与全球合作伙伴合作的全新一代旗舰荣...