当Hadoop采用分布式模式部署和运行时,存储采用分布式文件系统HDFS,而且,HDFS的名称节点和数据节点位于不同机器上。这时,数据就可以分布到多个节点上,不同数据节点上的数据计算可以并行执行,这时的MapReduce分布式计算能力才能真正发挥作用。
我们使用三个虚拟机节点来搭建集群环境:
ip | 主机名 | 功能 |
---|---|---|
192.168.36.121 | hadoop1 | NameNode DataNode ResourceManager NodeManager |
192.168.36.122 | hadoop2 | DataNode NodeManager |
192.168.36.123 | hadoop3 | SecondryNameNode DataNode NodeManager |
分别在上述的节点上修改hosts文件,增加IP和主机名的映射关系:
# 打开hosts文件
vim /etc/hosts
# 添加如下内容
192.168.36.121 hadoop1
192.168.36.122 hadoop2
192.168.36.123 hadoop3
另外,Hadoop
集群运行需要 Java
运行环境,所以,在各个节点上需要安装 JDK
!
注意:以下步骤均在hadoop1节点上进行操作,特殊说明除外!
hadoop-3.1.3.tar.gz
hadoop官网下载:https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz
将下载好的 hadoop-3.1.3.tar.gz
上传到 hadoop1
虚拟机节点 /opt/module
目录下。
cd /opt/module
# 解压
tar -zxvf hadoop-3.1.3.tar.gz
# 修改目录名
mv hadoop-3.1.3 hadoop
path
变量vim ~/.bashrc
# 添加如下内容:
export PATH=$PATH:/opt/module/hadoop/bin:/opt/module/hadoop/sbin
# :wq! 保存退出后执行如下命令,使配置生效
source ~/.bashrc
cd /opt/module/hadoop/etc/hadoop
hadoop-env.sh
vim hadoop-env.sh
# 添加如下内容
export JAVA_HOME=/usr/java/jdk1.8.0_131
workers
vim workers
# 将localhost去掉添加如下内容
hadoop1
hadoop2
hadoop3
注意:需要把所有数据节点的主机名写入该文件,每行一个,默认为
localhost
(即把本机作为数据节点),所以,在伪分布式配置时,就采用了这种默认的配置,使得节点既作为名称节点也作为数据节点。在进行分布式配置时,可以保留localhost
,让hadoop1
节点同时充当名称节点和数据节点,或者也可以删掉localhost
这行,让hadoop1
节点仅作为名称节点使用。
core-site.xml
<!--修改为如下内容:-->
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop1:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/opt/module/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
</configuration>
hdfs-site.xml
dfs.replication
的值还是设置为 3
, 也就是说,一份数据保存三份副本,Hadoop
的分布式文件系统HDFS
一般都是采用冗余存储。
<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop1:50090</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/opt/module/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/opt/module/hadoop/tmp/dfs/data</value>
</property>
</configuration>
mapred-site.xml
<!--修改为如下内容:-->
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop1:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop1:19888</value>
</property>
<property>
<name>yarn.app.mapreduce.am.env</name>
<value>HADOOP_MAPRED_HOME=/opt/module/hadoop</value>
</property>
<property>
<name>mapreduce.map.env</name>
<value>HADOOP_MAPRED_HOME=/opt/module/hadoop</value>
</property>
<property>
<name>mapreduce.reduce.env</name>
<value>HADOOP_MAPRED_HOME=/opt/module/hadoop</value>
</property>
</configuration>
yarn-site.xml
<!--修改为如下内容:-->
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop1</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
/opt/module/hadoop
复制到其他节点上cd /opt/module
rm -r ./hadoop/tmp # 删除 Hadoop 临时文件
rm -r ./hadoop/logs/* # 删除日志文件
tar -zxcf hadoop.tar.gz ./hadoop # 先压缩再复制
scp ./hadoop.tar.gz hadoop2:/opt/module
scp ./hadoop.tar.gz hadoop3:/opt/module
cd /opt/module
rm -r ./hadoop # 删掉旧的(如果存在)
tar -zxvf hadoop.tar.gz
首次启动Hadoop
集群时,需要先在hadoop1
节点执行名称节点的格式化(只需要执行这一次,后面再启动Hadoop
时,不要再次格式化名称节点)
hdfs namenode -format
Hadoop
集群需要在hadoop1
节点上进行
# 启动hdfs
start-dfs.sh
# 启动yarn
start-yarn.sh
# 启动历史服务
mr-jobhistory-daemon.sh start historyserver
通过命令jps
可以查看各个节点所启动的进程。如果已经正确启动,则在hadoop1
节点上可以看到NameNode
、ResourceManager
、和JobHistoryServer
以及DataNode
和NodeManager
进程
在其他两个节点可以看到DataNode
和NodeManager
进程,在hadoop3
节点上还可以看到SecondryNameNode
进程
缺少任一进程都表示出错。
在执行过程中,可以在Linux
系统中打开浏览器,在地址栏输入http://hadoop1:8088/cluster
,通过Web
界面查看任务进度,在Web
界面点击 Tracking UI
这一列的History
连接,可以看到任务的运行信息。
Hadoop
集群关闭Hadoop
集群,需要在hadoop1
节点执行如下命令:
stop-yarn.sh
stop-dfs.sh
mr-jobhistory-daemon.sh stop historyserver
至此,就顺利完成了Hadoop集群搭建。
微信公众号:扫描下方二维码
或 搜索 笑看风云路
关注
文章浏览阅读1k次。最近因为工作需要,需要使用C# 语言编写一个通过MQTT协议 ,上传数据到云端的工具。因为之前没有用过MQTT,所以 使用的时候遇到很多问题.下面将会把我遇到的问题一一解释。1.添加全局静态变量 uPLibrary.Networking.M2Mqtt.MQTTConfig.IsSocketRun;class MQTTConfig{public static bool IsSocketRun = f..._c# mqtt客户端代码
文章浏览阅读430次,点赞12次,收藏5次。直接替换Excel数据即可用,注释清晰,适合新手小白,图片excel文件标有特征预测列。[3]注意力机制:为模型提供了对关键信息的聚焦能力,从而提高预测的准确度。[2]长短期记忆网络 (LSTM):处理数据捕捉长期依赖关系。[1]卷积神经网络 (CNN):捕捉数据中的局部模式和特征。,可实现回归预测或超前预测,Matlab版本最好为新版本。平均绝对百分比误差MAPE为: 0.035666。均方误差MSE为: 2.4157。均方根误差RMSE为: 1.5543。剩余预测残差RPD为: 5.0164。
文章浏览阅读2.7k次。给定一个入栈顺序,判断出栈顺序是否有可能发生,所遵循的方法是使用一个辅助栈记录入栈的元素,当刚开始时候辅助栈为空,入栈元素第一个压入辅助栈,接下来如果看出栈顺序,如果出栈顺序的第一个元素和辅助栈的栈顶元素不相等,则继续把 入栈元素的下一个压入辅助栈;如果出栈顺序的元素和辅助栈的栈顶元素相等则直接将辅助栈的栈顶元素弹出,同时出栈序列向后移动一位。以此类推,如果当入栈元素全部进入辅助栈了,则秩序比较出栈_如何根据入栈顺序判断出栈顺序是否正确
文章浏览阅读1.3k次。针对开源网络打印机软件CUPS的容器化实践创建一个目录,并在目录内建立一个文件名为Dockerfile的文件和文件名为cupsd.conf的配置文件Dockerfile#使用原始镜像FROM centos:6#作者MAINTAINER shark1985#使用阿里云yum源RUN curl -o /etc/yum.repos.d/CentOS-Base.repo http:..._docker cups
文章浏览阅读117次。原题题目代码实现(首刷自解)class Solution {public: bool backtracking(vector<int>& ret,vector<bool>& visit,int num,int n) { visit[num] = true; ret.emplace_back(num); if(ret.size() == visit.size()) return true;_后天考试 今天预习
文章浏览阅读401次。2012下半年计算机应用基础作业一一、单选题(共40题,每题1分)1、在第三代计算机期间内按规模和性能产生了______。A:包含笔记本电脑在内的序列机B:包含微型机在内的序列机C:大、中、小和微型机D:巨、大、中和小型机答案:D2、既可以接收、处理和输出模拟量,也可以接收、处理和输出数字量的计算机是______。 A:电子数字计算机 B:电子模拟计算机 C:数模混合计算机 D:专用计算机..._接收、处理和输出模拟量
文章浏览阅读646次。好友太多怎么保活相信做微商的微信好友都会很多,多到很多都成了“僵尸”好友,但是想要成为一个成功的微商,要有两点:1、好友多,基数决定高度2、“活的”好友多今天用python写一个一键分析微信好友用户画像的程序吧!了解好友基本情况,才能做到高效的营销方案微商成功神器,python程序员教你,一键分析微信好友近期所有信息这个程序有啥功能1、统计好友的性别;2、统计好..._spy++ 分析 微信
文章浏览阅读4.5k次,点赞2次,收藏45次。常见的CMOS Image Sensor(CIS)接口有DVP和MIPI,除此之外,还有Sony定义的用于传输高帧率高分辨率图像的slvs-ec接口、sub-lvds接口等,DVP接口硬件设计DVP(Digital Video Port)是并口传输,数据位宽有8bit、10bit、12bit等,是非差分信号,最高速率要比串行传输的MIPI接口低,高像素的sensor使用DVP就会比较勉强。DVP接口的主要信号如下所示:PCLK:pixel clock ,像素时钟,每个时钟对应一个像素数据,一般为几十_slvs-ec协议2.0
文章浏览阅读177次。问:简单说说 String 的 isEmpty() 与 null 与 "" 的区别?答:public class Test {public static void main(String[] args) {String a = new String();String b = "";String c = null;testString(a);testString(b);testString(c);}..._java string isempty
文章浏览阅读691次。Java介绍:Java语言概述:Java语言是由美国Sun(Stanford University Network)斯坦福网络公司的java语言之父–詹姆斯·高斯林,在1995年推出的高级的编程语言。所谓编程语言,是计算机的语言,人们可以使用编程语言对计算机下达命令,让计算机完成人们需要的功能。Java 可运行于多个平台,如 Windows, Mac OS 及其他多种 UNIX 版本的系统。Java分为三个体系:JavaSE(J2SE)(Java2 Platform Standard Editio_java语言
文章浏览阅读118次。树状数组学习笔记
文章浏览阅读775次。今天给大家分享的报告是字节跳动营销创业中心于2019年11月份发布的《抖音蓝V账号定位及外化罗盘.pdf》,报告从账号定位、内容表现形式/试错、内容深耕与延展等方..._抖音规则外化