安装Hadoop2.10.1_hadoop2.10.1下载-程序员宅基地

技术标签: hadoop  大数据  

文章目录


前言

通过在Hadoop1安装Hadoop,然后配置相应的配置文件,最后将Hadoop 所有文件同步到其他Hadoop节点。


一、集群规划

#主机名
‘master/hadoop1’        ‘slave01/hadoop2’         ‘slave02/hadoop3’

#启动节点
Namenode                  Nodemanager              Nodemanager        
Resourcemanager           Datanode                 Datanode
                          Secondarynamenode

二、安装JDK

1、三个节点都需要按照下面步骤安装JDK环境。

执行java-version查看JDK是否已经安装,如果已经安装了,可以跳过这一步骤,进入环境部署环节。

java -version     # which Java是无法定位到Java的安装路径的,只能定位到执行路径

2、下载安装包后,将JDK安装包复制到/usr/lib/jvm/

sudo yum install java-1.8.0-openjdk java-1.8.0-openjdk-devel    #通过此命令安装 OpenJDK,默认安装位置为 /usr/lib/jvm/

rpm -ql java-1.8.0-openjdk-devel | grep '/bin/javac'   #检验路径,输出结果除去路径末尾的 “/bin/javac”,剩下的就是正确的路径了

3、配置相应环境变量(hadoop1-3都要) 

拓展:设置Linux环境变量的方法和区别

vim  /etc/profile  

#在文件末尾加入

#JAVA_HOME
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk  #java安装地址
export PATH=$PATH:$JAVA_HOME/bin

source ~/.bashrc    # 使变量设置生效

echo $JAVA_HOME     # 检验变量值
java -version  
$JAVA_HOME/bin/java -version  #与直接执行 java -version 一样,一起执行作对比

配置静态ip 和 联网

为VMware的多台虚拟机配置静态ip 和联网_慕诡的博客-程序员宅基地

三、安装Hadoop

下载安装Hadoop2.10.1

cd ~

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.10.1/hadoop-2.10.1.tar.gz  #下载

tar -zxf hadoop-2.10.1.tar.gz -C /usr/local    # 解压到/usr/local中

cd /usr/local/

sudo mv ./hadoop-2.10.1/ ./hadoop      
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/forest_black/article/details/124354961

智能推荐

IOS----OC 相对于C: 指令,源文件,编译比较_oc 源文件 目标文件-程序员宅基地

文章浏览阅读265次。OC 相对于C a) 在C的基础上新增了1小部面对象的语法 b) 将C 复杂的,繁琐的语法封装的更为简单 c) OC完全兼容C语言CO 与C 源文件: OC 文件:源文件为.m m代表message 代表OC中最重要的1个机制,消息机制 C 文件:源文件为.cmain 函数仍然是OC程序的入口和出口 int 类型是返..._oc 源文件 目标文件

CAD二次开发+NetTopologySuite+PostGIS 引用多版本DLL问题_nettopologysuite.io.postgis-程序员宅基地

文章浏览阅读1k次。CAD二次开发+NetTopologySuite+PGIS 引用多版本DLL,导致未能加载文件或程序集问题:包括:_nettopologysuite.io.postgis

css input 内容换行显示,CSS - 如何实现强制不换行、自动换行、强制换行 以及 chrom默认焦点 IE下 Input 默认出现叉...-程序员宅基地

文章浏览阅读4.9k次。*:focus {outline: none;}input::-ms-clear {display:none;}一般的文字截断(适用于内联与块):.text-overflow {display:block;/*内联对象需加*/width:31em;/*指定宽度*/word-break:keep-all;/* 不换行 */white-space:nowrap;/* 强制在同一行内显示所有文本,直到文..._input强制换行

如何简单有效的删除win10英语美式键盘-程序员宅基地

文章浏览阅读1w次,点赞3次,收藏3次。很多童鞋在装上搜狗等输入法后,无端就多出了一个不知道怎么删除的英语美式键盘,如下图虽然同样可以使用home+空格键切换输入法,但是每次都要切换这对于强迫症患者来说简直不能忍所以本人根据自己的使用情况写了一个方法指南,经过多次试验,发现它还是很能派上用场的大致原理就是再添加一次键盘然后再删除掉。步骤一:点击如图位置-打开“语言首选项”步骤二:(可以

glib-genmarshal_glib-genmarshal 不是executable-程序员宅基地

文章浏览阅读735次。glib-genmarshalglib-genmarshal — C code marshaller generation utility for GLib closures Synopsisglib-genmarshal [options...] [files...]Descriptionglib-genmarshal is a sma_glib-genmarshal 不是executable

julia_Julia关键字-程序员宅基地

文章浏览阅读342次。julia Julia| 关键词 (Julia | Keywords)Like other programming languages, Julia also has the set of some reserved words whose meanings are the predefined and They cannot be used as the identifiers name. ...

随便推点

FTPClient上传文件大小为0字节的问题解决_ftpclient.storefile 0kb-程序员宅基地

文章浏览阅读2.3k次。今天通过FTPClient上传图片时出现,虽然无错误出现但是上传到服务器端的图片大小为0。经过查询资料,发现FTPClient存在着两种模式,主动模式和被动模式。 FTP支持两种模式,一种方式叫做Standard (也就是 PORT方式,主动方式),一种是 Passive (也就是PASV,被动方式)。 Standard模式 FTP的客户端发送 PORT 命令到FTP服务器。Pass..._ftpclient.storefile 0kb

Opencv去除高光的算法--Highlights Removal_面部高光移除算法-程序员宅基地

文章浏览阅读2.6w次,点赞4次,收藏41次。这篇日志主要是根据文章“实时单幅图片高光去除算法”(篇一)和“Real-time Specular Highlight Removal Using a Single Image -eccv-10-qingxiong-yang“(篇二)来写的,没有终于原文,原文在后面做的一些逼近工作或滤波工作我没有进行精确的处理,但是这是上述两片论文的基本原理。这两篇论文的最大不同在于后面最大漫反射色度的求法,两者_面部高光移除算法

linux磁盘的2048单位,Linux磁盘分区总结-程序员宅基地

文章浏览阅读1.1k次。8种机械键盘轴体对比本人程序员,要买一个写代码的键盘,请问红轴和茶轴怎么选?最近在做ceph的日志盘分区时候遇到一些问题记录下来。比较古老的分区工具是使用fdisk,后来因为磁盘越来越大,而fdisk遇到分区容量超过2TB时无能为力,并且分区还要限制最多4个主分区。越来越不适用现代磁盘,后来有了parted工具专门用来对大磁盘分区的。分区类型硬盘分区最常见的类型为msdos和gpt,前者表示MB...

css解决图片固定大小后拉伸的问题_css img设置了大小依然被父盒子拉变形-程序员宅基地

文章浏览阅读2.5k次。css解决图片固定大小后拉伸的问题<div> <img src="/img/1.jpg" class="img" /></div><style>.img{ object-fit:cover;}</style>object-fit属性属性描述fill默认值。整个对象将完全填充此框。 如果对象的高宽比不匹配其框的宽高比,那么该对象将被拉伸以适应。contain整个对象在填充盒子的同时保留其长宽比,因此_css img设置了大小依然被父盒子拉变形

大一寒假算法题_输入年份和月份,输出这一年的这这个月有多少天。需要考虑闰年。8.阶乘之和:计算s=-程序员宅基地

文章浏览阅读7.2k次,点赞4次,收藏10次。1.整数反转给出一个 32 位的有符号整数,你需要将这个整数中每位上的数字进行反转。示例 1:输入: 123输出: 321#include <stdio.h>int main(void){ long int a,s=0; long int i,k; scanf("%ld",&a); if(a<0) { a=-a; for(i=0;a!=0;..._输入年份和月份,输出这一年的这这个月有多少天。需要考虑闰年。8.阶乘之和:计算s=

Ubuntu 20.04 安装配置 GitLab_ubuntu安装git时pofix configuration 应该选择哪个-程序员宅基地

文章浏览阅读1k次。ubuntu20+gitlab_ubuntu安装git时pofix configuration 应该选择哪个