【2023】hadoop基础介绍_hadoop参考文献2023-程序员宅基地

技术标签： python  数据分析  hadoop  分布式  大数据  

目录

Hadoop组成

hadoop安装教程可以看我这篇文章===> hadoop通过docker安装

  • HDFS组件：是Hadoop内的分布式存储组件，可以构建分布式文件系统用于数据存储。
  • MapReduce组件：MapReduce是Hadoop内分布式计算组件。提供编程接口供用户开发分布式计算程序。
  • YARN组件：YARN是Hadoop内分布式资源调度组件。可供用户整体调度大规模集群的资源使用。

HDFS

分布式存储：主从架构——架构角色

  • 主角色：Master（NameNode）
  • 从角色：Slave（DataNode）
  • 主角色的辅助角色：（SecondaryNameNode）
    • 处理合并edits为fsimage：会通过http从NameNode拉取数据（edits和fsimage），然后合并完成后提供给NameNode使用。

HDFS操作

  • HDFS文件系统基本信息

    操作命令添加协议头就会分别是对对应的系统执行，如果不带是会按照

    在这里插入图片描述

  • 操作命令

不同版本命令开头

# 老版本
hadoop fs 
# 新版本
hdfs dfs

在这里插入图片描述

命令使用在这里插入图片描述

  • 上传文件到hdfs文件系统中
# hdfs dfs -put linux路径 HDFS文件路径
hdfs dfs -put ./test2.test /

在这里插入图片描述

  • 下载HDFS文件到linux中
# hdfs dfs -get HDFS文件路径 linux路径
hdfs dfs -get /.test.txt /

在这里插入图片描述

  • 拷贝HDFS文件和移动
#拷贝文件
hdfs dfs -cp 源路径 粘贴路径

#移动文件
hdfs dfs -mv 源路径 粘贴路径

在这里插入图片描述

  • 追加数据到HDFS文件

    HDFS只能追加和删除，不能修改

htfs -dfs -appendToFile

在这里插入图片描述

  • 查看文件和删除文件
#查看文件内容
htfs -dfs -cat 文件
#删除文件和文件夹（删除文件不用加-r，删除文件夹需要加-r）
htfs dfs -rm -r 文件路径

删除文件看是否需要添加回收站

在这里插入图片描述

html查看文件

在这里插入图片描述

产品插件用于使用：Big Data Tools

在这里插入图片描述

配置插件

在这里插入图片描述

HDFS分布式文件存储

hdfs存储的管理单位是叫 block块

通过分布式的方式进行存储5，为了避免block块丢失，一般会进行冗余备份（通过添加副本块的方式备份），避免文件丢失

在这里插入图片描述

NameNode元数据

  • edits文件———流水帐文件

在这里插入图片描述

  • FSlmage文件———最终文件（保存最终结果）

在这里插入图片描述

  • 执行流程

在这里插入图片描述

数据读写流程

在进行读写时，会优先读写到网络距离最近的那台dataNode给客户端进行读写，实现读写的最优解。

  • 数据写入流程

在这里插入图片描述

在这里插入图片描述

  • 数据读取流程

    在这里插入图片描述

YARN和MapReduce

  • 分布式（数据）计算
    • 分散—>汇总模式
      1. 将数据分片，多台服务器负责一部分数据处理
      2. 然后将各种的数据进行汇总
    • 中心调度—>步骤执行模式
      1. 由一个节点作为中心调度管理者
      2. 将任务划分为几个具体步骤
      3. 管理者安排每个机器执行任务
      4. 最终得到结果数据

MapReduce：分布式计算

采用的是分散—>汇总模式进行分布式计算

提供了2个编程接口

  • Map：分散
  • Reduce：汇总

在这里插入图片描述

YARN：资源管控调度

将资源统一管控进行分配可以提供资源利用率

MapReduce和YARN的关系

  • YARN用来调度资源给MapReduce分配和管理运行资源
  • 所以,MapReduce需要YARN配合使用

YARN架构

YARN采用的也是主从架构

核心角色

  • ResourceManager：整个集群的资源调度者，负责协调调度各国程序所需要的资源。
  • NodeManager：单个服务器的资源调度者，负责调度单个服务器上的资源提供给应用程序使用

辅助角色

  • ProxyServer：代理服务器
  • JobHistoryServer：历史服务器

在这里插入图片描述

YARN集群启动和停止命令（mapReduce无需启动任何进程）

#一键启动： 
$HADOOP_HOME/sbin/start-yarn.sh
#一键关闭
$HADOOP_HOME/sbin/stop-yarn.sh

#历史服务器启动和停止
mapred --daemon start｜stop historyserver

查看YARN的web页面通过8088端口

在这里插入图片描述

提交任务到YARN中运行

在这里插入图片描述
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_52315708/article/details/135279405

智能推荐

Java中的Action、Service和DAO层功能区分及示例解释-程序员宅基地

文章浏览阅读555次。Action/Service/DAO简介：Action是管理业务(Service)调度和管理跳转的。Service是管理具体的功能的。Action只负责管理，而Service负责实施。DAO只完成增删改查，虽然可以1-n，n-n，1-1关联，模糊、动态、子查询都可以。但是无论多么复杂的查询，dao只是封装增删改查。至于增删查改如何去实现一个功能，dao是不管的。总结这三者，通过例子来解释：Acti..._java中action

Servlet详解-程序员宅基地

文章浏览阅读321次。Servlet （Server Applet），全称Java Servlet。是用Java编写的服务器端程序，其，生成动态的Web内容。Servlet运行于支持Java的应用服务器中（如Tomcat等）。从实现上讲，Servlet可以响应任何类型的请求，但绝大多数情况下，servlet只用来扩展基于HTTP协议的服务器。

VMware与艾莫讯国产300编程电缆兼容性问题_虚拟机插入mpi电缆卡死-程序员宅基地

文章浏览阅读1.3k次。VMware-15.1.0 -VMware-15.5.5之间所有的版本都与国产艾莫讯0CB20电缆有兼容问题。 具体故障是只要连接到虚拟机并驱动就会造成虚拟机死机。西门子官方的0CB20电缆不会存在这个问题。说明国产电缆和官方电缆的实现方式还是有区别，这次蓝屏死机BUG主要是由VMware引起的，为了验证我还特意去咸鱼上整了一条官方电缆。 我为什么知道这么清楚呢，因为vmware每一次更新我都会去升级，然后去现场干活。接下来的事情你们应该能想到了，去现场都读程序，结果插上电缆就死机。急忙跟客户说.._虚拟机插入mpi电缆卡死

java找不到符号解决办法-程序员宅基地

文章浏览阅读1.6w次，点赞11次，收藏15次。一、java找不到符号如果你的代码里没有报错，明明是存在的。但是java报错找不到符号。像下面这样子。二、解决步骤1.清除编码工具缓存本人用的idea， eclipse清除缓存方式有需要的可以百度一下！2.如果是mavne项目的先clean 再package总结提示：一定要package本人刚开始就是知道clean了，没有package导致问题一直没有解决。在此记录一下！...

【Nginx】配置详解_nginx修改配置文件如何生效-程序员宅基地

文章浏览阅读1.3w次，点赞4次，收藏22次。访问到未定义的扩展名的时候，就默认为下载该文件。#服务器并发处理能力，值越大并发能力越强（受自身配置限制）一个http块可以包含多个server块，而一个server块就等于一个虚拟主机。nginx配置最频繁的部分，比如代理，日志，缓存、第三方模块等等。包括文件引入、MIME-TYPE定义，日志自定义、连接超时等等。需要注意的是http块可以包括http全局块和server块。server块又包含全局server块和location块。二、容器部署的项目，配置nginx。2.2，events块。..._nginx修改配置文件如何生效

Unity核心9——3D动画_unity动画-程序员宅基地

文章浏览阅读6.3k次，点赞7次，收藏30次。Has Exit Time：是否有退出时间，如果勾选，当切换动画时，动画一定是播放到下方的 Exit Time（百分比）的时间时才过渡到下一个动画。​ 我们是否可以这样做，比如开枪动画只影响上半身，下半身根据实际情况播放站立，跑动，蹲下动作，通过上下半身播放不同的动画就可以达到动画的组合播放。不同的是有一个上层的图标（Up Base Layer），通过连接该状态来转移到上层状态机的某个状态。主要用于直接从另一个层复制状态过来，在该层中进行修改，另一个层的设置信息都将保留，我们只需要替换状态对应的动画即可。_unity动画

随便推点

Buck电路 （PWM实现与闭环反馈） 电力系统仿真_buck电路带反馈控制-程序员宅基地

文章浏览阅读962次，点赞2次，收藏11次。Buck电路 （PWM实现与闭环反馈） 电力系统仿真_buck电路带反馈控制

jQuery实现轮播图代码_jquery轮播图代码-程序员宅基地

文章浏览阅读699次，点赞11次，收藏8次。一个简单的jQuery轮播图代码，首先，定义了一个slideshow-container的div容器，其中包含了所有轮播图幻灯片。每个幻灯片都包含一个mySlides的类名，并且使用CSS将其隐藏。在showSlides()函数中，遍历所有幻灯片并将它们隐藏，然后显示当前索引的幻灯片。最后，我们使用setTimeout()函数来每隔2秒钟调用showSlides()函数，从而实现了轮播效果。它使事情变得更简单，使用jQuery能够以最小的努力在Web上构建复杂的交互性。_jquery轮播图代码

android adb install apk的安装流程_full install must include a base packag-程序员宅基地

文章浏览阅读1.1w次，点赞6次，收藏23次。一、简介 1.Android上应用安装可以分为以下几种方式：通过adb命令安装：adb 命令包括adb push/install 用户下载的Apk，通过系统安装器packageinstaller安装该Apk。packageinstaller是系统内置的应用程序，用于安装和卸载应用程序。 系统开机时安装系统应用。 电脑或者手机上的应用商店自动安装第三种系统安装我们在上个章节P..._full install must include a base packag

漂亮的css透明样式菜单-程序员宅基地

文章浏览阅读74次。下载地址漂亮的css透明样式菜单，可以用作工具栏或者导航条，小图标可以自定义。dd:_漂亮的css透明样式菜单

牛人莫入 Silverlight DataGrid 分组技巧 -程序员宅基地

文章浏览阅读983次。牛人莫入 Silverlight DataGrid 分组技巧 最近在项目中很多的地方都用到了数据的展示---DataGrid控件，在园子里面也有很多的朋友也对这个DataGrid控件也写了很多的教程；我这里也与其它人也没有什么区别，这里只是告诉大家一个小的技巧；但是我相信这一个小的技巧对大家以后在项目中应该有一些帮助；一天，领导走过来看了我用户管理UI，我用了一

U-net网络_sr3 的u-net-程序员宅基地

文章浏览阅读1.8w次，点赞14次，收藏89次。 U-net网络是一个典型的端到端的网络结构。如下图所示： 基本的网络结构并不复杂，但是代码实现过程中需要进行调试，但这会花费很大的时间。本文旨在为初学者介绍代码的快速使用方法，直接将U-net网络作为黑盒使用。如果您觉得对您有用，请点个赞，欢迎交流。一：从github上下载改进的U-net源码：点击打开传送门显示如下：二：点击Clone or download，下载..._sr3 的u-net

推荐文章

热门文章

相关标签