编译Hadoop2.6.0-cdh-5.7.0源码以支持压缩格式_weixin_38163331的博客-程序员宝宝

编译Hadoop2.6.0-cdh-5.7.0源码以支持压缩格式

下载源码包hadoop-2.6.0-cdh5.7.0-src.tar.gz,解压后cd进入源码目录下,打开BUILDING.txt,如下图
在这里插入图片描述
根据截图所示,需要准备

  1. JDK1.7(必须使用1.7的版本,不然会报各种错误)。
  2. Maven 3.0 或以上
  3. Findbugs1.3.9
  4. Protocol2.5.0
  5. hadoop-2.6.0-cdh5.7.0

需要解压准备的包,并配置环境变量:vi .bash_profile
在这里插入图片描述
环境变量配置完毕,进入hadoop目录运行命令编译:mvn clean package -Pdist,native -DskipTests -Dtar

当编译成功会出现这个:
在这里插入图片描述
编译成功的jar包在:~/hadoop-2.6.0-cdh5.7.0/hadoop-dist/target 目录下:

在这里插入图片描述
解压缩编译成功的hadoop-2.6.0-cdh5.7.0 ,在bin目录下运行命令:./hadoop checknative
在这里插入图片描述
看到上图,说明编译hadoop-2.6.0-cdh5.7.0 支持五种压缩格式成功。

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_38163331/article/details/89439972

智能推荐

阿里云一键部署LNMP(Linux+Nginx+MySQL+PHP)栈_chuanggangbo5551的博客-程序员宝宝

摘要:LNMP代表Linux+Nginx+MySQL+PHP网站服务器架构。通过ROS资源编排可以阿里云上一键部署LNMP栈。 LNMP代表Linux+Nginx+MySQL+PHP网站服务器架构。本文主要目的是为大家提供一种非常简单的方法,在阿里云上部署LNMP栈。 通过<阿里云R...

codeforces 996 E. Leaving the Bar_Self-Discipline的博客-程序员宝宝

题目:点击打开链接题意:给定一些向量,你可以改变它的符号,使得这些向量之和的长度小于1.5e6。分析:注意有方向,可以将速度分解成为x,y轴方向上的分量,每次贪心取最小,因为每次我贪心原则是一样的,最后的结果有可能大于1.5e6 ,我们需要加一些随机性,,多次贪心,直到结果满足题意。正解是每三个向量中都能找到两个向量合起来 <= 1e6,然后不断合并,最后只会剩下一个或者两个向量,如果一个向...

初始化 Kubernetes 问题(端口占用)_Lida_wu的博客-程序员宝宝

[[email protected] ~]# kubeadm init --config config.yaml[init] Using Kubernetes version: v1.10.0[init] Using Authorization modes: [Node RBAC][preflight] Running pre-flight checks.[preflight] Some...

阿里云服务器部署war包报错:The web application [] registered the JDBC driver [com.mysql.jdbc.Driver] but ..._NRlovestudy的博客-程序员宝宝

熬了整整3天,靠着不解决不罢休的精神,终于把这个问题解决了。期间看了很多资料,网上的资料大部分抄来抄去,有用的太少,真正用到的就那么几篇文章,本想把这几篇文章链接贴上来,但一看浏览的历史记录太多了,懒得一个个去找了。归根到底还是自己太水,基本功不扎实。希望能帮到你。问题背景:一个项目(WEB-INF目录下有lib文件夹,存放一部分第三方jar包【后面出的问题之一与这个有关】)在我本机(wind...

设计模式总结之Prototype Pattern(原型模式)_迷死特兔的博客-程序员宝宝

用原型实例指定创建对象的种类,并且通过拷贝这些原型创建新的对象。

4412裸机程序之按键控制LED_cyj88jyc的博客-程序员宝宝

这1节我们通过按键来控制led,按下按键K1,4个灯全亮,松开全灭。看一下原理图K1与XNI26/GPX3_2相连,我们把GPX3_2配置成输入接口,从原理图可以看出当按键断开时XNI26与1.8v电压相连,显示高电平,当按键按下时XNI26与地相连,显示底电平。这样我们只有读XNI26/GPX3_2状态就可以判断按键是按下还是松开。代码如下://l

随便推点

html parser 入门_黄瓜和土豆的博客-程序员宝宝

1.下载:http://htmlparser.sourceforge.net2.htmlparser是一个纯的java写的html解析的库,htmlparser不依赖于其它的java库,htmlparser主要用于改造或提取html。htmlparser能超高速解析html,而且不会出错。毫不夸张地说,htmlparser就是目前最好的html解析和分析的工具。无论你是想抓取网页数

如何使用AWS CLI的S3命令下载数据集_李圆子酱的博客-程序员宝宝

1. 注册AWS账号需要翻墙,保证翻墙的时候网络稳定。要绑定一张信用卡,没有的话可以去借或者去淘宝租一个,最好自己有。注册完还要短信或者电话认证。2. 添加AWS用户参考网址:如何创建AWS用户3. 安装AWS CLI参考网址:安装AWS CLI安装pip和python选择合适版本的AWS CLI MSI安装(同时安装)验证安装结果C:\> ...

DS18B20温度传感器_飘飘仙儿__的博客-程序员宝宝_ds18b20

1、DS18B20 单线数字温度传感器,即“一线器件”,其具有独特的优点:采用单总线的接口方式 与微处理器连接时仅需要一条口线即可实现微处理器与 DS18B20 的双向通讯。单总线具有经济性好,抗干扰能力强,适合于恶劣环境的现场温度测量。 测量温度范围宽,测量精度高 DS18B20 的测量范围为 -55 ℃ ~+ 125 ℃ ; 在 -10~+ 85°C范围内,精度为 ± 0.5°C 。 ...

原生微信小程序flyio封装多baseURL配置请求,如同axios一样非常爽利的使用api_rain丶子厚的博客-程序员宝宝_小程序baseurl

1.下载 引入 flyio 基于 promiseJavascript http请求的终极解决方案。也就是说,在任何能够执行 Javascript 的环境,只要具有访问网络的能力,Fly都能运行在其上,提供统一的API。 fly下载地址2.request.js 配置fly 请求体// import Fly from 'flyio/dist/npm/wx';const Fly = ...

asp版 vbscript RSA公钥加密 / 私钥解密 / 私钥签名 / 公钥验签(支持中文)分段加密解密_xuemu2008的博客-程序员宝宝

最近有空在把自己的asp站点后端函数全部整理了下,在弄RSA的时候遇到了坑了,然后找到下面这位兄弟刚好发布的文章:https://blog.csdn.net/todaygods/article/details/109383438用了他的demo在本机win7,IIS环境测试,一切正常,然后传到服务器windows server 2008 R2 IIS环境下测试,IIS站点的应用程序池用的默认.net 2.0的,上demo,直接提示mscorlib 错误,估计是没有调起.net的类,在服务器的安装程.

树莓派建立个人网站(三):frp内网穿透实现外网访问_雪梅长青的博客-程序员宝宝

流程一览:一:实现方案二:frp的使用1. 准备工作2. 安装frp3. 访问方式(下方的域名可替换为公网IP地址)4. 树莓派上的frpc的开机启动三:注意事项四:参考博文一:实现方案  依照目前针对内网穿透的三种方案:获得自家的公网IP,使用路由器进行端口映射使用第三方的软件进行内网穿透,如花生壳等使用工具进行内网穿透,如frp等  其中第一种方案因为ipv4地址紧张,ipv6还未普及等原因,很难获取到自家的公网IP,且IP固定因为不便于更换服务器位置。  第二种方案和第三种方案其实本