使用shell脚本将数据加载到hdfs_shell的数据装载命令-程序员宅基地

技术标签：数据仓库

预处理提交脚本0-1
#!/bin/bash

############################################

author: hunter.d

date : 2019-11-28

desc : 预处理spark任务提交到yarn计算脚本

############################################

SPARK_HOME=/opt/app/spark-2.4.0

获取当前时间的前一天日期

DT=date -d'-1 day' +'%Y-%m-%d'

如果脚本传入了参数，则计算参数所指定的日期

if [ $1 ]
then
DT=$1
fi

$KaTeX parse error: Undefined control sequence: \ at position 32: …/spark-submit \̲ ̲ --master yarn …$ {DT} /titan/areadict /titan/output/applog/${DT} yarn

if [ $? -eq 0 ]
then
echo “任务执行成功…”
else
echo “出了点莫名其妙的问题…”
fi

#可能遇到的问题：

集群时间不同步，提交失败

yarn的resourcemanager宕机，提交失败

hdfs工作状态不正常，提交失败

没指定队列或指定的队列不存在，提交失败

#提交虽然成功，但运行错误：

appmaster就失败： NoClassDefineFound

executor失败： NoClassDefineFound

本文链接：https://blog.csdn.net/Werkple/article/details/108653679

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

xdp初体验_ip link set xdp-程序员宅基地

文章浏览阅读1.6k次，点赞2次，收藏14次。简介XDP是利用ebpf提供的全新内核网络性能提升方案，主要优势包括：它不需要任何专门的硬件它不需要内核绕过它不会取代 TCP/IP 堆栈它与 TCP/IP 堆栈以及 BPF 的所有优点协同工作在没有引入XDP之前，原来是的内核网络数据包传输路径是这样的：NIC > driver 驱动> tc流控 ==> netfilter ==> IP/TCP协议栈 ==> socket启用XDP后，网络包传输路径是这样的：①NIC > ②driver 驱动&_ip link set xdp

图像识别算法-程序员宅基地

文章浏览阅读5.3w次，点赞33次，收藏301次。图像特征包括颜色特征、纹理特征、形状特征以及局部特征点等。局部特点具有很好的稳定性，不容易受外界环境的干扰。1. 局部特征点图像特征提取是图像分析与图像识别的前提，它是将高维的图像数据进行简化表达最有效的方式，从一幅图像的的数据矩阵中，我们看不出任何信息，所以我们必须根据这些数据提取出图像中的关键信息，一些基本元件以及它们的关系。局部特征点是图像特征的局部表达，它只能反正图像上具有..._图像识别

使用ipmitool配置X86服务器的BMC网络和用户信息_ipmitool设置bmc静态ip-程序员宅基地

文章浏览阅读8.9k次，点赞2次，收藏37次。ipmitool配置BMC网络和用户信息_ipmitool设置bmc静态ip

ZOJ 1789（The Suspects）经典的并查集题目，总是Segmentation Fault。已解决_zoj segmentation fault-程序员宅基地

文章浏览阅读380次。一、解决前的代码#include "string.h"# include<iostream>using namespace std;#define MAXN 50000int fa[MAXN];int find(int i){ int r; for (r = i;fa[r] >= 0;r = fa[r]); while (i != r) { int s = fa[i]; fa[i] = r; i _zoj segmentation fault

升级openssl导致yum不可用_openssl升级后yum无法使用-程序员宅基地

文章浏览阅读1.5k次。文章目录检查ld.so.conf使用ldconfig使用ldd重新构建pycurl# yumThere was a problem importing one of the Python modulesrequired to run yum. The error leading to this problem was: /usr/lib64/python2.7/site-packages/pycurl.so: undefined symbol: CRYPTO_num_locksPlease_openssl升级后yum无法使用

c语言参数前面加一个点,C语言中的可变参数函数三个点“…”-程序员宅基地

文章浏览阅读1k次。第一篇C语言编程中有时会遇到一些参数个数可变的函数,例如printf()函数,其函数原型为：int printf( const char* format, ...);它除了有一个参数format固定以外,后面跟的参数的个数和类型是可变的(用三个点“…”做参数占位符),实际调用时可以有以下的形式：printf("%d",i);printf("%s",s);printf("the number is ..._c函数参数是点