使用Flink Watermark sideOutputLateData的坑_.sideoutputleftlatedata()无法调用-程序员宅基地

技术标签: Flink  

Flink Watermark是用于处理数据乱序问题,网上已经有很多优秀的文章介绍,这里就不重复了。参考:

https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/event_timestamps_watermarks.html

今天要说的使用Watermark过程中自己挖的坑,使用sideOutputLateData()过程中没有正常输出的问题,在此记录一下:

先来看一下源码解析:

/**
	 * Send late arriving data to the side output identified by the given {@link OutputTag}. Data
	 * is considered late after the watermark has passed the end of the window plus the allowed
	 * lateness set using {@link #allowedLateness(Time)}.
	 *
	 * <p>You can get the stream of late data using
	 * {@link SingleOutputStreamOperator#getSideOutput(OutputTag)} on the
	 * {@link SingleOutputStreamOperator} resulting from the windowed operation
	 * with the same {@link OutputTag}.
	 */
	@PublicEvolving
	public WindowedStream<T, K, W> sideOutputLateData(OutputTag<T> outputTag) {
		Preconditions.checkNotNull(outputTag, "Side output tag must not be null.");
		this.lateDataOutputTag = input.getExecutionEnvironment().clean(outputTag);
		return this;
	}

首先,延迟的数据通过outputTag输出,必须要事件时间大于watermark + allowed lateness,数据才会存储在outputTag中。

然后,注意,坑位来了,调用getSideOutput()方法获取DataStream时,必须调用windowed operation返回的SingleOutputStreamOperator对象才能获取到期望的延迟数据。

总结:

sideOutputLateData() 是一个兜底方案,数据延迟严重,可以保证数据不丢失。

使用第三方类库前还是要先阅读源码,不要凭直觉。

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/ooobenooo/article/details/106769874

智能推荐

2021年江苏省职业院校技能大赛中职 “网络信息安全”赛项(超详细)_2021年江苏省职业院校技能大赛网络信息安全赛项中职组-程序员宅基地

文章浏览阅读2.1k次,点赞3次,收藏6次。2021年中职组“网络空间安全”赛项一.江苏省竞赛任务书二.任务书解析:三.不懂的可以私信博主!一.江苏省竞赛任务书一、竞赛时间8:00—11:00 共计3小时二、竞赛阶段竞赛阶段 任务阶段 竞赛任务 竞赛时间 分值第①阶段:单兵模式系统渗透测试任务一:攻击日志分析任务二:系统漏洞利用与提权任务三:代码审计任务四:web安全渗透测试任务五:Linux操作系统渗透测试任务六:端口扫描Python渗透测试备战阶段 休息20分钟第②阶段:分组对抗 系统加固 15分钟_2021年江苏省职业院校技能大赛网络信息安全赛项中职组

Python3爬取猫眼电影信息-程序员宅基地

文章浏览阅读1k次。Python3爬取猫眼电影信息import jsonimport requestsfrom requests.exceptions import RequestExceptionimport reimport time#爬取猫眼电影信息def get_one_page(url): #增加了User-Agent识别,需要在headers中添加User-Agent参数。 ..._python3爬取猫眼

初识Docker(基本概念)_if [ type docker]-程序员宅基地

文章浏览阅读620次。文章目录前言什么是Docker&为什么用它Docker基本概念Docker镜像Docker与虚拟机的差别DockerHub容器总结前言兄弟们,明天我就期末考试了,给我来一波祝福~!!!老规矩,什么是Docker,这玩意能干嘛,有什么用,为什么要用它,有什么优势。在学习一个新东西之前我们都需要带着这些疑问开始进入学习,那么今天的这篇博客主要就是讲解一些基本的概念,这样一来对于Docker的学习就非常快了,同时这也是我本人的笔记整理。那么接下来就开始一一解答上面提到的问题。本章节为纯理论,后面才是_if [ type docker]

将datatable转化为list_datatable杞塋ist-程序员宅基地

文章浏览阅读1.3k次。定义一个person类,声明属性id,name.addresspublic class Person { private int id; public int Id { get { return id; } set { id = value; } } _datatable杞塋ist

ARM Cortex-M0(1)---浅谈ARM Cortex-M0_m0的体系结构-程序员宅基地

文章浏览阅读6.2k次。浅谈ARM Cortex-M0 一、引言  ARM公司在2009年初发布了其嵌入式处理器系列中最小型、最低功耗的CortexM0处理器。CortexM0低功耗、高性能与极精简程序代码的特性,能应用于各种微控制器(MCU)中,并可让研发业者以8位的价位创造32位的效能,并进一步将传统的8位和16位的处理器推进至更高效能、更低功耗的32位处理器。二、关于CortexM0  AR..._m0的体系结构

Flash外部配置器件在SOPC中的应用_sopc中为什么加上flash就什么现象也没了-程序员宅基地

文章浏览阅读728次。1 Flash在SOPC中的作用   Flash在SOPC中的作用主要表现在两方面:一方面,可用Flash来保存FPGA的配置文件,从而可以省去EPCS芯片或解决EPCS芯片容量不够的问题。当系统上电后,从Flash中读取配置文件,对FPGA进行配置。另一方面,可用Flash来保存用户程序。对于较为复杂的SOPC系统,用户程序一般较大,用EPCS来存储是不现实的。系统完成配置后,将Flash中的用户程序转移到外接RAM或片内配置生成的RAM中,然后系统开始运行。  2 Flash编程_sopc中为什么加上flash就什么现象也没了

随便推点

使用Unity的50个建议_unity游戏中的一些规范和优化建议-程序员宅基地

文章浏览阅读491次。关于这些建议这些建议并不适用于所有的项目这些建议是基于我与3-20人的小团队项目经验总结出来的结构、可重复使用性、明晰度都是有价的——团队规模和项目规模决定了是否值得付这个价。一些建议也许公然违抗了传统的Unity开发。例如:使用专业化的组合而不是使用实例就很不像Unity的作风,价格也很高。即使看上去挺疯狂的,但我还是看到了这些建议给开发者带来了利益。 过程方面_unity游戏中的一些规范和优化建议

iOS与前端交互WKWebViewJavascriptBridge-程序员宅基地

文章浏览阅读2.5k次。废话不多说,直接进入正题~~~首先引入 pod 'WKWebViewJavascriptBridge'这部分代码是写死的主要用的是这部分代码 主要用的是这部分代码 主要用的是这部分代码 可以直接放在script标签下,也可以创建一个bridge.js function setupWKWebViewJavascriptBridge(callback) { if (window.WKWebViewJavascriptBridge..._wkwebviewjavascriptbridge

提高ASP.Net应用程序性能的十大方法-程序员宅基地

文章浏览阅读69次。转自:http://www.xiedaima.cn/read.php/72.htm提高asp.net应用程序性能的常说的神话 有用的提高asp.net应用程序性能的技巧 Asp.net应用程序操作数据库的建议 Asp.net中的缓存与后台处理进程 现在写一个asp.net的web应用程序变得非常的简单,许多的程序员都不愿花时间去构建一个性能良好的应用程序。本文将要讨论...

java reduce 求和_Java Stream流之求和的实现-程序员宅基地

文章浏览阅读2.2k次。BigDecimal:BigDecimal bb =list.stream().map(Plan::getAmount).reduce(BigDecimal.ZERO,BigDecimal::add);int、double、long:double max = list.stream().mapToDouble(User::getHeight).sum();补充:java8-Stream流之数值函数..._java reduce求和

aes_descryptoserviceprovider 中的密钥是8位; rijndaelmanaged -程序员宅基地

文章浏览阅读132次。Cannot find any provider supporting AES/CBC/PKCS7Padding关于“Cannot find any provider supporting AES/ECB/PKCS7Padding”问题的解决方案commons-codec-1.7.jarCommons Codec 1.14 Download bcprov-ext-jdk16-1.4..._descryptoserviceprovider 中的密钥是8位; rijndaelmanaged 中的密钥是32位。

AI一分钟 | 别了老司机!深圳无人驾驶公交车霸气上路;乌镇上演最强饭局,丁磊王兴刘强东大宴宾客-程序员宅基地

文章浏览阅读986次。一分钟AI美剧《硅谷》再现NIPS大会,英特尔请来Flo Rida暖场AI演讲互联网大佬的乌镇饭局刷爆朋友圈博通正式启动恶意收购:周一提交高通新董事提名深圳无人驾驶公交车上路试运营李彦宏称无人驾驶将会消灭酒驾雷军:AI将全面赋能小米的各项场景和服务刘强东乌镇发言:要在四川建185个无人机机场工信部:中国人工智能产业初步

推荐文章

热门文章

相关标签