日常开发中我们经常需要处理各种系统问题,而这些系统问题通常由一些非预期的因素引起(比如非预期的输入,内存不够,网络波动等)。此时就需要知道
上述两点在同步编程里可以通过全局try-catch来实现。但在异步编程里该怎么办呢?
我的想法是绑定一个唯一id到一次完整的请求调用中(这个完整取决于我们想要监控的范围),无论程序执行到何处,我们总能拿到与请求一一对应的调用上下文
的id。
我将分两种场景进行讨论。一种是同步或基于jut下的线程池类进行异步调用的应用程序(如基于spring5之前的应用程序)。另外一种基于vertx(底层基于netty)的应用程序。
vert.x 4
、netty 4
、alibaba TransmittableThreadLocal
、jboss javassist
、hotspot类加载&方法调用
关于这种场景,有以下几种实现:
程序中的函数调用是完全同步的
则可通过java.lang.ThreadLocal
绑定一个唯一id到当前线程。入口处生成,出口处销毁。
如果我们用的是logback,也可通过 org.slf4j.MDC
来实现这个功能。其内部也是基于ThreadLocal。
程序中函数调用是异步的,异步通过新建java.lang.Thread
的方式实现。
这里可通过java.lang.InheritableThreadLocal
绑定一个唯一id到当前线程。Thread
的构造函数里会自动把通过InheritableThreadLocal
绑定到当前线程的数据拷贝到这个正在创建的Thread
里。所以,只要这个Thread
是在我们需要监控的区域(当前线程通过InheritableThreadLocal
**绑定了id后)**创建的,就能实现这个唯一id的跨线程传递。
程序中函数调用是异步的,异步通过java.util.concurrent
下的线程池类实现。
由于线程池中的线程是可以复用的,所以,如果我们往线程池中丢任务时,有两种情况:
InheritableThreadLocal
依然是有效的。InheritableThreadLocal
是无法生效的(线程池中的存活线程会循环拉取等待任务队列中的task去执行,而这个过程是没有InheritableThreadLocal
拷贝的)。所以,这里可以用阿里的[TransmittableThreadLocal](https://github.com/alibaba/transmittable-thread-local)
组件来实现这个唯一id在线程池中的传递(其核心原理是在Runnable
中用一个变量来存储当前线程的ThreadLocal值,当线程执行此Runnable时再拿出来)。异步环境下的关键在于如何跨线程传递ThreadLocal的值
vertx
是一个类似于spring
系列的用于构建分布式微服务的框架。基于vertx
构建的应用程序最大的特点是无阻塞&全异步。
vertx里的异步主要分两种。一种是在eventbus上传递消息的异步。另一种是基于netty的io操作异步
先来看一个简单的示例程序
static final String ADDRESS_1 = "address1";
static final String MESSAGE_1 = "message1";
static final String REPLY_MESSAGE_1 = "replyMessage1";
public static void sendMsgByEventbus() {
//初始化一个具有默认设置的vertx实例
Vertx vertx = Vertx.vertx();
//注册一个handler/consumer到eventbus
vertx.eventBus().consumer(ADDRESS_1, event -> {
log.info("receive msg:{}", event.body());
event.reply(REPLY_MESSAGE_1);
});
//通过eventbus发送消息给刚注册的handler
vertx.eventBus().request(ADDRESS_1, MESSAGE_1, reply -> {
log.info("receive replied msg:{}", reply.result().body());
});
}
下面是程序执行的结果
[vert.x-eventloop-thread-0] - receive msg:message1
[vert.x-eventloop-thread-0] - receive replied msg:replyMessage1
可以看到发起调用的是主线程,处理调用跟处理回调的是线程vert.x-eventloop-thread-0
。
那么,这个异步是如何实现的呢?显然,异步最明显的体现就是最后发送消息这里。所以我们就从Eventbus#request
逐步深入。
大概流程是这样的:
eventbus
中根据我们传入的address
拿到所有注册到这个地址上的handler。handler
对传入消息的处理包装成一个runnable
丢进一个queue
eventLoop Thread
从这个queue
中抓取task
执行关键代码片段如下:
//与本主题无关的只展示调用链路供大家参考
//Eventbus#request
// EventbusImpl#request
// EventbusImpl#sendOrPubInternal
// EventbusImpl#sendOrPubInternal
// EventbusImpl#OutboundDeliveryContext
// EventbusImpl#sendOrPub
// EventbusImpl#sendLocally
// EventbusImpl#deliverMessageLocally
protected ReplyException deliverMessageLocally(MessageImpl msg) {
//1.找出跟msg.address()的handlerHolder
ConcurrentCyclicSequence<HandlerHolder> handlers = handlerMap.get(msg.address());
if (handlers != null) {
for (HandlerHolder holder: handlers) {
//2.依次调用这些handler的receive方法
holder.handler.receive(msg.copyBeforeReceive());
}
return null;
}
}
void receive(MessageImpl msg) {
//3.匿名异步任务进队列
context.nettyEventLoop().execute(() -> {
doReceive(msg);
});
}
//SingleThreadEventExecutor#execute
private void execute(Runnable task, boolean immediate) {
//比较当前线程是否是eventLoop线程,是则返回true
//由于我们在main里调用的eventbus#request,所以这里是false
boolean inEventLoop = inEventLoop();
//4. 添加到queue中,后面执行任务的线程会调用该queue的poll方法
addTask(task);
if (!inEventLoop) {
//如果当前eventLoop对象的thread为空则创建一个Thread绑定到当前eventLoop
startThread();
}
}
//eventLoop中运行的thread通过这个方法从上面说的queue中拿task执行
//外层会循环执行该runAllTasks,直到Eventloop#shutdownGracefully被执行
//参考NioEventLoop#run
protected boolean runAllTasks(long timeoutNanos) {
Runnable task = pollTask();
for (;;) {
//5.执行task
safeExecute(task);
runTasks ++;
//如果队列中还有task,则继续执行
task = pollTask();
if (task == null) {
lastExecutionTime = ScheduledFutureTask.nanoTime();
break;
}
}
return true;
}
protected static Runnable pollTaskFrom(Queue<Runnable> taskQueue) {
for (;;) {
Runnable task = taskQueue.poll();
if (task != WAKEUP_TASK) {
return task;
}
}
}
//safeExecute会去执行第3步中的匿名任务
protected boolean doReceive(Message<T> message) {
Handler<Message<T>> theHandler = handler;
deliver(theHandler, message);
return true;
}
//MessageConsumerImpl#deliver
// MessageConsumerImpl#dispatch
// AbstractContext#dispatch
// InboundDeliveryContext#dispatch ++ 上一步的匿名Runnable会调用
// InboundDeliveryContext#next
// MessageConsumerImpl#dispatch
// DuplicatedContext#emit
// EventLoopContext#emit
<T> void emit(AbstractContext ctx, T argument, Handler<T> task) {
try {
//6.执行handler/task中的事件处理
//这个task就是我们之前通过Eventbus#consumer注册进来的
task.handle(argument);
} catch (Throwable t) {
reportException(t);
} finally {
ctx.endDispatch(prev);
}
}
我删减了一些不重要的部分,以便更易于理解。
通过上面的代码片段我们可以发现,第3步的SingleThreadEventExecutor#execute
往队列里push任务似乎是解决问题(跨线程传递唯一id)的关键。所以,如果我们能够在这个task进入queue
之前往这个task中塞上当前线程的ThreadLocal
值,待到这个task
的run
方法被执行时再把这个ThreadLocal
值拿出来塞到当前线程(执行这个task
的线程)的ThreadLocal
中,问题就解决了。
显然,我们需要修改这些类的代码。那么,怎么实现这个功能呢?
java.lang.instrument
提供了一系列运行时替换class字节码的技术。而jboss Javaassist 则提供了一些列修改字节码的接口。所以我们只需要结合这两项技术再通过javaagent指令即可达成我们的目的。
修改字节码的实现可参考这里。
由于参与修改的所有类都是由**appClassLoader
加载的,所以不会出现什么问题。但是,如果我们要按照上述设计对jdk自带(jre/lib)的一些类进行修改呢?比如说实现ThreadLocal
在ThreadPoolExecutor#execute
中的传递,思路似乎没多大区别,无非就是对传入ThreadPoolExecutor#execute
中的Runnable
做一层包装(设该包装类为类A**)。然后当我们运行是却会发现每次执行execute
方法时都会得到一个NoClassDefFoundException
,无法找到类A。
这是为什么呢?明明类A对应的class
文件是存在的(build目录下),但虚拟机为什么在执行execute
方法时找不到它呢?
这是因为ThreadPoolExecutor
这个类是由BootStrapClassLoader
加载的,而正常情况下类A并不处于BootStrapClassLoader
的查找范围之中,所以就引发了这个异常。概览如下:
execute
方法中我们修改过的代码时,此时类A在此处仅仅是一个符号引用,这时必然会请求虚拟机去解析这个符号引用。这里会去根据加载ThreadPoolExecutor的类加载器(BootStrapClassLoader
)以及类A的类名在内存中全局查找这个类,查找不到则会尝试加载这个类,如果这两个过程都找不到对应的类,就会抛出上述异常。像alibaba的TransmittableThreadLocal
是需要修改rt.jar中的类的(比如ThreadPoolExecutor
),这些核心类都是由BootstrapClassloader加载的。但是我们引进来的TransmittableThreadLocal
默认由AppClassLoader加载,这势必会导致在重新加载被修改的由class时抛出NoClassDefFoundException。所以TransmittableThreadLocal
中参与核心类库修改的类必须要被添加到bootClassPath中(由BootstrapClassLoader
加载)。
vertx的io操作基于netty,netty的io多路复用基于java nio,nio只能说是非阻塞式io。但是netty提供给上层应用程序的io操作确实异步的。netty会不停的轮询就绪的io事件,然后把vertx感兴趣的事件包装好通知到vertx(比如有数据可读的时候),最后vertx再通知到我们的业务层。
其实这里的实现思路是一样的,就不赘述了。简单点就是在往vertx中塞回调时对这个回调进行上述包装即可。
本文主要探讨了如何在基于vertx的异步环境中追踪一次完整的函数调用,以及实现过程中可能会碰到的问题。
上述内容的源码可在我的github上找到。
文章浏览阅读1k次。通过使用ajax方法跨域请求是浏览器所不允许的,浏览器出于安全考虑是禁止的。警告信息如下:不过jQuery对跨域问题也有解决方案,使用jsonp的方式解决,方法如下:$.ajax({ async:false, url: 'http://www.mysite.com/demo.do', // 跨域URL ty..._nginx不停的xhr
文章浏览阅读2k次。关于在 Oracle 中配置 extproc 以访问 ST_Geometry,也就是我们所说的 使用空间SQL 的方法,官方文档链接如下。http://desktop.arcgis.com/zh-cn/arcmap/latest/manage-data/gdbs-in-oracle/configure-oracle-extproc.htm其实简单总结一下,主要就分为以下几个步骤。..._extproc
文章浏览阅读1.5w次。linux下没有上面的两个函数,需要使用函数 mbstowcs和wcstombsmbstowcs将多字节编码转换为宽字节编码wcstombs将宽字节编码转换为多字节编码这两个函数,转换过程中受到系统编码类型的影响,需要通过设置来设定转换前和转换后的编码类型。通过函数setlocale进行系统编码的设置。linux下输入命名locale -a查看系统支持的编码_linux c++ gbk->utf8
文章浏览阅读750次。今天准备从生产库向测试库进行数据导入,结果在imp导入的时候遇到“ IMP-00009:导出文件异常结束” 错误,google一下,发现可能有如下原因导致imp的数据太大,没有写buffer和commit两个数据库字符集不同从低版本exp的dmp文件,向高版本imp导出的dmp文件出错传输dmp文件时,文件损坏解决办法:imp时指定..._imp-00009导出文件异常结束
文章浏览阅读143次。当下是一个大数据的时代,各个行业都离不开数据的支持。因此,网络爬虫就应运而生。网络爬虫当下最为火热的是Python,Python开发爬虫相对简单,而且功能库相当完善,力压众多开发语言。本次教程我们爬取前程无忧的招聘信息来分析Python程序员需要掌握那些编程技术。首先在谷歌浏览器打开前程无忧的首页,按F12打开浏览器的开发者工具。浏览器开发者工具是用于捕捉网站的请求信息,通过分析请求信息可以了解请..._初级python程序员能力要求
文章浏览阅读7.6k次,点赞2次,收藏6次。@Service标注的bean,类名:ABDemoService查看源码后发现,原来是经过一个特殊处理:当类的名字是以两个或以上的大写字母开头的话,bean的名字会与类名保持一致public class AnnotationBeanNameGenerator implements BeanNameGenerator { private static final String C..._@service beanname
文章浏览阅读6.9w次,点赞73次,收藏463次。1.前序创建#include<stdio.h>#include<string.h>#include<stdlib.h>#include<malloc.h>#include<iostream>#include<stack>#include<queue>using namespace std;typed_二叉树的建立
文章浏览阅读7.1k次。在Asp.net上使用Excel导出功能,如果文件名出现中文,便会以乱码视之。 解决方法: fileName = HttpUtility.UrlEncode(fileName, System.Text.Encoding.UTF8);_asp.net utf8 导出中文字符乱码
文章浏览阅读2.1k次,点赞4次,收藏23次。第一次实验 词法分析实验报告设计思想词法分析的主要任务是根据文法的词汇表以及对应约定的编码进行一定的识别,找出文件中所有的合法的单词,并给出一定的信息作为最后的结果,用于后续语法分析程序的使用;本实验针对 PL/0 语言 的文法、词汇表编写一个词法分析程序,对于每个单词根据词汇表输出: (单词种类, 单词的值) 二元对。词汇表:种别编码单词符号助记符0beginb..._对pl/0作以下修改扩充。增加单词
文章浏览阅读773次。我在使用adb.exe时遇到了麻烦.我想使用与bash相同的adb.exe shell提示符,所以我决定更改默认的bash二进制文件(当然二进制文件是交叉编译的,一切都很完美)更改bash二进制文件遵循以下顺序> adb remount> adb push bash / system / bin /> adb shell> cd / system / bin> chm..._adb shell mv 权限
文章浏览阅读6.8k次,点赞12次,收藏125次。1. 单目相机标定引言相机标定已经研究多年,标定的算法可以分为基于摄影测量的标定和自标定。其中,应用最为广泛的还是张正友标定法。这是一种简单灵活、高鲁棒性、低成本的相机标定算法。仅需要一台相机和一块平面标定板构建相机标定系统,在标定过程中,相机拍摄多个角度下(至少两个角度,推荐10~20个角度)的标定板图像(相机和标定板都可以移动),即可对相机的内外参数进行标定。下面介绍张氏标定法(以下也这么称呼)的原理。原理相机模型和单应矩阵相机标定,就是对相机的内外参数进行计算的过程,从而得到物体到图像的投影_相机-投影仪标定
文章浏览阅读2.2k次。文章目录Wayland 架构Wayland 渲染Wayland的 硬件支持简 述: 翻译一篇关于和 wayland 有关的技术文章, 其英文标题为Wayland Architecture .Wayland 架构若是想要更好的理解 Wayland 架构及其与 X (X11 or X Window System) 结构;一种很好的方法是将事件从输入设备就开始跟踪, 查看期间所有的屏幕上出现的变化。这就是我们现在对 X 的理解。 内核是从一个输入设备中获取一个事件,并通过 evdev 输入_wayland