技术标签: 实战问题解决 java mybatis Mybatis 开发语言
没有看过前文的朋友,可以先去看看上次在笔者笔记本上做的尝试:MyBatis痛点验证,使用 foreach 批量插入慢?
上次做的验证,因为无法复现生产场景,最终失败,这次我们来看后续进一步的验证与排查
我把上次在笔记本上的动态sql,移植到我们的工程代码里,放在一个普通查询接口里,进行usertest表的数据插入。而且一个方法内重复插好几次。
大家知道上次,我们的基准测试,一个对象的插入大约8ms
而同样插入一个对象,在工程里跑,大约需要 256ms !!
当我不知死活的尝试插入2000条数据时,耗时直接到达270s,整整四分半!!
代码如下:
@Component
@Intercepts({
@Signature(
type = ParameterHandler.class,
method = "setParameters",
args = {
PreparedStatement.class }) ,
@Signature(
type = StatementHandler.class,
method = "prepare",
args = {
Connection.class ,Integer.class}),
@Signature(
type = StatementHandler.class,
method = "update",
args = {
Statement.class}),
@Signature(
type = Executor.class,
method = "update",
args = {
MappedStatement.class ,Object.class}) ,})
@Slf4j
public class ParameterPlugin implements Interceptor {
@Override
public Object intercept(Invocation invocation) throws Throwable {
long start = System.currentTimeMillis();
String parameterHandlerName = invocation.getTarget().getClass().getName();
String statementName = invocation.getArgs()[0].getClass().getName();
String methodName = invocation.getMethod().getName();
Object returnVal = invocation.proceed();
long end = System.currentTimeMillis();
if ("prepare".equals(methodName)) {
log.info("StatementHandler.prepare耗时: " + (end - start) + ", 其中start =" + start + ", end =" + end);
}
if ("setParameters".equals(methodName)) {
log.info("参数装填时间" + (end - start) + ", 参数处理器类型为: " + parameterHandlerName + " ,statement类型为" + statementName
+ ", 其中start =" + start + ", end =" + end);
}
if ("update".equals(methodName)) {
log.info("update耗时: " + (end - start) + ", 其中start =" + start + ", end =" + end);
}
return returnVal;
}
}
上述的plugin 可以同时截取到几大组件的核心方法耗时,然后运行程序,反复以100为长度,进行耗时占比分析
我原先预期,可能是参数填充的问题,但通过结果看,100*26=2600 个字段的填充耗时在10ms上下,这肯定是没问题的。耗时的大头是两个update方法,因为Executor的update是包含StatementHandler的update的,所以我们找到了耗时的最终方法,即StatementHandler的update.
因为这是动态sql,所以最后是由 PreparedStatementHandler 来处理的,我们关注一下该方法
@Override
public int update(Statement statement) throws SQLException {
PreparedStatement ps = (PreparedStatement) statement;
ps.execute();
int rows = ps.getUpdateCount();
Object parameterObject = boundSql.getParameterObject();
KeyGenerator keyGenerator = mappedStatement.getKeyGenerator();
keyGenerator.processAfter(executor, mappedStatement, ps, parameterObject);
return rows;
}
既然已经确定了是在PreparedStatementHandler.update()里导致耗时太高的,那我们就想办法把日志打进去
先把plugin稍作改造,自定义个update,内容照抄,然后加点日志。
@Intercepts({
@Signature(
type = ParameterHandler.class,
method = "setParameters",
args = {
PreparedStatement.class }) ,
@Signature(
type = StatementHandler.class,
method = "prepare",
args = {
Connection.class ,Integer.class}),
@Signature(
type = StatementHandler.class,
method = "update",
args = {
Statement.class})})
@Slf4j
public class ParameterPlugin implements Interceptor {
@Override
public Object intercept(Invocation invocation) throws Throwable {
String methodName = invocation.getMethod().getName();
if ("update".equals(methodName)) {
long time1 = System.currentTimeMillis();
PreparedStatement ps = (PreparedStatement) invocation.getArgs()[0];
long time2 = System.currentTimeMillis();
if (ps instanceof Proxy) {
InvocationHandler invocationHandler = Proxy.getInvocationHandler(ps);
log.info("invocationHandler = " + invocationHandler.getClass().getName());
if (invocationHandler instanceof PreparedStatementLogger) {
PreparedStatementLogger lo = (PreparedStatementLogger)invocationHandler;
PreparedStatement preparedStatement = lo.getPreparedStatement();
log.info("preparedStatement = " + preparedStatement.getClass().getName());
if (preparedStatement instanceof HikariProxyPreparedStatement) {
log.info("now in HikariProxyPreparedStatement");
}
}
}
ps.execute();
long time3 = System.currentTimeMillis();
int rows = ps.getUpdateCount();
long time4 = System.currentTimeMillis();
log.info("自定义update开始: time2-time1=" + (time2-time1) + ", time3-time2=" + (time3-time2) + ", time4-time3="+ (time4-time3));
return rows;
}
long start = System.currentTimeMillis();
String parameterHandlerName = invocation.getTarget().getClass().getName();
String statementName = invocation.getArgs()[0].getClass().getName();
Object returnVal = invocation.proceed();
long end = System.currentTimeMillis();
if ("prepare".equals(methodName)) {
log.info("StatementHandler.prepare耗时: " + (end - start) + ", 其中start =" + start + ", end =" + end);
}
if ("setParameters".equals(methodName)) {
log.info("参数装填时间" + (end - start) + ", 参数处理器类型为: " + parameterHandlerName + " ,statement类型为" + statementName
+ ", 其中start =" + start + ", end =" + end);
}
return returnVal;
}
}
然后在笔记本和开发工程上都进行100条数据的插入
从而进一步缩小范围,demo中用到了Hikari作为线程池,但项目上用的却是 Druid ?这其实有点奇怪,因为项目和demo使用的都是 springboot 2.5.x,按理来说,默认使用的都是Hikari。因此接下来的任务就是指定配置,使得项目可以使用Hikari 而非 Druid 。
现在终于告一段落了,至于Druid 为什么会这么慢,还是有隐藏的设置导致的,后面还会继续追查,更新在这里。但无论如何,至少也证明了罪责不在mybatis上,mybatis的运行还是十分快的,2000行*26字段的数据,参数填充仅需119ms,符合纯计算的速度
另外,在测试过程中,发现mybatis的日志输出影响也很可观,如果有必要,关闭日志输出也能有不小的效率提升
PS: 再次追查该问题,使用Arthas ,目前定位jdbc驱动发送执行语句sendCommand耗时很长,单条插入语句达到300ms,然后单看发送本身没问题,反而是收到执行结果后,后面的checkErrorMessage耗时太长
com.mysql.cj.protocol.a.NativeProtocol.readMessage()
文章浏览阅读2.4w次,点赞14次,收藏68次。使用的是STM32CBT8,小模块用起来性价比超级高,资源丰富,移植u/COS及HTTP、MQTT协议等等用起来简直欲罢不能,摇摇欲仙!BUT:IO口资源太少了,我想让你驱动100个LED,你缺告诉我,我的要求太多,你满足不了......还好,找到了74HC595,但是网上很多资源讲的我看了半天才总结、提炼并另辟蹊径出来精髓===============================_74hc595连接stm32
文章浏览阅读4.1k次,点赞2次,收藏8次。莱昂哈德·欧拉(Leonhard Euler ,1707年4月15日~1783年9月18日),瑞士数学家、自然科学家。1707年4月15日出生于瑞士的巴塞尔,1783年9月18日于俄国圣彼得堡去世。欧拉出生于牧师家庭,自幼受父亲的影响。13岁时入读巴塞尔大学,15岁大学毕业,16岁获得硕士学位。欧拉是18世纪数学界最杰出的人物之一,他不但为数学界作出贡献,更把整个数学推至物理的领域。他是数学史上最多产的数学家,平均每年写出八百多页的论文,还写了大量的力学、分析学、几何学、变分法等的课本,《无穷小分析引论》、_欧拉的物理成就
文章浏览阅读1.5w次。今天在写存储过程的时候,碰到一个问题,在执行存储过程的时候总是报错--同义词转换不再有效,发现一个查询语句中的一个表原来使用的是一个同义词,就试着把这个同义词单独拿出来进行查询操作,发现并没有问题。最后,经过一番努力,发现该同义词并不是直接指向一个实体表,而是指向另一个同义词。所以,将改同义词的指向改为直接指向原实体表的指向,问题得到解决。即同义词指向的 object ow_sql数据库中同义词转换不再有效
文章浏览阅读2.5k次。我们会遇到很多场景比如说git拉取一个项目改成自己的 或者架构师搭建架构喊你拿过来用 是不是的改名字。mvn idea:module 这个是生成.iml文件 删除以前的.iml.重新导入工程编辑运行。第五 补充 如果发现你改项目能把原来的项目modules也改了。第二步 改 点击project Stucture。a/是项目名字 name 也是。第三步 改modules。_idea修改groupid
文章浏览阅读5.5k次,点赞12次,收藏70次。信息论复习—循环码_循环码
文章浏览阅读8.9w次,点赞148次,收藏872次。IntelliJ IDEA快捷键大全、快捷键使用教程_idea快捷键
文章浏览阅读1.7k次,点赞3次,收藏4次。start-stop-daemon: unable to set gid to 0 (Operation not permitted)_start-stop-daemon: unable to set gid to 0 (operation not permitted)
文章浏览阅读1.1k次。shareSDK集成MOD官网为开发者提供很多的服务,包括推送服务(MobPush)、社会化分享服务(ShareSDK)、手机短信验证功能(SMSSDK)、即时聊天功能(MobIM)、各种常用数据服务(MobAPI)等多种服务。本文主要介绍ShareSDK的集成问题。在官网注册并登录后,创建应用,并记住Appkey 以及App Secret,后面的配置会用到。一、配置gradle 1..._cn.sharesdk.framework gradle 地址
文章浏览阅读9.7k次,点赞10次,收藏51次。位图转G代码轮廓加工轨迹程序I2G(img2gcode)背景最近实验室要用机器人写字画图,但流程都是利用已有的软件去生成g代码,心中不仅冒出个想法,其实可以利用opencv的二值处理和轮廓提取来直接获得轨迹坐标,然后生成g代码。于是用python写了程序,但用了opencv模块,所以打包出来已经不是一个小程序了(286M),唉,所以用了分卷上传,文末有下载地址。流程1.使用import按钮..._图片转g代码
文章浏览阅读4.2w次,点赞13次,收藏74次。本文基于3GPP协议:TS38.901-7.7.2链路级仿真的信道模型包括CDL(Clustered Delay Line,集群延迟线)模型和TDL(Tapped Delay Line,抽头延迟线)模型。本文重点放在TDL模型上。TDL模型用于简化评估,如非MIMO评估,定义在0.5GHz到100GHz的全频率范围内,最大带宽为2GHz。存在三种TDL模型,分别为TDL-A、TDL-B和TDL-C,它们分别代表了三种不同的NLOS(Non-LOS)通道剖面,构建了LOS(Line Of Sight)_3gpp 无线信道模型 那个协议
文章浏览阅读2.1w次,点赞6次,收藏5次。 我们知道所谓的在线编辑其实就是从服务器下载,等使用者修改完成后,再上传(回传)的这样一个过程。过程中文件下载容易实现,下载后在客户端打开编辑也容易,难一点的就在上传这一步。 但上传又可以采用http或ftp上传两种方式,如果用ftp上传方式,那就比较简单,但要代码中暴露ftp上传的帐户或密码,并且上传过程无法控制(比如我想把文件放到某一目录下,重名怎么处理,把文件路径存入_在线文档编辑器开发
文章浏览阅读2.8k次。IBM SVC storage1. Introduction TheIBM SAN Volume Controller (SVC) is a block storage virtualization appliancethat belongs to the IBM System Storage product family. SVC implements anind_ibm system storage san voume controller