项目中使用sharding-jdbc导致启动慢的解决办法_shardingsphere-metadata : line:70 loading花费很长时间-程序员宅基地

技术标签: spring  springcloud  spring boot  java  spring cloud  springboot  sharding  

环境:springboot2.3.9.RELEASE + shardingsphere4.0.1 + Oracle


当连接oracle数据库的当前用户下表少的时候可能感觉不出来,当数据表很多时会导致服务启动超级慢,我项目中有200多张表,启动服务时非常的慢。

  • 定位问题

通过debug调试,定位到
TableMetaDataInitializer.java这个类中的如下方法在启动服务时非常的耗时。

private Map<String, TableMetaData> loadDefaultTables(final ShardingRule shardingRule) throws SQLException {
        Map<String, TableMetaData> result = new HashMap<>(shardingRule.getTableRules().size(), 1);
        Optional<String> actualDefaultDataSourceName = shardingRule.findActualDefaultDataSourceName();
        if (actualDefaultDataSourceName.isPresent()) {
            for (String each : getAllTableNames(actualDefaultDataSourceName.get())) {
                result.put(each, tableMetaDataLoader.load(each, shardingRule));
            }
        }
        return result;
    }

这里的getAllTableNames方法是获取当前用户下的所有的表,然后一个一个地遍历去加载表的元信息。

tableMetaDataLoader.load(each, shardingRule); 这个方法就是用来加载表的元信息的。

  • 解决办法

方案1:

不让其加载表的元信息,也就是将如下代码注释了:

/*for (String each : getAllTableNames(actualDefaultDataSourceName.get())) {
         result.put(each, tableMetaDataLoader.load(each, shardingRule));
 }*/

我项目中是将这个代码注释了后,启动恢复了正常,同时使用的分表功能也是正常的;但是这样总感觉是有风险的(具体也没研究注释的那代码用处是什么)。至少在我们项目中将这代码注释了后确实也没有影响到系统分表的功能,一切正常。

方案2:

通过多线程的方式解决问题,在循环加载那,通过多线程来提高加载速度。

private static ThreadPoolExecutor executors = new ThreadPoolExecutor(20, 20, 60, TimeUnit.SECONDS, new ArrayBlockingQueue<Runnable>(10000)) ;
private static Logger logger = LoggerFactory.getLogger(TableMetaDataInitializer.class) ;

private Map<String, TableMetaData> loadDefaultTables(final ShardingRule shardingRule) throws Exception {
        Map<String, TableMetaData> result = new ConcurrentHashMap<>(shardingRule.getTableRules().size(), 1);
        Optional<String> actualDefaultDataSourceName = shardingRule.findActualDefaultDataSourceName();
        if (actualDefaultDataSourceName.isPresent()) {
        	Collection<String> tables = getAllTableNames(actualDefaultDataSourceName.get()) ;
        	CountDownLatch cdl = new CountDownLatch(tables.size()) ;
        	logger.info("加载 {} 张表", tables.size());
            for (String each : tables) {
            	executors.execute(() -> {
            		try {
						result.put(each, tableMetaDataLoader.load(each, shardingRule));
						logger.info("表  {} 元信息加载完成", each) ;
						cdl.countDown() ; 
					} catch (SQLException e) {
						cdl.countDown() ;
						logger.error("加载 {} 元信息错误:{}", each, e) ;
					}
            	}); 
            }
            cdl.await() ;
            executors.shutdown() ;
        }
        return result;
    }

这里通过线程池的方式来提高加载速度,同时为了是系统正常运行正常,这里通过CountDownLatch来保证所有的表元信息都加载完了后程序再继续运行。避免出现看着服务是启动完了,实际加载表信息还在执行中问题。


如果你使用的是这个版本shardingsphere4.1.1,那么可就没有这个类了(服务启动正常了),但是启动服务可能报如下错误:

项目中使用sharding-jdbc导致启动慢的解决办法

 

在我项目中出现上面错误时,做如下处理:

修改
org.apache.shardingsphere.sql.parser.binder.metadata.util.JdbcUtil.java这个类:

源代码:

public static String getSchema(final Connection connection, final String databaseType) {
        String result = null;
        try {
            if ("Oracle".equals(databaseType)) {
                return null;
            }
            result = connection.getSchema();
        } catch (final SQLException ignore) {
        }
        return result;
    }

这里会将当前用户能访问到的所有表进行加载,修改如下只加载当前用户下的,不管其他用户表

public static String getSchema(final Connection connection, final String databaseType) {
        String result = null;
        try {
            result = connection.getSchema();
        } catch (final SQLException ignore) {
        }
        return result;
    }

如上修改完后,启动服务控制台输出如下:

项目中使用sharding-jdbc导致启动慢的解决办法

 

非常的快了。

但是在我们项目中最终没有用这个版本,因为在我们的项目中使用这个版本后查询的数据全都是null,条数是对的,数据都是null,不知道为何!!!

项目中使用sharding-jdbc导致启动慢的解决办法

 

项目中使用sharding-jdbc导致启动慢的解决办法

 

项目中使用sharding-jdbc导致启动慢的解决办法

 

项目中使用sharding-jdbc导致启动慢的解决办法

 

项目中使用sharding-jdbc导致启动慢的解决办法

 

项目中使用sharding-jdbc导致启动慢的解决办法

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/asoklove/article/details/114986766

智能推荐

手把手教你安装Eclipse最新版本的详细教程 (非常详细,非常实用)_eclipse安装教程-程序员宅基地

文章浏览阅读4.4k次,点赞2次,收藏16次。写这篇文章的由来是因为后边要用这个工具,但是由于某些原因有部分小伙伴和童鞋们可能不会安装此工具,为了方便小伙伴们和童鞋们的后续学习和不打击他们的积极性,因为80%的人都是死在工具的安装这第一道门槛上,这门槛说高也不高说低也不是太低。所以就抽时间水了这一篇文章。_eclipse安装教程

分享11个web前端开发实战项目案例+源码_前端项目实战案例-程序员宅基地

文章浏览阅读4.1w次,点赞12次,收藏193次。小编为大家收集了11个web前端开发,大企业实战项目案例+5W行源码!拿走玩去吧!1)小米官网项目描述:首先选择小米官网为第一个实战案例,是因为刚开始入门,有个参考点,另外站点比较偏向目前的卡片式设计,实现常见效果。目的为学者练习编写小米官网,熟悉div+css布局。学习资料的话可以加下web前端开发学习裙:600加上610再加上151自己去群里下载下。项目技术:HTML+CSS+Div布局2)迅雷官网项目描述:此站点特效较多,所以通过练习编写次站点,学生可以更多练习CSS3的新特性过渡与动画的实_前端项目实战案例

计算质数-埃里克森筛法(间隔黄金武器)-程序员宅基地

文章浏览阅读73次。素数,不同的质数,各种各样的问题总是遇到的素数。以下我们来说一下求素数的一种比較有效的算法。就是筛法。由于这个要求得1-n区间的素数仅仅须要O(nloglogn)的时间复杂度。以下来说一下它的思路。思路:如今又1-n的数字。素数嘛就是除了1和本身之外没有其它的约数。所以有约数的都不是素数。我们从2開始往后遍历,是2的倍数的都不是素数。所以我们把他们划掉然后如...

探索Keras DCGAN:深度学习中的创新图像生成-程序员宅基地

文章浏览阅读532次,点赞9次,收藏14次。探索Keras DCGAN:深度学习中的创新图像生成项目地址:https://gitcode.com/jacobgil/keras-dcgan在数据驱动的时代,图像生成模型已经成为人工智能的一个重要领域。其中,Keras DCGAN 是一个基于 Keras 的实现,用于构建和训练 Deep Convolutional Generative Adversarial Networks(深度卷积生...

org.apache.ibatis.binding.BindingException: Invalid bound statement (not found):_spring-could org.apache.ibatis.binding.bindingexce-程序员宅基地

文章浏览阅读116次。今天在搭建springcloud项目时,发现如上错误,顺便整理一下这个异常:1. mapper.xml的命名空间(namespace)是否跟mapper的接口路径一致<mapper namespace="com.baicun.springcloudprovider.mapper.SysUserMapper">2.mapper.xml接口名是否和mapper.java接..._spring-could org.apache.ibatis.binding.bindingexception: invalid bound state

四种高效数据库设计思想——提高查询效率_数据库为什么能提高效率-程序员宅基地

文章浏览阅读1.1k次。四种高效数据库设计思想——提高查询效率:设计数据库表结构时,我们首先要按照数据库的三大范式进行建立数据。1. 1NF每列不可拆分2. 2NF确保每个表只做一件事情3. 3NF满足2NF,消除表中的依赖传递。三大范式的出现是在上世纪70年代,由于内存资源比较昂贵,所以严格按照三大范式进行数据库设计。而如今内存变得越来越廉价,在考虑效率和内存的基础上我们可以做出最优选择以达到最高效率。_数据库为什么能提高效率

随便推点

HTML标签分类及转义字符_ol是单标记还是双标记-程序员宅基地

文章浏览阅读302次。一. HTML标签分类1.根据标签个数分类。 单标签:只有一个标签。 <br>, <hr>,<img>,<meta>, 实现一个特定的功能。 双标签:既有开始标签,也有结束标签。 Html,head,Body,title,h1~h6,p,a,ul,li,ol,strong,em。2.根据标签特性分类(网页效果)。 2.1行属性..._ol是单标记还是双标记

什么是配置_基于配置是什么意思-程序员宅基地

文章浏览阅读1.6k次。应用程序在启动和运行的时候往往需要读取一些配置信息,配置基本上伴随着应用程序的整个生命周期,比如:数 据库连接参数、启动参数等。配置主要有以下几个特点:配置是独立于程序的只读变量配置对于程序是只读的,程序通过读取配置来改变自己的行为,但是程序不应该去改变配置配置伴随应用的整个生命周期配置贯穿于应用的整个生命周期,应用在启动时通过读取配置来初始化,在运行时根据配置调整行为。比如:启动时需要读取服务的端口号、系统在运行过程中需要读取定时策略执行定时任务等。配置可以有多种加载方式常见的有程序内部_基于配置是什么意思

二、使用GObject——一个简单类的实现-程序员宅基地

文章浏览阅读170次。Glib库实现了一个非常重要的基础类--GObject,这个类中封装了许多我们在定义和实现类时经常用到的机制: 引用计数式的内存管理 对象的构造与析构 通用的属性(Property)机制 Signal的简单使用方式 很多使用GObject..._

golang 定时任务处理-程序员宅基地

文章浏览阅读6.3k次,点赞2次,收藏9次。在 golang 中若写定时脚本,有两种实现。一、基于原生语法组装func DocSyncTaskCronJob() { ticker := time.NewTicker(time.Minute * 5) // 每分钟执行一次 for range ticker.C { ProcTask() }}func ProcTask() { log.Println("hello world")}二、基于 github 中封装的 cron 库实现package taskimport (_golang 定时任务

VC获取精确时间的方法_vc 通过线程和 sleep 获取精准时间-程序员宅基地

文章浏览阅读2.1k次。 来源:http://blog.csdn.net/clever101/archive/2008/10/18/3096049.aspx 声明:本文章是我整合网上的资料而成的,其中的大部分文字不是我所为的,我所起的作用只是归纳整理并添加我的一些看法。非常感谢引用到的文字的作者的辛勤劳动,所参考的文献在文章最后我已一一列出。 对关注性能的程序开发人员而言,一个好的计时部件既是益友,也_vc 通过线程和 sleep 获取精准时间

wml入门-程序员宅基地

文章浏览阅读58次。公司突然说要进行wap开发了,以前从没了解过,但我却异常的兴奋,因为可以学习新东西了,呵呵,我们大家一起努力吧。首先说说环境的搭建。可以把.wml的文件看做是另一种的html进行信息的展示,但并不是所有的浏览器都支持,好用的有Opera,还有WinWap。编写wml文件语法比较严格,不好的是我还没有找到好的提示工具,就先用纯文本吧。我找到了一个很好的学习网站:http://w3sc..._winwap学习